基于深度学习的Deepfake检测综述

深度学习 (DL) 已成为计算机科学中最具影响力的领域之一，直接影响着当今人类生活和社会。与历史上所有其他技术创新一样，深度学习也被用于一些违法的行为。Deepfakes 就是这样一种深度学习应用，在过去的几年里已经进行了数百项研究，发明和优化各种使用 AI 的 Deepfake 检测，本文主要就是讨论如何对 Deepfake 进行检测

为了应对Deepfake，已经开发出了深度学习方法以及机器学习（非深度学习）方法来检测。深度学习模型需要考虑大量参数，因此需要大量数据来训练此类模型。这正是 DL 方法与非 DL 方法相比具有更高性能和准确结果的原因。

什么是 Deepfake 检测

大多数 Deepfake 生成器都会在 Deepfake 的过程中留下留下一些痕迹。Deepfake 视频中的这些变化可以归类为空间不一致：视频的各个帧内发生的不兼容和时间不一致：视频帧序列中出现的不兼容特征 [1]。

空间不一致包括面部区域与视频帧的背景不兼容、分辨率变化以及部分渲染的器官和皮肤纹理（可能无法正确渲染面部的所有人类特征）。大多数常见的 Deepfake 生成器无法渲染眨眼和牙齿等特征。并且有事会使用白色条带代替静止帧上肉眼甚至可以看到的牙齿（下图）。

时间不一致包括异常眨眼、头部姿势、面部动作以及视频帧序列中的亮度变化。

deepfake 生成器留下的空间和时间这些痕迹都可以通过由深度神经网络 (DNN) 制成的 deepfake 检测器来识别。我们熟悉的生成对抗网络(GANs)在deepfake 的生成器中的广泛应用挑战了造假检测和生成之间的平衡。

Deepfake检测

Deepfake 检测器是二元分类系统，可判断输入数字媒体是真还是假。Deepfake 检测不是由单个类似黑盒的模块执行的，而是由几个其他模块和步骤组成，它们共同作用以提供检测结果。Deepfake检测中的常见步骤如下[2]。

Deepfake 数字媒体的输入。
预处理包括人脸检测和增强。
处理后的帧的特征提取。
分类/检测。
输出图像的真实性。

典型的基于 DL 的 Deepfake 检测器包含 3 个主要组件来执行上述任务。

预处理模块。
特征提取模块。
评估器模块（深度学习分类器模型）。

接下来将详细解释主要步骤：数据预处理、特征提取和检测/分类过程。

数据预处理

在数据收集阶段之后，数据应该在用于 Deepfake 检测的训练和测试步骤之前进行预处理。数据预处理是使用可用的库自动完成的，例如 OpenCV python 、MTCNN 和YOLO 等。

数据增强在提高练 Deepfake 检测器的性能中也起着至关重要的作用。可以应用诸如重新缩放（拉伸）、剪切映射、缩放增强、旋转、亮度变化和水平/垂直翻转等增强技术以增加数据集的泛化性 [3]。

数据预处理的第一步是从视频剪辑中提取单个帧。提取帧后需要从提取的视频帧中检测人脸。由于面部区域经常出现异常，因此仅选择面部区域有助于特征提取模型仅关注感兴趣区域（ROI），从而节省了用于全帧扫描的计算成本。一旦检测到面部区域，就会从帧的其余背景中裁剪它们，并按照一系列步骤使它们可用于模型训练和测试。裁剪面部区域的另一个原因是使模型的所有输入图像都具有相同的大小。

特征提取

上一步预处理的帧将会发送到特征提取器。大多数特征提取器都是基于卷积神经网络（CNN）的。最近的一些研究证明了胶囊网络在特征提取过程中应用的有效性和效率的提高，这是一个新趋势。

特征提取器提取预处理视频帧上可用的空间特征。特征提取能够提取视觉特征、局部特征/面部标志，如眼睛、鼻子、嘴巴的位置、嘴形的动态、眨眼等生物特征。然后将提取的特征向量发送到分类器网络输出决策。

分类

用于分类的深度学习模型通常被称为Deepfake检测器的骨干。顾名思义，分类网络负责Deepfake检测管道中最重要的任务:即分类并确定输入视频是否是Deepfake的概率。大多数分类器都是二元分类器，其中Deepfakes输出为(0)，原始帧输出为(1)。

分类器又是另一个卷积层(CNN)或类似的深度学习架构，如LSTM或ViT。分类模型的实际功能根据使用的DNN而异。例如在特征提取器模块中提取的眨眼特征可以被分类模块中的LSTM模块使用，以确定帧眨眼模式的时间不一致性，并据此判断输入是否是Deepfake[3]。在大多数情况下， Deepfake 检测器中最后一层为全连接层。由于卷积层的输出表示数据的高级特征，这些输出被展平并连接到单个输出层以产生最终决策。

总结

在过去的几年里，Deepfake 的创建和检测都出现了显着发展。与非深度学习方法相比，由于结果的准确性，使用深度学习技术进行 Deepfake 检测的相关研究也有很大的进步。CNN、RNN、ViT 和胶囊网络等深度神经网络架构广泛用于 Deepfake 检测器的实现。常见的 Deepfake 检测管道由数据预处理模块、基于 CNN 的特征提取器和分类模块组成。

此外，Deepfake 检测对 Deepfake 生成器在 Deepfake 上留下的痕迹有很大的依赖性。由于目前基于 GAN 的 Deepfake 生成器能够以最小的不一致性合成更真实的 Deepfake，因此必须开发新的方法来优化 Deepfake 检测。基于深度集成学习技术的 Deepfake 检测方法可以被认为是对抗 Deepfake 的现代和综合方法 [4]。尽管如此，有效且高效的 Deepfake 检测器的空缺仍然存在。

引用

[1] Ruben Tolosana, Ruben Vera-Rodriguez, Julian Fierrez, Aythami Morales, Javier Ortega-Garcia, DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection (2020), Information Fusion, 2020.

[2] Nguyen, Thanh & Nguyen, Cuong M. & Nguyen, Tien & Nguyen, Duc & Nahavandi, Saeid. Deep Learning for Deepfakes Creation and Detection: A Survey (2019).

[3] P. K. P. K. Sawinder Kaur, Deepfakes: temporal sequential analysis to detect face-swapped video clips using convolutional long short-term memory (2020), Journal of Electronic Imaging, p. 29(3), 2020.

[4] M. S. Rana and A. H. Sung, DeepfakeStack: A Deep Ensemble-based Learning Technique for Deepfake Detection (2020), 7th IEEE International Conference on Cyber Security and Cloud Computing (CSCloud)/2020 6th IEEE International Conference on Edge Computing and Scalable Cloud (EdgeCom), 2020.

https://avoid.overfit.cn/post/8e95663d71ae4139baba9bf621ea8fc4

作者：Pawara Siriwardhane, UG