Introduction

深度学习的应用促使了人脸伪造技术的巨大进步。现有AI-合成的人脸伪造方式可以分为以下三种：

face swap：将视频中出现的人脸替换为其他人的脸，一般对整个面部进行对齐和替换
lip-sync：使得视频中的人物口型按照既定音频变化，一般仅伪造目标的唇部区域
puppet-master：使视频中人物做出给定的面部表情，包括头部运动，一般需要对视频中人脸建立3D模型，并对唇部区域进行伪造

对图像和视频进行认证是一个悠久的话题，有大量的文献提出各种各样的方式。但利用人工智能合成是一个相对较新的技术，目前对该方面的认证技术还不够完善。现有的一些研究者试图通过发掘伪造过程中出现图像中存在的pixel-level的“痕迹”进行伪造检测。但是这种认证方式无疑对如图像压缩、resize、噪声等渲染攻击十分脆弱。

本文发现不同人在说话时，面部表情和头部运动存在明显的模式差异。而在上述的三种伪造方式中都对这种模式造成了破坏（即视频中的人脸区域发生了篡改，导致人物说话时面部表情和头部运动的模式与人物身份不相符）。利用这种方式，建立国家领导人个人的soft-biometric模型，并使用这些模型来区分视频的真假。

Innovation

对具体人物说话时面部表情和头部运动模式进行建模（20种面部运动单元的相关性），通过判断视频中人物所表现的说话模式是否与所建立的模型一致来判断是否是伪造视频。这种方式提取的高层特征，对压缩、resize等攻击具有较强的鲁棒性。

Method

利用OpenFace2对视频中的人脸提取以下20种运动单元的强度和发生情况。

inner brow raiser (AU01), outer brow raiser (AU02), brow lowerer (AU04), upper lid raiser (AU05), cheek raiser (AU06), lid tightener (AU07), nose wrinkler (AU09), upper lip raiser (AU10), lip corner puller (AU12), dimpler (AU14), lip cor- ner depressor (AU15), chin raiser (AU17), lip stretcher (AU20), lip tightener (AU23), lip part (AU25), jaw drop (AU26), head rotation about the x-axis (pitch)，head rotation about the z-axis (roll)，the 3-D horizontal distance between the corners of the mouth (mouthh)，the 3-D vertical distance between the lower and upper lip (mouthv).

利用Pearson correlation计算这些运动单元之间的线性关系，以此来表征一个人的头部运动特征。一共有20种运动单元，共产生C202=20×19÷2=190C_{20}^{2}=20 \times 19 \div 2=190C202=20×19÷2=190维特征。通过某一具体领导人的视频数据集提取的该种特征来训练**one-class support vector machine (SVM)**模型，模型结果反应视频种该领导人是否伪造。对190维特征进行t-SNE可视化显示了这种特征的身份相关性。

Experiment

下表上半部分显示的是基于190个特征的奥巴马视频的准确度。前四行对应10秒clips的精度，后四行对应全视频片段的精度。10秒clips和完整片段的平均AUC值分别为0.93和0.98。其中lip-sync类型的视频，伪造检测的准确度较低，AUC分别为0.83和0.93，这可能是因为与其他伪造方式相比，lip-sync只篡改了嘴部区域。因此，许多面部表情和动作被保存在这些虚假视频中。作者提出可以考虑加入语言模型，获得特定人物说话时所说语言和唇部运动的相关模式来优化这方面的缺陷。

为了进一步选择合适的特征来区分不同人物的面部表情和头部运动模型，作者进行了从选择最优的一个特征，到选择全部190个特征进行训练。发现训练的准确率在29个特征时到达稳定水平，如下图：

鲁棒性研究，作者分别进行了压缩测试、视频长度测试。测试结果表明该种方式能够对视频的压缩和长短具有较强的鲁棒性。考虑到一个人的说话风格和面部行为可能会随着说话的语境而变化，作者也进行了不同语境下模型准确率的实验。测试结果显示不同的语境对测试结果有较大的影响，尤其是当说话者没有面对镜头的时候，这种运动单元的可靠性会大大降低。作者也提出扩大训练数据集、寻找更加鲁班的模式特征等方式以进一步改进模型效果。或者通过语言分析抓住说话内容和说话方式之间的相关性来扩充该模型。

Protecting World Leaders Against Deep Fakes(CVPR 2020)相关推荐

基于监督学习+自监督学习的智能抠图，精确到发丝 | CVPR 2020
来源 | AI算法与图像处理(ID:AI_study) 华盛顿大学的研究者最近发表的论文在CVPR 2020提供了一个新的和简单的智能抠图方法.你可以在家里做这些日常设置,使用固定或手持相机.我们的方 ...
商汤提基于贪心超网络的One-Shot NAS，达到最新SOTA | CVPR 2020
出品 | AI科技大本营(ID:rgznai100) 导读:在CVPR 2020上,商汤移动智能事业群-3DAR-身份认证与视频感知组提出了基于贪心超网络的One-Shot NAS方法,显著提升了超网 ...
8比特数值也能训练模型？商汤提训练加速新算法丨CVPR 2020
出品 | AI科技大本营(ID:rgznai100) 在CVPR 2020上,商汤研究院链接与编译团队.高性能计算团队和北航刘祥龙老师团队合作提出了用于加速卷积神经网络训练过程的INT8训练技术.该工 ...
旷视提双边分支网络BBN：攻坚长尾分布的现实世界任务 | CVPR 2020 Oral
作者 | 旷视研究院出品 | AI科技大本营(ID:rgznai100) 导读:本文是旷视 CVPR 2020 论文系列解读文章,也是 CVPR 2020 Oral展示论文之一,它揭示了再平衡方法解 ...
CVPR 2020 夜间目标检测挑战赛冠军方案解读
↑ 点击蓝字关注视学算法来源丨DeepBlue深兰科技编辑丨极市平台在 CVPR 2020 Workshop 举办的 NightOwls Detection Challenge 中,来自国内团 ...
CVPR 2020 Oral | 旷视研究院提出Circle Loss，革新深度特征学习范式
IEEE 国际计算机视觉与模式识别会议 CVPR 2020 (IEEE Conference on Computer Vision and Pattern Recognition) 将于 6 月 14 ...
CVPR 2020 论文开源项目一页看尽，附代码论文
十三发自凹非寺量子位报道 | 公众号 QbitAI CVPR 2020中选论文放榜后,最新开源项目合集也来了. 本届CPVR共接收6656篇论文,中选1470篇,"中标率" ...
CVPR 2020 | 更高质量的点云补全：上海交通大学团队提出点云分形网络
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达本文由知乎作者1335授权转载,不得擅自二次转载.原文链接:https://zhuanlan.zhih ...
CVPR 2020 Oral 文章汇总，包括论文解读与代码实现
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要10分钟 Follow小博主,每天更新前沿干货 [导读]本文为大家整理了10篇CVPR2020上被评为Oral的论文解读和代码汇总. 1.Ra ...

Protecting World Leaders Against Deep Fakes(CVPR 2020)

文章目录

Introduction

Innovation

Method

Experiment

Protecting World Leaders Against Deep Fakes(CVPR 2020)相关推荐

最新文章

热门文章