《Detecting and RecoveringSequential DeepFake Manipulation》

论文出处：2022ECCV

论文主要贡献：

1.提出了多阶段的深度伪造检测课题。

2.创造了用于多阶段深度伪造检测任务的数据集。

3.提出了一种基于transformer的网络架构，实现了多阶段深度伪造检测任务。

主要架构：

作者将整个任务看成是一个Image-to-sequence的任务。首先将一张图片传入ResNet网络中用于深度伪造特征的提取，将提取的特征按照通道进行token初始化(将每个通道的特征图拉成一个一维向量)并加上对应的位置编码，传入Transformer Encoder中利用自注意力实现全局特征的交互，得到空间特征痕迹。将该特征传入解码器中同初始化的操作序列token进行一个交叉注意力(在这里因为操作的步骤可能对人脸局部特征有特定的影响，故作者提出了一种空间增强的交叉注意力)，通过对初始化的操作序列进行两个全连接网络的特征提取，得到该操作方法在特征图中的中心点坐标以及操作尺度大小的坐标，然后得出空间权重图(该图的主要作用就是增大操作方法对应特征图中局部区域的数值，从而加大注意力分数，最终便于多分类操作)。最后将交叉注意力得到的token序列传入FFN网络中进行一个多分类任务，最终根据输出的分数即得到最后的序列输出。

《Detecting and RecoveringSequential DeepFake Manipulation》相关推荐

Paper：GPT-3《 Language Models are Few-Shot Learners》的翻译与解读
Paper:GPT-3< Language Models are Few-Shot Learners>的翻译与解读目录 <GPT-3: Language Models are Fe ...
Paper：GPT-3之《 Language Models are Few-Shot Learners》的翻译与解读
Paper:GPT-3之< Language Models are Few-Shot Learners>的翻译与解读目录 <GPT-3: Language Models are F ...
读不完《程序员修炼之道》，至少可以读完这70条
文章目录推荐一.领悟程序员的哲学推荐二.再次阅读,感受颇多推荐三.一切阅读都是误读推荐四.程序员升级必备推荐五.程序员心底的小声音推荐六.专业人士对<程序员修炼之道>的赞誉 T ...
《Temporal AA , SMAA and MSAA》
<Temporal AA , SMAA and MSAA> Temporal AA Temporal AA主要是为了修复场景帧率小于运动物体运动速度的锯齿问题,当帧率太低时候,运动的物体就 ...
20189221 2018-2019-2 《密码与安全新技术专题》第三周作业
20189221 2018-2019-2 <密码与安全新技术专题>第三周作业课程:<密码与安全新技术专题> 班级: 201892 姓名: 郭开世学号:20189221 上课 ...
学号20189220余超 2018-2019-2 《密码与安全新技术专题》第七周作业
学号20189220 余超 2018-2019-2 <密码与安全新技术专题>第七周作业--论文学习及报告总结课程:<密码与安全新技术专题> 班级: 1892 姓名: 余超学 ...
30 分钟读完《MySQL 必知必会》
第一章了解 SQL 介绍几个数据库的概念数据库(database) 通过DBMS创建和操纵的保存有组织的数据的容器(通常是一个文件或一组文件). 数据库软件/数据库管理系统(DBMS)访问数据库, ...
论文翻译《Salient object detection: A survey》
传统的方法: 可大致分为三类:基于block和intrinsic cues的模型.基于region和intrinsic cues的模型.基于extrinsic cues的模型(包括block和regi ...
《密码与安全新技术专题》论文学习及报告总结
20189208 2018-2019-2 <密码与安全新技术专题>论文学习及报告总结课程:<密码与安全新技术专题> 班级: 1892 姓名: 杨晨曦学号:20189208 ...

《Detecting and RecoveringSequential DeepFake Manipulation》

《Detecting and RecoveringSequential DeepFake Manipulation》相关推荐

最新文章

热门文章