Deepfake idea

Motivation
其他
Semantic information
Data
Loss functions
Model

Motivation

考虑语义信息，在弱监督信息中尽可能挖掘有效信息；
一种更贴近实际的实验设定；
在更为精确的数据集上时(标注成本较高，比如为CUB200种鸟类标注，需要很高的专业知识水平，此时应用CLL)，反标记监督信息更为有用：
e.g. 鸟类识别任务：给定一张鸟类图片：1.被告知不是汽车，2.被告知不是麻雀。显然2的信息更有用，更符合CLL问题初衷。

其他

自监督学习：根据置信度设置伪标签，提供监督信息
对比学习：反标签 → \rightarrow →负样本

Semantic information

related work:

模糊度

Progressive Identification of True Labels for Partial-Label Learning

零样本学习
语义信息作为类原型，寻找合适映射

插入属性空间S

An embarrassingly simple approach to zero-shot learning*

SAE(semantic automatic encoder)
【!】DeViSe

(感觉可以尝试！将hinge rank loss 反过来排序)

Data

original setting
除去真实标签，等概率抽取反标签
new setting(先搁置，首先根据其他文献的original setting得到的数据集做，便于比较、有说服力)
除去真实标签，考虑语义距离地抽取反标签

Loss functions

Idea

l o s s = l o s s C L L + λ 1 D i s t ( f ( x ) , y ˉ ) + 1 , where D i s t ( f ( x ) , y ˉ ) ∈ [ 0 , 1 ] loss = loss_{CLL}+ \lambda \frac{1}{Dist(f(x), \bar{y})+1},\quad \text{where} \quad Dist(f(x), \bar{y})\in [0,1] loss=lossCLL+λDist(f(x),yˉ)+11,whereDist(f(x),yˉ)∈[0,1]
λ \lambda λ选取：
a) 常量，通过试验确定
b) 变量
c) 分段函数，引入阈值 α \alpha α
λ = { λ , D i s t ( f ( x ) , y ˉ ) ≤ α , 0 , Otherwise . \lambda=\{ \begin{aligned} \lambda& , & Dist(f(x), \bar{y}) \leq \alpha, \\ 0& , & \text{Otherwise}. \end{aligned} λ={λ0,,Dist(f(x),yˉ)≤α,Otherwise.
(当预测类别标签 f ( x ) f(x) f(x)与给定反标签 y ˉ \bar{y} yˉ距离很小时应该比较敏感)
(MCLL : m i n y i ∈ Y ˉ D i s t ( f ( x ) , y ˉ i ) ≤ α min_{y_i\in\bar{Y}}Dist(f(x), \bar{y}_i) \leq \alpha minyi∈YˉDist(f(x),yˉi)≤α)
l o s s = ∑ i = 1 l 1 D i s t ( f ( x ) , y ˉ ) + 1 l o s s C L L ( f ( x i ) , y ˉ i ) loss = \sum^{l}_{i=1} \frac{1}{Dist(f(x), \bar{y})+1} loss_{CLL}(f(x_i), \bar{y}_i) loss=∑i=1lDist(f(x),yˉ)+11lossCLL(f(xi),yˉi)
将距离函数作为一个置信度，预测标签与反标签距离越小置信度越低
放弃以上损失框架(或者也是加和)，hinge rank loss中将向量相似度换为距离函数？

Related work

非对称结构（PLL）： l o s s = l o s s 补标签集 + β l o s s 反标签集 loss = loss_{\text{补标签集}}+\beta loss_{\text{反标签集}} loss=loss补标签集+βloss反标签集
系数 β \beta β选取：离散 → \rightarrow →连续（PLL）

“Leveraged Weighted Loss for Partial Label Learning”

类似的（CLL）： l o s s = l o s s 反标签集 + β ∑ 数据增强样本集 l o s s 补标签集 loss = loss_{\text{反标签集}}+\beta \sum_{数据增强样本集} loss_{\text{补标签集}} loss=loss反标签集+β∑数据增强样本集loss补标签集

系数 β \beta β通过实验一开始要小后面要大 → \rightarrow →动态递增变化(0到1)
Partial-Output Consistency Regularization

Model

普通CNN模型
GAN
目前只有一篇代码可用 TAC-GAN

Deepfake idea相关推荐

AI 通过眼睛的反光度，来识别是否 Deepfake 换脸
编译 | 禾木木出品 | AI科技大本营(ID:rgznai100) Deepfake 是一种 AI换脸工具,现被滥用,从虚假宣传活动到插入一些违法内容,并且篡改后的图像是难以被检测到的. 一种新的 ...
“半真半假”DeepFake换脸也能精准识别？阿里安全提出全新检测方法
一段包含多个人脸的视频中,攻击者只对一个或者几个人的人脸进行伪造,这种"半真半假"的伪造情况能否被检测识别?近日,阿里安全图灵实验室宣布,其已成功打造出针对这种换脸视频的DeepF ...
“一网打尽”Deepfake等换脸图像，微软提出升级版鉴别技术Face X-Ray
作者 | Just 出品 | AI科技大本营(ID:rgznai100) Deepfake换脸图像的泛滥给人类社会带来了巨大的挑战. 虽然研究者们为检测换脸图片提出了多种AI鉴别算法,但随着换脸算法的 ...
CVPR 2020 | 给Deepfake 假脸做 X-Ray，新模型把换脸图打回原形
机器之心报道作者:思源计算机视觉顶会 CVPR 2020 接收结果已公布,6656 篇有效投稿中录取了 1470 篇论文,录取率约为 22%.本文介绍了微软亚洲研究院的研究者被 CVPR 2020 ...
10万视频，所有面部图像均获授权，Facebook创建大规模Deepfake数据集
本文经授权转载自机器之心(almosthuman2014),未经授权禁止二次转载与摘编. 本文约6000字,建议阅读10+分钟 DFDC数据集是目前最大的公开可用换脸视频数据集. [ 摘要 ]前不久, ...
一个微笑，跨越73年：Deepfake「复活」以色列立国之战老照片
转自:新智元为了庆祝 2021 年的以色列阵亡将士纪念日,以色列国防军乐团与一家专门从事合成视频(「Deepfake」技术)的公司合作,将 1948 年第一次中东战争中的老照片重现得栩栩如生. 团队 ...
DeepFake噩梦来了！武大阿里团队提出FakeTagger，重新识别率达95%
[导读]DeepFake千千万,究竟怎么办?GAN的滥用已经让现在的世界不再「眼见为实」.于是,研究人员提出了FakeTagger系统,将视觉上无法辨别的ID信息嵌入到图像中,准确率高达95%. 拍照 ...
Deepfake让罗伯特·德尼罗用流利的德语表演台词！差点忘了他是美国人
转自:量子位当电影用另一种语言配音时,演员的面部动作.口型在新的语言下会非常违和. 不信你看,当章子怡的<卧虎藏龙>被配音成英语后: 观看起来是不是非常奇怪? 现在,最新的技术可以帮大家 ...
Deepfake技术实现秒速换脸！！！
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 想变就变,近日一款基于Deepfake技术的新应用Doublicat可在几秒钟实现 ...
商汤科技发布迄今最大人脸检测数据集，绝杀Deepfake！
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 商汤研发部门SenseTime Research的研究人员与新加坡南洋理工大学合作 ...

Deepfake idea

Deepfake idea

Motivation

其他

Semantic information

Data

Loss functions

Model

Deepfake idea相关推荐

最新文章

热门文章