对抗性训练（Adversarial training）

对抗性训练最大最小化公式：
min ⁡ θ E ( x , y ) ∼ D [ max ⁡ Δ x ∈ Ω L ( x + Δ x , y ; θ ) ] \min_{\theta}\mathbb{E}_{(x,y)\sim\mathcal{D}}\left[\max_{\Delta x\in\Omega}L(x+\Delta x, y;\theta)\right] θminE(x,y)∼D[Δx∈ΩmaxL(x+Δx,y;θ)]

D \mathcal{D} D表示训练数据， x x x表示输入， y y y表示标签， θ \theta θ表示模型参数， L ( ⋅ ) L(·) L(⋅)表示损失函数， Δ x \Delta x Δx表示对抗扰动， Ω \Omega Ω表示扰动空间。

最大化和最小化的对象不同：

最大化扰动量 max ⁡ Δ x \max{\Delta x} maxΔx
最小化平均损失 min ⁡ E ( x , y ) L ( ⋅ ) \min{\mathbb{E}_{(x,y)}L(·)} minE(x,y)L(⋅)

最终目的：优化模型参数 θ \theta θ，提高DL模型的泛化性能。

对抗性训练过程如下：

向输入 x x x里中添加扰动 Δ x \Delta x Δx， Δ x \Delta x Δx会使得模型无法得到正确的预测结果 y y y，即 f ( x + Δ x ) ≠ y f(x+\Delta x)≠y f(x+Δx)=y，从而依据损失函数产生相应损失值。其中 Δ x \Delta x Δx的值会被限制在扰动空间 Ω \Omega Ω内，如 ∥ Δ x ∥ ≤ ϵ \|\Delta x\| \leq \epsilon ∥Δx∥≤ϵ，确保输入样本对人来说无差别。
模型添加扰动后的输入为 x + Δ x x+\Delta x x+Δx，利用 ( x + Δ x , y ) (x+\Delta x,y) (x+Δx,y)来训练模型，更新模型参数 θ \theta θ来最小化训练数据的平均损失。

对抗性训练（Adversarial training）相关推荐

[半监督学习] Virtual Adversarial Training: A Regularization Method for Supervised and SSL
提出一种基于虚拟对抗损失的新正则化方法, 虚拟对抗性损失被定义为每个输入数据点周围的条件标签分布对局部扰动的鲁棒性. 与对抗训练不同, VAT 方法在没有标签信息的情况下定义了对抗方向, 因此适用于半 ...
报名 | “阳奉阴违”的半监督学习算法 - Virtual Adversarial Training
「论文共读」是由 PaperWeekly 发起的协同阅读小组.我们每周精选一篇优质好文,由学术大咖带大家解读论文并展开讨论,在碎片化时代坚持深度阅读. 本期论文共读由 PaperWeekly 社区用户 ...
论文共读 | “阳奉阴违”的半监督学习算法 - Virtual Adversarial Training
「论文共读」是由 PaperWeekly 发起的协同阅读小组.我们每周精选一篇优质好文,由学术大咖带大家解读论文并展开讨论,在碎片化时代坚持深度阅读. 本期论文共读由 PaperWeekly 社区用户 ...
文献阅读课13-DSGAN: Generative Adversarial Training for （远程监督关系抽取，句子级去噪）
文章目录 Abstract 1.Introduction 2.相关工作 3 Adversarial Learning for Distant Supervision 3.1 Pre-Training ...
AAAI2018-Long Text Generation via Adversarial Training with Leaked Information论文笔记
这篇文章主要是名为 LeakGAN 的模型结构,同时处理 D 反馈信息量不足和反馈稀疏的两个问题.LeakGAN 就是一种让鉴别器 D 提供更多信息给生成器 G 的新方式,我自己的笔记: 转自:htt ...
[论文翻译]数据集的domian问题:Intramodality Domain Adaptation Using Self Ensembling and Adversarial Training
论文pdf下载: 链接 Intramodality Domain Adaptation Using Self Ensembling and Adversarial Training 使用自集成和对抗性 ...
GAN异常检测论文笔记(一)《GANomaly: Semi-Supervised Anomaly Detection via Adversarial Training》
0 Abstract: 通过使用一个联合学习高维图像空间的生成和潜伏空间的推理的生成对抗性网络,引入了这种新型的异常检测模型.在生成器网络中采用编码器-解码器-编码器子网络,使模型能够将输入图像映射为 ...
Directional Adversarial Training for Recommender Systems
Directional Adversarial Training for Recommender Systems 论文理解与翻译: 1.摘要: (话题方向切人,他人最近的有关成果,再次基础上他人成果的 ...
Smooth Adversarial Training
Smooth Adversarial Training 写了AdvProp的这些人又提了一个SAT 写AdvProp主要是朝着提升accuracy的目标去的,说是比AT更好写SAT则以提升robus ...

对抗性训练（Adversarial training）

对抗性训练（Adversarial training）相关推荐

最新文章

热门文章