对抗攻击7——JSMA(Jacobian-based Saliency Map Attacks)

Saliency Map的概念最初是为了神经网络的可视化而被提出的。Saliency Map是通过神经网络预测类别的概率对输入特征（例如，图像中的每个像素）求梯度，从而判断出哪些输入特征对该类别的影响程度最大。JSMA是利用扰动一小组的输入特征的信息从而导致深度模型分类器分类出错。这与修改大多数输入特征的FGSM攻击形成对比。因此，JSMA产生的对抗样本质量越高，即高效又精准。
给定来自神经网络分类器的预测softmax的概率向量f(x)f(x)f(x)，Saliency map S+S^{+}S+的公式表示为S+(x(i),t)={0if ∇x(i)f(x)(t)<0or ∑c≠t∇x(i)f(x)(c)>0−∇x(i)f(x)(t)⋅∑c≠t∇x(i)f(x)(c)otherwise S^{+}\left(x_{(i)}, t\right)=\left\{\begin{array}{ll} 0 & \text { if } \nabla_{x_{(i)}} f(x)_{(t)}<0 \text { or } \sum_{c \neq t} \nabla_{x_{(i)}} f(x)_{(c)}>0 \\ -\nabla_{x_{(i)}} f(x)_{(t)} \cdot \sum_{c \neq t} \nabla_{x_{(i)}} f(x)_{(c)} & \text { otherwise } \end{array}\right. S+(x(i),t)={0−∇x(i)f(x)(t)⋅∑c=t∇x(i)f(x)(c) if ∇x(i)f(x)(t)<0 or ∑c=t∇x(i)f(x)(c)>0 otherwise 其中x(i)x_{(i)}x(i)表示xxx的第iii个元素，ttt是指定的攻击的目标标签。直观上，Saliency map S+S^{+}S+ 使用梯度∇x(i)f(x)\nabla_{x(i)}f(x)∇x(i)f(x)来量化每个输入特征x(i)x_{(i)}x(i)与目标类别ttt正相关的程度，同时平均与所有其他类别c≠tc \neq tc=t负相关。如果对于给定的特征x(i)x_(i)x(i)违反了以上的任一条件，则S(x(i),t)S(x_{(i)},t)S(x(i),t)被设置为零，有效地忽略不优先与目标类别相关的特征。然后可以增加具有最大显著性度量的特征，以增强模型对目标类别t的预测置信度，同时减弱所有其他类别的置信度。
这一过程可以逆过来看就可以提供一个负的Saliency Map S−S^{-}S−，描述哪些特征应该减少，以增加目标类的概率。相应的公式如下所示：
S−(x(i),t)={0if ∇x(i)f(x)(t)>0or ∑c≠t∇x(i)f(x)(c)<0−∇x(i)f(x)(t)⋅∑c≠t∇x(i)f(x)(c)otherwise S^{-}\left(x_{(i)}, t\right)=\left\{\begin{array}{ll} 0 & \text { if } \nabla_{x_{(i)}} f(x)_{(t)}>0 \text { or } \sum_{c \neq t} \nabla_{x_{(i)}} f(x)_{(c)}<0 \\ -\nabla_{x_{(i)}} f(x)_{(t)} \cdot \sum_{c \neq t} \nabla_{x_{(i)}} f(x)_{(c)} & \text { otherwise } \end{array}\right.S−(x(i),t)={0−∇x(i)f(x)(t)⋅∑c=t∇x(i)f(x)(c) if ∇x(i)f(x)(t)>0 or ∑c=t∇x(i)f(x)(c)<0 otherwise

对抗攻击7——JSMA(Jacobian-based Saliency Map Attacks)相关推荐

人工智能对比试验_人工智能安全——对抗攻击分析
1. 引言随着人工智能深度学习成为研究热点,其在医疗 [1] .生物 [2] [3],金融 [4] .自动驾驶 [5] 各个领域皆有所应用,并且取得丰硕的成果.深度学习不同于传统的基于特征提取的机器 ...
有关对抗攻击的论文整理
对抗攻击对抗攻击的概念对抗攻击原理对抗攻击方法基于目标模型损失函数基于目标模型网络结构基于目标模型预测分数基于目标模型预测决策无需训练替代模型对抗攻击防御对抗攻击实例部分引用, ...
联邦学习深度学习对抗攻击
联邦学习本身 "联邦学习" 实际上是一种加密的分布式机器学习技术,参与各方可以在不披露底层数据和底层数据的加密(混淆)形态的前提下共建模型. 如果机构之间的数据无法互通,一家企业一 ...
联邦学习本身+机器视觉中深度学习所面临的对抗攻击
目录联邦学习本身对抗攻击中的一些术语: 现有攻击方法(实验室) 针对分类阶段 Box-constrained L-BFGS Fast Gradient Sign Method (FGSM) Bas ...
【李宏毅机器学习】adversarial attack 对抗攻击
note: 对抗训练(adversarial training)通过对抗攻击(adversarial attack)的手段,即生成对抗样本(对部分原样本加入微小的扰动,可能导致误分类),是的NN能适应 ...
AI新方向：对抗攻击
https://www.toutiao.com/a6624300476227650051/ 2018-11-16 11:49:03 在调查近几年 AI 领域的过程中,我发现近几年对抗攻击的概念逐渐出现 ...
对抗攻击与防御 (1)：图像领域的对抗样本生成
文章目录 1 引入 2 白盒攻击 2.1 Biggio 2.2 Szegedy's limited-memory BFGS (L-BFGS) 2.3 Fast gradient sign method ...
ECCV 2022 | 用于对抗攻击的频域模型增强方法
©作者 | 陈兆宇单位 | 复旦大学ROILab 研究方向 | 对抗样本论文标题: Frequency Domain Model Augmentation for Adversarial Atta ...

对抗攻击7——JSMA(Jacobian-based Saliency Map Attacks)

对抗攻击7——JSMA(Jacobian-based Saliency Map Attacks)相关推荐

最新文章

热门文章