©PaperWeekly 原创 · 作者 | 鬼谷子

引言

该论文是关于黑盒对抗攻击的工作。论文中作者提出了一种基于积分梯度的可迁移性攻击算法（TAIG），该算法可以生成高可迁移性的对抗样本。作者将三种方法分别是优化标准目标函数、注意力图和平滑决策面集成到论文方法 TAIG 中，作者研究了两种计算直线路径和随机分段线性路径上积分梯度的 TAIG。实验结果表明，论文中提出的方法生成了高迁移性的对抗样本，并且可以与以前的方法进行无缝协同工作，而且 TAIG 的性能优于现有的方法。论文代码目前已经开源了。

论文标题：

Transferable Adversarial Attack based on Integrated Gradients

论文链接：

https://arxiv.org/abs/2205.13152

代码链接：

https://github.com/yihuang2016/TAIG

预备知识

令 是一个分类器网络，该网络将输入 映射成输出向量，其中输出向量的第 个元素表示的是 logit 层第 个输出单元； 表示的是网路将输入 映射成第 类的输出值，即 ，其中 表示的是转置操作。

和 分别表示干净样本和对抗样本，其中 和 分别表示的是干净样本和对抗样本的第 个像素。 是输入 的类别。

积分梯度是一种将深度神经网络的预测归因于其输入特征的方法，其计算的属性表示每个像素对网络输出的重要性，也可以看作是注意值和显著值。积分梯度主要基于两个公理发展而来，即灵敏度和实现不变性，并且满足另外两个公理，即线性性和完备性。积分梯度是从参考图像 到输入图像 的梯度的线性积分。输入 的第 个像素的积分梯度定义为：

其中 表示的是 的第 个像素，且 一般会选取黑色图像。完备性公理表示 和 之间的距离等于 之和：

为了简化符号， 和   被用作表示 ， 和 被用作表示 。

基于积分梯度的可迁移性攻击

作者提出了无目标攻击的基于积分梯度的可迁移攻击两个版本的算法。第一种方法基于原始积分梯度，在直线路径上进行积分。该版本称为基于直线路径上积分梯度的可迁移攻击（TAIG-S），其攻击方程定义为：

其中积分梯度是从 的标签 计算得来的， 表示的是控制步长。第二个版本称为基于随机分段线性路径积分梯度的可迁移攻击（TAIG-R）。令 是一个随机分段线性路径， 是 个分段点，其中 是初始点， 是终止点。从 到 的线段部分被定义为：

其中 。当计算线段的积分梯度时， 表示为参考图片，整个路径的积分梯度被定为如下所示：

根据随机分段线性路径计算的积分梯度称为随机路径积分梯度（RIG），并且 RIG 仍然满足完整性公理：

随机路径中的转折点 由以下公式所得：

其中 和 是一个服从 均匀分布的随机向量，TAIG-R 的攻击方程式如下所示：

除了将在 TAIG-S 中的 被 所替，其它的与 TAIG-S 一样。与 PGD 和 BIM 一样，TAIG 可以进行迭代。在 TAIG 中使用符号函数 和 之间的距离由 范数所测量。作者主要从优化的角度解释 TAIG，然后从注意力分布和平滑性的角度解释 TAIG。利用完备性公理， 的最小化公式可以写成：

因为 是独立于 ，所以它可以被忽略。对于 ReLU 网络，以下公式可以被证明：

其中 的第 个分量为：

具体的证明如下所示。

证明：对于 ReLU 神经网络， 的 个分量被证明如下所示：

考虑如下公式：

使用乘积法则可以得到：

当 时，则有 ；否则有 。因此则有如下公式：

在 ReLU 神经网络中可知：

进而则有：

又因为：

所以最后则有：

作者使用微分的定义计算 关于 的微分如下所示：

其中 中除了第 个元素为 1，其它元素全是 。使用向后差分法可以近似得到：

其中 ，根据完备性公理，如果一个对抗样本 且有对于任意的 ，，则有 ， 表示的是一个黑色图片。对抗样本的网络输出和黑色图像是一样的，这也暗示着对抗样本有一个高概率去被误分类。 表示在 和 的斜率。 和 被分别看作是样本 和目标对抗样本第 个分量的积分梯度。目标积分梯度 被设置为 目的是对网络输出没有贡献，进而则有：

其中 是正定的，TAIG-S 使用的是 的符号函数。作者得到以下结论：1） 被用作去近似 ReLU 网络中的 ；2）近似的质量依靠于 值，所以 和 没有必要的值足够近。为了能够保证 的最小化，作者选择后向差分而不是前向差分。

实验结果

如下图所示为定性的实验结果，下图显示了来自不同网络的原始图像的积分梯度，从左到右分别来自 ResNet50、InceptionV3 和 DenseNet121 的原始图像和相应的积分梯度。

下图显示了 TAIG-S 和 TAIG-R 攻击前后的积分梯度，第一行是原始图像和攻击前后的 IG。第二行是原始图像和攻击前后的装备。从左到右的图像是原始图像、图像的原始 IG、TAIG-S 攻击后的 IG 和 TAIG-R 攻击后的 IG。结果来自ResNet50。，这表明不同模型对相同图像具有相似的积分梯度，并且 TAIG-S 和 TAIG-R 方法可以显著修改积分梯度。

下表列出了无目标多步攻击的实验结果。可以发现论文中提出的 TAIG-S 方法要显著优于 AOA 和 SI，但弱于 LinBP。除了 SENet 之外，所提出的 TAIG-R 在所有模型中都优于所有最先进的方法。

如下表所示，论文中提出的方法 TAIG-R 的平均攻击成功率为 70.82%，比排名第二的 LinBP 高出 25.61 个百分点，而且论文中提出的方法 TAIG-R 在攻击先进防御模型方面优于所有最先进的方法。

由于 TAIG-S 和 TAIG-R 方法几乎相同，除了计算积分梯度的路径和 TAIG-R 在之前的实验中优于 TAIG-S 之外，作者将 设置为 16/255，下表表明 TAIG-R 在不同的代理模型上表现相似。

如下表结果所示，论文中提出的 TAIG-S 方法和 TAIG-R 方法有效地增强了其他方法的可转移性。与其它实验一样，TAIG-S 方法和 TAIG-R 方法的表现也是最好的。

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

​ICLR 2022 | 基于积分梯度的迁移对抗攻击相关推荐

  1. ICLR2022：基于积分梯度的迁移对抗攻击

    1 引言  该论文是关于黑盒对抗攻击的工作.论文中作者提出了一种基于积分梯度的可迁移性攻击算法(TAIG),该算法可以生成高可迁移性的对抗样本.作者将三种方法分别是优化标准目标函数.注意力图和平滑决策 ...

  2. 对抗样本：ICLR 2022 基于积分梯度的对抗攻击（可迁移的黑盒攻击）Transferable Attack based on Integrated Gradients (TAIG)

    文章目录 代码 感受:该论文提出的攻击算法,在实验中特别费时间,每一次迭代需要循环N次(N为batch_size的大小),因此需要消耗大量的时间去生成对抗样本.此外,用该论文的方法与2022年几篇顶会 ...

  3. ICLR 2022 | 基于对抗自注意力机制的预训练语言模型

    ©作者 | 曾伟豪 单位 | 北京邮电大学 研究方向 | 对话摘要生成 论文名称: Adversarial Self-Attention For Language Understanding 论文来源 ...

  4. ICLR 2022 | 基于扩散模型(DDPM)的语义分割

    点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 点击进入-> CV 微信技术交流群 转载自:咚咚学AI 论文标题:LABEL-EFFICIENT SE ...

  5. 基于共轭梯度法的对抗攻击

    1 引言  深度学习模型容易受到对抗样本的攻击,尽管基于最速下降的现有方法已经取得了很高的攻击成功率,但优化的病态问题偶尔会降低它们的攻击性能.为了解决这个问题,在该论文中作者借鉴对此类问题有效的共轭 ...

  6. 对抗攻击经典论文——FGSM学习笔记 EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES

    论文下载:Explaining and Harnessing Adversarial Examples 1摘要 几种机器学习模型,包括神经网络,一致地将对抗样本误分类--通过对数据集样本添加细微而刻意 ...

  7. 人工智能 对比试验_人工智能安全——对抗攻击分析

    1. 引言 随着人工智能深度学习成为研究热点,其在医疗 [1] .生物 [2] [3],金融 [4] .自动驾驶 [5] 各个领域皆有所应用,并且取得丰硕的成果.深度学习不同于传统的基于特征提取的机器 ...

  8. ICLR 2022：​PiCO，基于对比消歧的偏标签学习 丨AI Drive

    偏标签学习 (Partial Label Learning, PLL) 是一个经典的弱监督学习问题,它允许每个训练样本关联一个候选的标签集合,适用于许多具有标签不确定性和歧义的的现实世界数据标注场景. ...

  9. ICLR 2022 | 香侬科技提出基于图神经网络的语义理解模型，获单项满分

    ©作者 | 香侬科技 来源 | 香侬科技 近日,深度学习国际顶级会议ICLR 2022向作者公布了论文录用结果.香侬科技3篇论文被大会收录,研究内容覆盖通用自然语义理解.NLP神经网络模型安全性.自动 ...

最新文章

  1. java pkcs1转pkcs8_.NET Core RSA密钥的xml、pkcs1、pkcs8格式转换和JavaScript、Java等语言进行对接...
  2. flume学习（四）：Flume Interceptors的使用
  3. ionic ion-refresher
  4. 软件登录界面设计分享
  5. 书籍推荐：Machine Learning Yearning
  6. ubuntu 12.04下gedit查看txt中文乱码解决办法
  7. linux eclipse安装使用教程
  8. 【Win10】【亲手解决】华硕笔记本重装系统遇到的各种问题【包括重启会自动修复】
  9. python指数函数ks检验_python指数函数不正确的指数值
  10. Linux下安装MySQL、安装注意事项以及安装问题解决等（以腾讯云服务为主）
  11. 小米手机获取ROOT权限的一些坑及补坑经验
  12. 太阳系行星运行图-java多媒体实验
  13. 六、容器（高琪java300集+java从入门到精通笔记）
  14. 消息称聊天宝团队解散 罗永浩已经退出股东行列
  15. python异步处理请求_python：tornado+wsgi异步处理请求
  16. c 中服务器多次接受消息,c/s模拟高并发服务器端线程池接收问题
  17. JVM系列（十七）：字节码指令集
  18. python之xlwt、xlrd和openpyxl
  19. 【故障•监听】TNS-12518、TNS-00517和 Linux Error：32：Broken pipe
  20. Dubbo的使用和原理

热门文章

  1. 2011年5月20日
  2. WTGNet-HT/P海天注塑机PILOT数据采集网关
  3. Unity 曲线编辑器说明
  4. 值得网页设计师前端收藏的实用工具列表
  5. AR乐园实例教程项目1---AR动物园(上)的实现
  6. 计算机课前导学结题报告,【学案导学课题结题报告】 课题结题报告范文_课题结题报告模板_东城教研...
  7. 51单片机电路原理图_单片机晶振的必要性
  8. 自然语言处理——文本分类综述
  9. 计算机电源用什么端子,电源常用，电源接线端子你懂吗？
  10. 已解决selenium.common.exceptions.ElementClickInterceptedException: Message: element click intercepted: