摘要

定义了通用的对抗触发器(Universal Adversarial Triggers)：找到一段特定token序列（触发序列），使其连接到输入数据的前端或末尾时，触发模型产生特定预测。我们提出了一种在tokens上的梯度导向搜索，它可以找到成功触发目标预测的短触发序列。

算法

假设模型f，文本输入t，以及一个目标标签y'。对抗攻击的=目的是将触发标记tadv连接到t的前面或结尾，假设前面则用f（tadv；t）=y'表示。

在通用目标攻击中，对tadv进行优化，以使数据集中所有输入的目标类y'的损失最小化。这转化为以下目标

首先选择触发器的长度：较长的触发器更有效，而较短的触发器更隐蔽。然后通过重复单词“the”、子单词“a”或字符“a”来初始化触发器序列，并将触发器连接到所有输入的前端/后端。

然后，迭代地替换触发器中的token，以最小化一批样本中目标预测的损失。为了确定如何替换当前的token，利用HotFlip（Ebrahimi et al.，2018b）用梯度近似替换效果的方法。为了应用这种方法，触发器tadv用独热向量表示，嵌入到eadv中。

标签替代策略HotFlip

更新每个触发token的嵌入层向量eadv，在模型词向量字典中选一个替换token，使得当前token嵌入层损失的一阶泰勒近似最下

对于我们所考虑的所有模型来说，这种蛮力处理是简单并行的，而且比运行前向通道开销小。最后，在找到每个eadvi之后，将嵌入向量转换回token。下图提供了搜索算法的图示

？？？？不是很懂，这样的话结果不是取决于最后一批样本吗，也不完全是，因为是在链接了对抗样本之后求导，但还是觉得很没有道理。。。

我们还提出用beam search 搜索替换。对于触发器中的每个token位置，考虑等式2中的前k个token候选。从左到右搜索各个位置，并使用当前批次的损失对每个beam进行评分。由于计算限制（附录A），我们使用较小的beam size，这个策略可能会改进我们的结果。

对抗攻击举例

情感分析

为了避免负面例子的“惊人”等退化触发因素，我们使用一个词汇将情绪词列入黑名单。5我们从一个tar-geted攻击开始，使用三个前置触发词将正面预测翻转为负面预测。我们的at-tack算法返回“分区攻丝fiennes”——在正样本中，预先设置这个触发器会导致模型的准确率从86.2%下降到29.1%。我们进行了一次类似的攻击，将消极预测转变为积极预测，从而获得“喜剧布鲁塔斯基”——这导致模型的准确率从86.6%下降到23.6%。附录B中的图5显示了减少/增加触发器长度的效果。例如，从正面到负面的攻击，使用一个词的准确率降低到46%，使用十个词的准确率降低到13%。

论文阅读《Universal Adversarial Triggers for Attacking and Analyzing NLP》相关推荐

《基于卷积神经网络的深度迁移学习，用于燃气轮机燃烧室的故障检测》论文阅读
目录突出抽象引言 1.1动机 1.2文献综述获得的结论 1.3贡献 1.4组织 2方法 2.1燃汽轮机组故障知识共享 2.2迁移学习 2.3 基于卷积神经网络的深度迁移学习 2.4用于燃气轮机燃 ...
基于卷积神经网络和投票机制的三维模型分类与检索 2019 论文笔记
作者:白静计算机辅助设计与图形学学报 1.解决的问题由于三维模型投影得到的视图是由不同视点得到,具有相对独立性,这种像素级的融合运算并没有直接的物理或者几何意义,更有可能造成图像有益信息淹没和混淆 ...
TextCNN——基于卷积神经网络的文本分类学习
1.CNN基础内容 CNN的全称是Convolutional Neural Network,是一种前馈神经网络.由一个或多个卷积层.池化层以及顶部的全连接层组成,在图像处理领域表现出色. 本文主要学习 ...
读懂深度迁移学习，看这文就够了 | 赠书
百度前首席科学家.斯坦福大学副教授吴恩达(Andrew Ng)曾经说过:迁移学习将是继监督学习之后的下一个促使机器学习成功商业化的驱动力. 本文选自<深度学习500问:AI工程师面试宝典> ...
一种基于卷积神经网络的图像去雾研究-含matlab代码
目录一.绪论二.去雾卷积网络 2.1 特征提取 2.2 多尺度映射 2.3 局部均值 2.4 非线性回归三.实验与分析四.Matlab代码获取一.绪论雾是一种常见的大气现象,空气中悬浮的水 ...
机械臂论文笔记（一）【基于卷积神经网络的二指机械手抓取姿态生成研究】
基于卷积神经网络的二指机械手抓取姿态生成研究论文下载摘要第1章绪论 1.1 抓取生成国内外研究现状 1.1.1已知物体抓取生成 1.1.2相似物体抓取生成 1.1.3 未知物体抓取生成 1. ...
毕业设计 - 基于卷积神经网络的乳腺癌分类深度学习医学图像
文章目录 1 前言 2 前言 3 数据集 3.1 良性样本 3.2 病变样本 4 开发环境 5 代码实现 5.1 实现流程 5.2 部分代码实现 5.2.1 导入库 5.2.2 图像加载 5.2.3 ...
基于卷积神经网络与迁移学习的油茶病害图像识别
基于卷积神经网络与迁移学习的油茶病害图像识别 1.研究思路利用深度卷积神经网络强大的特征学习和特征表达能力来自动学习油茶病害特征,并借助迁移学习方法将AlexNet模型在ImageNet图像数据集上 ...
Python深度学习实例--基于卷积神经网络的小型数据处理（猫狗分类）
Python深度学习实例--基于卷积神经网络的小型数据处理(猫狗分类) 1.卷积神经网络 1.1卷积神经网络简介 1.2卷积运算 1.3 深度学习与小数据问题的相关性 2.下载数据 2.1下载原始数据 ...
基于卷积神经网络实现图片风格的迁移 1
卷积神经网络详解一.实验介绍 1.1 实验内容 Prisma 是最近很火的一款APP,它能够将一张普通的图像转换成各种艺术风格的图像.本课程基于卷积神经网络,使用Caffe框架,探讨图片风格迁移背后 ...

论文阅读《Universal Adversarial Triggers for Attacking and Analyzing NLP》

摘要

算法

标签替代策略HotFlip

对抗攻击举例

情感分析

论文阅读《Universal Adversarial Triggers for Attacking and Analyzing NLP》相关推荐

最新文章

热门文章