Attention Mask

Mask大致分为两种

Padding Mask：在NLP任务中，由于句子长度不一致，经常会进行padding操作，在sequence中加入零向量。这部分padding不应该起作用，但是在Attention的计算中用到了softmax等操作，即便0向量也会参与计算(e^0=1)，因此需要手动将这部分信息mask才行。padding mask主要包含两种：
key mask：在计算score之后，且softmax之前进行，将值设为很小的数字(如-e^12)，这样经过的softmax之后值几乎为0
query mask：在softmax之后进行，因此对应元素设置为0即可。
Future(blinding) Mask：例如在翻译的任务中(“我喜欢机器学习”)，在翻译喜欢的时候，我们只知道“我喜欢”，而后面的“机器学习”并不知道，也就是不能提前利用Future的信息，因此需要将Future的信息Mask掉。Future Mask主要用在Decoder中，只有Decoder中才会有future 信息。Future Mask的实现也比较简单，首先建立一个对应的下三角形矩阵，之后根据这个矩阵过滤即可，因为下三角对应的之前的信息。

————————————————
版权声明：本文为CSDN博主「我叫龙翔天翼」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_40901056/article/details/97514718

Attention Mask相关推荐

超细粒度分析XLNet中神奇的Attention Mask
©PaperWeekly 原创 · 作者|海晨威学校|同济大学硕士生研究方向|自然语言处理 BERT 后时代,XLNet 在 20 个任务上超越 BERT,引起不小的关注.最重要的改进是 XLNe ...
GLAMD: Global and Local Attention Mask Distillation for Object Detectors
全局-局部注意力的mask蒸馏传统KD关注fore,而忽视的backg,关注全局,忽略local.本文GLAMD,提取了全局+局部,将future map 分为几个 patch,并对global ...
【MHA】之 Attention Mask (with back forward trace) / Causal Mask (with back trace)
文章目录 1. Attention Mask or Causal Mask 2. Causal Mask (with n_backtrce) 3. Attention Mask with backst ...
生成模型的中Attention Mask说明
生成模型中的Attention Mask说明最近在做文本生成任务,例如诗歌生成,问题生成,摘要生成等,使用了Bart模型,CPT模型,mt5模型,t5模型等.生成模型是基于Seq-to-Seq(En ...
超细粒度分析 XLNet 中神奇的 Attention Mask
BERT后时代,XLNet 在20个任务上超越BERT,引起不小的关注.最重要的改进是 XLNet 实现了不在输入中加[Mask] 标志,同样可以利用上下文信息,解决了BERT预训练和微调不一致的问题 ...
Attention mask理解
Transformer的矩阵维度分析和Mask详解 Transformer 中self-attention以及mask操作的原理以及代码解析
attention seq2seq transformer bert 学习总结 _20201107
https://blog.csdn.net/weixin_44388679/article/details/102575223 Seq2Seq原理详解一文读懂BERT(原理篇) 2018年的10月1 ...
“Attention is All You Need 翻译
<p><img src="output_0_0.png" alt="png"></p> "Attention is ...
神经网络注意力机制--Attention in Neural Networks
Attention in Neural Networks and How to Use It http://akosiorek.github.io/ml/2017/10/14/visual-atten ...

Attention Mask

Attention Mask相关推荐

最新文章

热门文章