一、Transformer中为什么要使用位置编码positional encoding

在《Attention Is All You Need》这篇论文中首次提到了transformer模型，transformer模型在输入端用了一个位置编码（positional encoding），其主要目的是增加相对位置信息，使其可以更好的利用每个元素相互之间的位置关系

二、具体编码实现方式

论文作者使用的是正余弦函数进行编码，这时可能会有人产生了疑惑，为什么要使用这么复杂的编码方式呢，这里举个例子，一句话“你好吗”用“1，0，0”、“0，1，0”、“0，0，1”的独热编码不可以么，编码方式还会更加的简单，为什么要用下图这么复杂的编码方式呢？

因为正余弦编码的表示方法蕴含了相对位置信息，假设一句话“我是小狗”的“狗”的位置为 pos+k，那么即可用在位置为“pos”的“我”和在“k”位置的“是”这两个位置的编码向量进行线性组合来表示出狗这个字的位置编码向量，具体公式如下。

上式的具体推到用到了sin和cos的积化和差的性质，这也就是为什么要用sin和cos交替的形式来进行位置编码

透彻分析Transformer中的位置编码（positional enconding）相关推荐

举例理解transformer中的位置编码
文章目录 1. transformer结构图 2. 位置编码的作用 3. 位置编码的计算 1. transformer结构图在transformer的结构图中,由一个"Position ...
深入理解transformer中的位置编码
文章目录总览问题1 问题2 问题3 问题4 问题5 问题6 总览我们今天需要讲解transformer中的位置编码,这其实属于进阶内容.既然你会到这里,我默认你已经看过了transformer的 ...
【Transformer】Transformer 中的位置编码 -- ICLR 2021
引言 Transformer是近年来非常流行的处理序列到序列问题的架构,其self-attention机制允许了长距离的词直接联系,可以使模型更容易学习序列的长距离依赖.由于其优良的可并行性以及可观的 ...
Transformer中的位置编码（PE，position）
参考链接 [1]https://blog.csdn.net/qq_34771726/article/details/102918440?utm_medium=distribute.pc_relevan ...
ICCV2021 | Vision Transformer中相对位置编码的反思与改进
前言在计算机视觉中,相对位置编码的有效性还没有得到很好的研究,甚至仍然存在争议,本文分析了相对位置编码中的几个关键因素,提出了一种新的针对2D图像的相对位置编码方法,称为图像RPE(IRPE). ...
transformer中相对位置编码理解
对于一副图像,位置信息占有非常重要的地位,ViT中用了绝对位置编码,Swin中用到了相对位置编码.看了Swin的源码,参考了https://blog.csdn.net/qq_37541097/arti ...
Positional Encodings in ViTs 近期各视觉Transformer中的位置编码方法总结及代码解析 1
Positional Encodings in ViTs 近期各视觉Transformer中的位置编码方法总结及代码解析最近CV领域的Vision Transformer将在NLP领域的Transo ...
Transformer架构：位置编码
2017年,Google的Vaswani 等人提出了一种新颖的纯注意力序列到序列架构,闻名学术界与工业界的 Transformer 架构横空出世.它的可并行化训练能力和优越的性能使其成为自然语言处理领 ...
Transformer | DETR目标检测中的位置编码position_encoding代码详解
本文主要描述的是DETR论文中的position_encoding,详细DETR论文解析可参考论文篇 | 2020-Facebook-DETR :利用Transformers端到端的目标检测=> ...

透彻分析Transformer中的位置编码（positional enconding）

一、Transformer中为什么要使用位置编码positional encoding

二、具体编码实现方式

透彻分析Transformer中的位置编码（positional enconding）相关推荐

最新文章

热门文章