出发点：“通过绝对位置编码的方式实现相对位置编码”

操作步骤

1.假设一个函数f（）通过他能让q，k带上绝对位置信息

对q,k进行操作（f（））使得他们带上位置m,n的绝对位置信息，

通过内积后，希望结果带上相对位置信息，因此假设存在下列恒等关系

2.根据以上的恒等式求出f（）

假设f(q,0)=q 和f(k,0)=k
先求出在二维情景下的情况，在推广到高纬度

借助复数来求解。在复数中有⟨q,k⟩=Re[qk∗]，Re[] 代表复数的实部，所以我们有

简单起见，我们假设存在复数g(q,k,m−n)，使得f(q,m)f∗(k,n)=g(q,k,m−n)，然后我们用复数的指数形式，设

那么代入方程后就得到方程组

推广到高维

另一种理解方法

RoPE（旋转式位置编码）相关推荐

Rotary Position Embedding (RoPE, 旋转式位置编码) | 原理讲解+torch代码实现
Transformer升级之路：二维位置的旋转式位置编码
©PaperWeekly 原创 · 作者 | 苏剑林单位 | 追一科技研究方向 | NLP.神经网络在之前的文章 Transformer 升级之路:博采众长的旋转式位置编码中我们提出了旋转式位置 ...
Transformer升级之路：博采众长的旋转式位置编码
©PaperWeekly 原创 · 作者|苏剑林单位|追一科技研究方向|NLP.神经网络上一篇文章中,我们对原始的 Sinusoidal 位置编码做了较为详细的推导和理解,总的感觉是 Sinus ...
Transformer架构：位置编码
2017年,Google的Vaswani 等人提出了一种新颖的纯注意力序列到序列架构,闻名学术界与工业界的 Transformer 架构横空出世.它的可并行化训练能力和优越的性能使其成为自然语言处理领 ...
相对位置编码与绝对位置编码
1 绝对位置编码在输入的第k个向量xk中加入位置向量pk变为xk+pk,其中pk只依赖于位置编号k. 训练式将位置编码当作可训练参数,比如最大长度为512,编码维度为768,那么就初始化一个512 ...
面经：什么是Transformer位置编码？
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货作者:陈安东,中央民族大学,Datawhale成员过去的几年里,Tra ...
美团提出基于隐式条件位置编码的Transformer，性能优于ViT和DeiT
视学算法发布机器之心编辑部 Transformer 跨界计算机视觉的热潮之下,有一个问题需要解决:如何像 CNN 一样直接处理不同尺寸的输入?对此,美团提出了一种新型隐式条件位置编码方法,基于该方法 ...
深入理解transformer中的位置编码
文章目录总览问题1 问题2 问题3 问题4 问题5 问题6 总览我们今天需要讲解transformer中的位置编码,这其实属于进阶内容.既然你会到这里,我默认你已经看过了transformer的 ...
LSTM-pytorch 写诗之位置编码
源码和模型地址 https://download.csdn.net/download/weixin_32759777/18339209 from main import * from config i ...

RoPE（旋转式位置编码）