self-attention为什么要除以根号d

self-attention的公式为
attention(Q,K,V)=Softmax(QKdk)Vattention(Q,K,V)=Softmax( \frac{QK}{\sqrt{d_{k}}})Vattention(Q,K,V)=Softmax(dkQK)V

个人理解，除以dk\sqrt{d_{k}}dk的原因有两点：
dkd_{k}dk是词向量/隐藏层的维度
1、首先要除以一个数，防止输入softmax的值过大，导致偏导数趋近于0；
2、选择根号d_k是因为可以使得q*k的结果满足期望为0，方差为1的分布，类似于归一化。

公式分析，首先假设q和k都是服从期望为0，方差为1的独立的随机变量。
Assume：X=qiX=q_{i}X=qi，Y=kiY=k_{i}Y=ki，那么：
1、E(XY)=E(X)E(Y)=0∗0=0E(XY)=E(X)E(Y)=0*0=0E(XY)=E(X)E(Y)=0∗0=0
2、D(XY)=E(X2Y2)−[E(XY)]2D(XY)=E(X^{2}Y^{2})-[E(XY)]^{2}D(XY)=E(X2Y2)−[E(XY)]2
=E(X2)E(Y2)−[E(X)E(Y)]2=E(X^{2})E(Y^{2})-[E(X)E(Y)]^{2}=E(X2)E(Y2)−[E(X)E(Y)]2
=E(X2−02)E(Y2−02)−[E(X)E(Y)]2=E(X^{2}-0^{2})E(Y^{2}-0^{2})-[E(X)E(Y)]^{2}=E(X2−02)E(Y2−02)−[E(X)E(Y)]2
=E(X2−[E(X)]2)E(Y2−[E(Y)]2)−[E(X)E(Y)]2=E(X^{2}-[E(X)]^{2})E(Y^{2}-[E(Y)]^{2})-[E(X)E(Y)]^{2}=E(X2−[E(X)]2)E(Y2−[E(Y)]2)−[E(X)E(Y)]2
=[E(X2)−[E(X)]2][E(Y2)−[E(Y)]2]−[E(X)E(Y)]2=[E(X^{2})-[E(X)]^{2}][E(Y^{2})-[E(Y)]^{2}]-[E(X)E(Y)]^{2}=[E(X2)−[E(X)]2][E(Y2)−[E(Y)]2]−[E(X)E(Y)]2
=D(X)D(Y)−[E(X)E(Y)]2=D(X)D(Y)-[E(X)E(Y)]^{2}=D(X)D(Y)−[E(X)E(Y)]2
=1∗1−0∗0=1*1-0*0=1∗1−0∗0
=1=1=1
3、D(QKdk)=dk(dk)2=1D(\frac{QK}{\sqrt{d_{k}}})=\frac{d_{k}}{(\sqrt{d_{k}})^{2}}=1D(dkQK)=(dk)2dk=1
需要注意的是，D(QK)=D(∑i=0dkqiki)=dk∗1=dkD(QK)=D(\sum_{i=0}^{d_{k}}q_{i}k_{i})=d_{k}*1=d_{k}D(QK)=D(∑i=0dkqiki)=dk∗1=dk

self-attention为什么要除以根号d_k相关推荐

将z的第二列除以根号三MATLAB,matlab中如何用牛顿法求根号2的近似值
如何用matlab求出图中各条直线的斜率 1.瞬时斜率:求导.方法:d(k)=(u(k)-u(k-1))/T(k);d(0)=0;其中d就是瞬时斜率2.平均斜率:求拟合.方法:p=polyfit(x, ...
庖丁解牛Transformer原理
近年来Transformer不管是在NLP.CV.推荐等领域都有比较大的应用,短短4年左右的时间Attention Is All You Need 文章的引用量接近3万,其实Transformer原先 ...
Transformer 看这一篇就够了
之前我在这篇语言模型(五)-- Seq2Seq.Attention.Transformer学习笔记中说过要对Transformer来一个抠细节的笔记,今天它来了.由于大部分内容在上文中已有过系统地介绍 ...
Transformer入门（一）——结构
文章目录前言一.Transformer的产生和基础思想 1.1 Transformer的Motivation 1.2 Transformer的原始框架 1.3 关于Decoder的补充说明 ...
NLP算法岗——秋招被虐经历
作者 | Chevalier 整理 | NewBeeNLP 面试锦囊之面经分享系列,持续更新中后台回复『面试』加入讨论组交流噢简历背景:1个腾讯实习,4个比赛.2个项目,1篇CCF-A二作.1 ...
Transformer代码详解: attention-is-all-you-need-pytorch
Transformer代码详解: attention-is-all-you-need-pytorch 前言 Transformer代码详解-pytorch版 Transformer模型结构各模块结构 ...
“Attention is All You Need 翻译
<p><img src="output_0_0.png" alt="png"></p> "Attention is ...
机器学习笔记： attention
1 回顾: 使用RNN的Seq2Seq encoder最后的输出,我们生成两个向量,初始的decoder状态s0和文本向量c.然后进行decoder操作但是问题在于,如果输入的sequence很长的 ...
《Attention Is All You Need》
目录摘要(Abstract) 1.介绍(Introduction) 2.背景(Background) 2.1 WMT翻译数据集 2.2 编码器-解码器(seq2seq) 2.2.1 编码器 2.2. ...

self-attention为什么要除以根号d_k

self-attention为什么要除以根号d_k相关推荐

最新文章

热门文章