【源码解读】Transformer的Scaled dot product部分详解

def attention(query, key, value, mask=None, dropout=None):# shape:query=key=value---->[batch_size,8,max_length,64]d_k = query.size(-1)# k的纬度交换后为：[batch_size,8,64,max_length]# scores的纬度为:[batch_size,8,max_length,max_length]scores = torch.matmul(query, key.transpose(-2, -1)) \/ math.sqrt(d_k)#padding maskif mask is not None:scores = scores.masked_fill(mask == 0, -1e9)#剖析点1p_attn = F.softmax(scores, dim = -1)if dropout is not None:p_attn = dropout(p_attn)return torch.matmul(p_attn, value), p_attn

源码剖析

剖析点1：`scores.masked_fill(mask == 0, -1e9)`

Transformer的Scaled dot product部分的scores.masked_fill(mask == 0, -1e9)把mask矩阵中为0的位置用-1e9这个极小值填充，这样的极小值在经过softmax之后为0
关于masked_fill函数参考：https://blog.csdn.net/qq_41568188/article/details/107281395
掩码操作，用value填充tensor中与mask中值为0位置相对应的元素。
mask的形状必须与要填充的tensor形状一致。

import torch
import torch.nn.functional as F
a = torch.randn(5,6)
print(a)
x = [5,4,3,2,1]
mask = torch.zeros(5,6,dtype=torch.int)
for e_id, src_len in enumerate(x):mask[e_id, src_len:] = 1
print(mask)
a.data.masked_fill_(mask==0,-float('inf'))
print(a)
print(F.softmax(a,dim=-1))
#输出
tensor([[-1.8453, -0.7031,  0.0066, -1.0771, -0.5282, -0.1669],[ 1.0285, -0.1086, -0.9871, -1.2061, -0.7845,  1.5072],[ 1.8313,  2.4513, -0.1615, -1.2768, -0.5887, -1.2990],[ 0.4653,  0.7976,  0.2020, -0.0886, -0.9101, -2.9927],[-0.5556, -0.5319, -0.1768, -0.4238,  1.2213, -1.9120]])
tensor([[0, 0, 0, 0, 0, 1],[0, 0, 0, 0, 1, 1],[0, 0, 0, 1, 1, 1],[0, 0, 1, 1, 1, 1],[0, 1, 1, 1, 1, 1]], dtype=torch.int32)
tensor([[   -inf,    -inf,    -inf,    -inf,    -inf, -0.1669],[   -inf,    -inf,    -inf,    -inf, -0.7845,  1.5072],[   -inf,    -inf,    -inf, -1.2768, -0.5887, -1.2990],[   -inf,    -inf,  0.2020, -0.0886, -0.9101, -2.9927],[   -inf, -0.5319, -0.1768, -0.4238,  1.2213, -1.9120]])
tensor([[0.0000, 0.0000, 0.0000, 0.0000, 0.0000, 1.0000],[0.0000, 0.0000, 0.0000, 0.0000, 0.0918, 0.9082],[0.0000, 0.0000, 0.0000, 0.2520, 0.5015, 0.2465],[0.0000, 0.0000, 0.4722, 0.3531, 0.1553, 0.0194],[0.0000, 0.1045, 0.1491, 0.1165, 0.6035, 0.0263]])

【源码解读】Transformer的Scaled dot product部分详解相关推荐

KBQA_多轮对话——模型源码解析（一）Pickle模块功能详解
KBQA_多轮对话--模型源码解析(一)Pickle模块功能详解 pickle --- Python 对象序列化的基本功能 1.pickle基本概念 2.pickle 与 json 模块的比较 3.p ...
【SA8295P 源码分析】53 - mifs.build.tmpl 脚本详解：启动QNX procnto-smp-instr微内核、启动QNX串口终端shell、加载解析并执行ifs2_la.img
[SA8295P 源码分析]53 - mifs.build.tmpl 脚本详解:启动QNX procnto-smp-instr微内核.启动QNX串口终端shell.加载解析并执行ifs2_la.img ...
Vue.js 源码分析(二十三) 指令篇 v-show指令详解
v-show的作用是将表达式值转换为布尔值,根据该布尔值的真假来显示/隐藏切换元素,它是通过切换元素的display这个css属性值来实现的,例如: <!DOCTYPE html> < ...
FatFs 之一 R0.13c版源码目录文件、函数、全配置项详解及移植说明
FatFs 是用于小型嵌入式系统的通用 FAT/exFAT 文件系统模块.FatFs 模块的编写符合 ANSI C(C89),并与磁盘 I/O 层完全分离,因此它独立于硬件平台. 它可以集成到资源 ...
类加载器源码、双亲委派、自定义类加载器详解
文章目录 jdk的类加载器双亲委派自定义类加载器打破双亲委派 jdk的类加载器查看一个类的类加载器: ClassLoader classLoader = boy.class.getClassL ...
bootstrap源码之滚动监听组件scrollspy.js详解
其实滚动监听使用的情况还是很多的,比如导航居于右侧,当主题内容滚动某一块的时候,右侧导航对应的要高亮. 实现功能 1.当滚动区域内设置的hashkey距离顶点到有效位置时,就关联设置其导航上的指定项 ...
statement执行insert into语句_【图文并茂】源码解析MyBatis ShardingJdbc SQL语句执行流程详解...
源码分析Mybatis系列目录: 1.源码分析Mybatis MapperProxy初始化[图文并茂] 2.源码分析Mybatis MappedStatement的创建流程 3.[图文并茂]Mybat ...
从源码分析RocketMQ系列-消息拉取PullMessageProcessor详解
导语在之前的分析中分析了关于SendMessageProcessor,并且提供了对应的源码分析分析对于消息持久化的问题,下面来看另外一个PullMessageProcessor,在RocketM ...
(01)ORB-SLAM2源码无死角解析-(37) EPnP 算法原理详解→理论基础一:控制点选取、透视投影约束
讲解关于slam一系列文章汇总链接:史上最全slam从零开始,针对于本栏目讲解的(01)ORB-SLAM2源码无死角解析链接如下: (01)ORB-SLAM2源码无死角解析-(00)目录_最新无死角讲 ...

【源码解读】Transformer的Scaled dot product部分详解

源码剖析

剖析点1：`scores.masked_fill(mask == 0, -1e9)`

【源码解读】Transformer的Scaled dot product部分详解相关推荐

最新文章

热门文章

【源码解读】Transformer的Scaled dot product部分详解

源码剖析

剖析点1：scores.masked_fill(mask == 0, -1e9)

【源码解读】Transformer的Scaled dot product部分详解相关推荐

最新文章

热门文章

剖析点1：`scores.masked_fill(mask == 0, -1e9)`