2023-03-22干活小计：

transformer:

position-embedding:

残差：我也会了

addnorm：我也会了

class Position_Embedding(nn.Module):def __init__(self, max_len, embedding_dim):self.max_len = max_lenself.embedding_dim = embedding_dimresult = torch.ones(self.max_len, self.embedding_dim, requires_grad=False)pos = torch.arange(max_len)[:, None]i_even = torch.arange(0, embedding_dim, 2)[None, :]i_odd = torch.arange(1, embedding_dim, 2)[None, :]even_value = pos / (10000**(2*i_even/self.embedding_dim))odd_value = pos / (10000**(2*i_odd/self.embedding_dim))result[:, 0::2] = torch.sin(even_value)result[:, 1::2] = torch.cos(odd_value)self.position_embedding = resultdef forward(self, x):position_embedding = x + self.position_embeddingreturn position_embedding

self-attention以及mask-padding部分:

周末忙完了自己实现一遍，带进任务，看看效果。

attention组合位置信息，全连接组合特征信息

transformer中的masked loss：不要算pad部分的loss tf中有对应的函数（也可以利用CROSSentropy的一个ignore参数）

2023-03-22干活小计：相关推荐

2023-03-13干活小计
08:30到达实验室 24:00左右离开切片操作中:[]中,逗号,区分的是维度,冒号:区分的是索引,省略号- 用来代替全索引长度 rnn 文本分类终于跑完了古诗生成: 正则表达式: #patter ...
2023-02-20干活小计：
所以我今天的活开始了: In this paper, the authors target the problem of Multimodal Name Entity Recognition(MNER ...
English Learning - L2-5 英音地道语音语调弹力双元音 [ɪə] [ʊə] [eə] 2023.03.6 周一
English Learning - L2-5 英音地道语音语调弹力双元音 [ɪə] [ʊə] [eə] 2023.03.6 周一朗读节奏元音的长度元音发音在清辅音和浊辅音前的区别元音发音跟 ...
excel函数:汉字转全拼_星期五的Excel函数：带过滤器的小计和总和
excel函数:汉字转全拼 Last week, we used the Excel SUBTOTAL function to sum items in a filtered list, while ...
Oracle关于分组小计再合计
其实在之前就写过mysql关于分组小计再合计,只是当时限于知识和眼界所限,所以给了一个不能算是通用的方案的方案,仅仅只是从效果上完成了任务.随着时间的发展,见识到的东西也多了些,近期在使用Oracle ...
SAP小技巧之实现SMARTFORM打印中的小计与总计
点击蓝字关注我们一前言公众号群里面有人在讨论SMARTFORM打印中的小计和总计的实现.好久没有做SMARTFORM了, 所以没有参与讨论. 后来网上查询了一下. 也没有找到很好的解决方案.所 ...
Delphi报表开发ReportMachine的小计和总计的计算
Delphi报表开发ReportMachine的小计和总计的计算 2011年7月2日分类: Delphi, 开发笔记最近在做一个Delphi的发货清单的打印程序,其中涉及到需要计算清单的小计和总计 ...
English Learning - L2-7 英音地道语音语调爆破音 [p] [b] [t] [d] [k] [g] 2023.03.13 周一
English Learning - L2-7 英音地道语音语调爆破音 [p] [b] [t] [d] [k] [g] 2023.03.13 周一课前热身辅音辅音的定义清辅音和浊辅音的区别 ...
Go C画图 CSP-J 信息学奥赛 2023.03。13、14、15测试题
2023.03.09.10.11.12 测试题(选做3-5题) 请将每1道题做完后,将AC截图发到QQ群里请测试完成后,统计一下AC题目的个数 379.场记板难度:1 登录 385.身高难度:1 ...

2023-03-22干活小计：

2023-03-22干活小计：相关推荐

最新文章

热门文章