nn.Embedding中padding

每个句子的长度并不一定是等长的, 这时候就需要对较短的句子进行padding, nn.Embedding中padding_idx是指定padding的索引值。

#实例化词嵌入对象，序列进行padding时补padding_idx。当采用补0的方式，padding_idx =0
#这里的词空间大小为5，词嵌入维度大小为7
embeder = nn.Embedding(5,7,padding_idx=0)
print(embeder.weight)  #padding_idx的位置为全0
print('*'*30)
#有一个序列s为[2,3],假定我们在进行处理时规定序列的长度统一为4，所以序列s需要padding。
#padding_idx=0，所以s后面进行补0
s_padding = torch.LongTensor([2,3,0,0])
result = embeder(s_padding)
print(result)
print('-'*30)#举一个奇怪的例子，形成对比
#补4，即padding_idx=4
#这里要注意padding_idx要小于词空间的大小，这里的词空间大小为5,所以padding_idx不能超过4embeder = nn.Embedding(5,7,padding_idx=4)
print(embeder.weight)  #padding_idx的位置为全0
print('*'*30)
#有一个序列s为[2,3],假定我们在进行处理时规定序列的长度统一为4，所以序列s需要padding。
#padding_idx=4，所以s后面进行补4
s_padding = torch.LongTensor([2,3,4,4])
result = embeder(s_padding)
print(result)

运行结果：

nn.Embedding中padding_idx的理解相关推荐

torch.nn.Embedding()中的padding_idx参数解读
torch.nn.Embedding() Word Embedding 词嵌入,就是把一个词典,随机初始化映射为一个向量矩阵. 列如:有一组词典,有两个词"hello"和" ...
【Pytorch基础教程28】浅谈torch.nn.embedding
学习总结文章目录学习总结一.nn.Embedding 二.代码栗子 2.1 通过embedding降维 2.2 RNN中用embedding改进 2.3 deepFM模型中embedding R ...
深入理解padding_idx(nn.Embedding、nn.Embedding.from_pretrained）
这个参数出现在一些地方,例如: nn.Embedding.nn.Embedding.from_pretrained. import torch import torch.nn as nn import ...
关于nn.embedding的中padding_idx的含义
自然语言中使用批处理时候, 每个句子的长度并不一定是等长的, 这时候就需要对较短的句子进行padding, 填充的数据一般是0, 这个时候, 在进行词嵌入的时候就会进行相应的处理, nn.embedd ...
torch.nn.Embedding理解
Pytorch官网的解释是:一个保存了固定字典和大小的简单查找表.这个模块常用来保存词嵌入和用下标检索它们.模块的输入是一个下标的列表,输出是对应的词嵌入. torch.nn.Embedding(nu ...
什么是embedding（把物体编码为一个低维稠密向量）,pytorch中nn.Embedding原理及使用
文章目录使embedding空前流行的word2vec 句子的表达训练样本损失函数输入向量表达和输出向量表达vwv_{w}vw 从word2vec到item2vec 讨论环节 pytorch ...
pytorch中nn.Embedding和nn.LSTM和nn.Linear
使用pytorch实现一个LSTM网络很简单,最基本的有三个要素:nn.Embedding, nn.LSTM, nn.Linear 基本框架为: class LSTMModel(nn.Module): ...
nn.Embedding
关于torch.nn.Embedding的理解,经常用到的参数(num_embeddings, embedding_dim) torch.nn.Embedding(numembeddings,embe ...
Pytorch的默认初始化分布 nn.Embedding.weight初始化分布
一.nn.Embedding.weight初始化分布 nn.Embedding.weight随机初始化方式是标准正态分布 ,即均值$\mu=0$,方差$\sigma=1$的正态分布. 论据1--查看 ...

nn.Embedding中padding_idx的理解

nn.Embedding中padding_idx的理解相关推荐

最新文章

热门文章