pytorch的词嵌入函数nn.Embedding

看下面的代码，注释及输出就可以理解了。

import torch
import torch.nn as nn'''
回想一下词嵌入的理论知识，我深度学习的系列文章也可以
num_embeddings=6：假如咱们现在构造一个词典，这个词典有6个词，那么这6个词的下标索引是0~5，
所以传入的张量中的每个数的数值大小必须比6小。
embedding_dim=4：把每一个词编成4维的向量，即每个词有4个特征
'''
embedding=nn.Embedding(num_embeddings=6,embedding_dim=4)
# 下面有3句话，每句话由3个词构成，对这三句话进行词嵌入
tmp=[[1,2,3],[1,2,3],[4,5,5]]
tmp=torch.LongTensor(tmp)
print(tmp)embed = embedding(tmp)
print(embed)

输出：

tensor([[1, 2, 3],[1, 2, 3],[4, 5, 5]])
tensor([[[-0.3291, -0.4963,  0.1210, -0.1258],[-0.2658,  1.0460,  1.4820,  0.6359],[ 0.5946,  1.1656, -0.0292, -1.0120]],[[-0.3291, -0.4963,  0.1210, -0.1258],[-0.2658,  1.0460,  1.4820,  0.6359],[ 0.5946,  1.1656, -0.0292, -1.0120]],[[-0.2935, -0.8020, -0.4196,  0.1312],[ 0.8015, -0.0916,  0.0605, -0.5704],[ 0.8015, -0.0916,  0.0605, -0.5704]]], grad_fn=<EmbeddingBackward>)

pytorch的词嵌入函数nn.Embedding相关推荐

Pytorch Note40 词嵌入（word embedding）
Pytorch Note40 词嵌入(word embedding) 文章目录 Pytorch Note40 词嵌入(word embedding) 词嵌入 PyTorch 实现 Skip-Gram ...
词嵌入（word embedding）（pytorch）
文章目录词嵌入代码 Skip-Gram 模型如何取词建模模型细节隐层,我们需要的结果输出 N Gram模型代码词嵌入参考:<深度学习入门之Pytorch> 词嵌入到底是 ...
自然语言处理（NLP）发展历程（2），什么是词嵌入（word embedding）？
四.如何表示一个词语的意思 4.1.NLP概念术语这里我将引入几个概念术语,便于大家理解及阅读NLP相关文章. 语言模型(language model,LM),简单地说,语言模型就是用来计算一个 ...
文本的表示-词嵌入（word embedding）
文本的理解文本是常用的序列化数据类型之一.文本数据可以看作是一个字符序列或词的序列.对大多数问题,我们都将文本看作词序列. 深度学习序列模型(如RNN及其变体)能够较好的对序列化数据建模. 深度学习 ...
关于词嵌入（Word Embedding）的一些总结
看了课程半天没搞懂词嵌入是啥,梳理一下相关知识.参考: https://www.jianshu.com/p/2fbd0dde8804 https://blog.csdn.net/m0_37565948 ...
词嵌入来龙去脉 word embedding、word2vec
文章目录 0词嵌入来龙去脉 1 NLP的核心关键:语言表示(Representation) 2 NLP词的表示方法类型 2.1词的独热表示one-hot representation 2.2词的分布式 ...
PyTorch中的循环神经网络RNN函数及词嵌入函数介绍
一.pytroch中的RNN相关函数介绍 1.对于简单的RNN结构,有两种方式进行调用: 1.1 torch.nn.RNN():可以接收一个序列的输入,默认会传入全0的隐藏状态,也可以自己定义初始的隐 ...
pytorch之词嵌入(三)
1.编码词法语义词嵌入是稠密向量.如何在计算机中表示一个单词呢?存储它的ascii字符表示形式,但这只能表明词是什么,它并没有说明其含义(可以从其词缀或大写字母中得出其词性,但是不多).在什么意义上 ...
Pytorch的默认初始化分布 nn.Embedding.weight初始化分布
一.nn.Embedding.weight初始化分布 nn.Embedding.weight随机初始化方式是标准正态分布 ,即均值$\mu=0$,方差$\sigma=1$的正态分布. 论据1--查看 ...

pytorch的词嵌入函数nn.Embedding

pytorch的词嵌入函数nn.Embedding相关推荐

最新文章

热门文章