Spotlight1 一词多义（Polysemy）

在CS224n的一个Spotlight中提到了一词多义的问题，比如句子中出现了一个tie，到底是比赛平局，还是领带，还是绳子打结的意思？虽然说在w2v中相似的词被映射到相邻近的位置，但是一个词在词向量空间不会对应n多个向量，只有一个。经证明，一个词的词向量是所有义项的平均，也就是映射到了这些义项的中间。

那么问题来了，如何还原这些义项呢？

论文里说，义项是由以下函数进行的sparse coding：

这里的A就是词对应的某一义项的向量前边乘以一个系数，称为是hard sparsity contraint，这些参数可用标准k-SVD求出。

Spotlight1 一词多义（Polysemy）相关推荐

腾讯抗黑灰产——自监督发现行话黑词识别一词多义
本文作者:lorenzwang ,腾讯 TEG 安全工程师常见的中文 NLP 下游任务一般都是以分词作为起点(以 transformer 为核心的算法除外),对每个词取 embedding,作为模型 ...
莫烦nlp——ELMO一词多义
李宏毅介绍过ELMO,但我已经忘记它是个啥东西了.说明不看代码,是无法牢固地记住一样东西的.我的笔记>> 莫烦简洁地介绍了该模型,结合之前笔记效果更佳.莫烦视频>> 预训练的作 ...
词汇课程——一词多义与合成词（3）
文章目录前言 1. 一词多义 1.1 scale 1.2 borad 1.3 cell 1.4 sharp 2. 义项 2.1 magpie 2.2 weed 3. 词类转换 3.1 及物动词转为非 ...
从词向量衡量标准到全局向量的词嵌入模型GloVe再到一词多义的解决方式
衡量标准Evaluation 此处的衡量标准主要是针对单词向量而言. 内部标准Intrinsic 固定任务 (specific subtask) 运行时间 (time taken to compute ...
CS224N研究热点2_Linear Algebraic Structure of Word Senses, with Applications to Polysemy（对于一词多义的向量表示研究）
Paper:Linear Algebraic Structure of Word Senses, with Applications to Polysemy 源代码词向量编码的相似性相似的单词的词 ...
45个高频词的一词多义和固定搭配
1.cost (1) The ticket cost me ten dollars.(此句中cost用作及物动词,意为"花费",这是cost的常用法之一.) (2) The cos ...
NLP-词向量(Word Embedding)-2013：Word2vec模型（CBOW、Skip-Gram）【对NNLM的简化】【层次Softmax、负采样、重采样】【静态表示；无法解决一词多义】
一.文本的表示方法 (Representation) 文本是一种非结构化的数据信息,是不可以直接被计算的.因为文本不能够直接被模型计算,所以需要将其转化为向量. 文本表示的作用就是将这些非结构化的信息 ...
Latent semantic analysis note(LSA)
1 LSA Introduction LSA(latent semantic analysis)潜在语义分析,也被称为LSI(latent semantic index),是Scott Deerwes ...
LSA(潜在语义分析)
转载https://blog.csdn.net/fkyyly/article/details/84665361 link LSA最初是用在语义检索上,为了解决一词多义和一义多词的问题: 1.一义多词: ...

Spotlight1 一词多义（Polysemy）

Spotlight1 一词多义（Polysemy）相关推荐

最新文章

热门文章