句子语义表征/句子向量

大体上可以分为无监督方式和监督方式

无监督句子语义表征方法：

１、一种最经典的方法是在One-hot词语语义表征的基础上使用Bag-of-Words技术。缺点：一是它丢失了词语在句子中的顺序信息；二是它忽略了词语的语义信息，每个词的One-hot表征都是等距离的。

2、类似的还有用word2vec来替换One-hot词向量，使用Bag-of-Words技术，构成句子向量。还可以结合TF-IDF技术来调整词与的权重，或者训练学习每个词的权重。详细见Cedric De Booms的相关论文。

3、基于自编码器，严格说这不是无监督方法，而是一种自监督方法，标签产生自输入数据。输入--》编码--》解码--》输出，输入和输出相同。语义编码C即为句子编码。

4、Paragraph Vector方法，通过预测句子中的词与来获得句子的表征。

5、Ship-Thought获得句子表征

该方法拓展了词语的分布式语义假设，它假设上下文相似的句子往往有相似的语义。借鉴了word2vec中的skip-gram模型，通过当前的句子来预测上文和下文的句子，从而得到句子表征。语义和语法属性一致的句子被映射到相似的向量表示，可以给任意的句子生产Vector。encoder部分的最后一个词的hidden state作为decoder的输入来生成词。

有监督句子语义表征方法：

有监督句子语义表征通常是针对某个特定的自然语言处理任务训练得到的。通常意义上，针对特定任务训练得到句子语义表征会优于通用的句子语义表征。

句子语义表征/句子向量相关推荐

将SimCLR应用于NLP预训练模型，提升句子语义表征效果
©PaperWeekly 原创 · 作者|张琨学校|中国科学技术大学博士生研究方向|自然语言处理论文标题: CLEAR: Contrastive Learning for Sentence Re ...
AAAI 2021 | 从语义关系建模的角度进行句子语义关系匹配
©PaperWeekly 原创 · 作者|张琨学校|中国科学技术大学博士生研究方向|自然语言处理论文标题: Making the Relation Matters: Relation of Re ...
利用Word Embedding自动生成语义相近句子
向AI转型的程序员都关注了这个号???????????? 机器学习AI算法工程公众号:datayx 自然语言生成也是NLP中重要的一个方面,将来的计算机一定能够吟诗作对.写书画画,具有创造性,能 ...
语义匹配（一）【NLP论文复现】Sentence-BERT 句子语义匹配模型的tensorflow实现以及训练Trick
Sentence-BERT 句子语义匹配模型的tensorflow实现以及训练trick 论文模型回顾建模与训练模型代码部分数据处理训练模型训练Trick trick1 warm up 代码 ...
ACL 2021 | ConSERT：基于对比学习的句子语义表示迁移框架
©PaperWeekly 原创 · 作者 | 张琨学校 | 中国科学技术大学博士生研究方向 | 自然语言处理 Motivation 从 BERT,GPT 被提出来之后,自然语言处理领域相关研究进入 ...
IEMLRN：基于图像增强的句子语义表示
作者丨张琨学校丨中国科学技术大学博士生研究方向丨自然语言处理论文动机自然语言理解(Natural Language Inference)主要是用于分析两个句子(前提句 p,假设句 h)之间的语 ...
【论文泛读130】SEOVER：基于句子级情感取向向量的会话情感识别模型
贴一下汇总贴:论文阅读记录论文链接:<SEOVER: Sentence-level Emotion Orientation Vector based Conversation Emotion ...
word2vec相似度计算_AAAI-2016 | 使用孪生递归网络的句子语义相似度计算方法
本文<Siamese Recurrent Architectures for Learning Sentence Similarity>提出了一种使用孪生递归网络来计算句子语义相似度的方法 ...
就是用计算机判断一个句子的语义,英语汉语词汇语义及句子结构对比
一.词汇语义对比汉语和英语都有丰富的词汇.汉英大量的对应词语是汉英翻译的语言基础.两种语言中存在许多不相对应的词语,主要表现为词语的空缺和词义的差别.例如: (1) (2) 车-vehicle, c ...

句子语义表征/句子向量

句子语义表征/句子向量相关推荐

最新文章

热门文章