一、实体消歧

当个实体有多个解释的时候，可以通过计算相似度的方式，消除歧义。

比如下面的例子，我们找到 “苹果”的所有解释的描述，转成向量，再将文本中包含“苹果”的句子，转成向量，将这个向量和所有的解释的向量进行相似度计算，选择相似度最高的。

二、实体统一

实体统一是把包含不同的字段的实体，映射到同一个原型上。比如“百度公司”、“百度有限公司”等，全部映射为“百度”。

1.编辑距离

得到两个实体之后，直接计算字符串（代表的就是实体）之间的编辑距离。效果可能一般，但是可以作为baseline使用。

2.基于规则

例如：百度有限公司、百度科技有限公司、百度广州分公司

我们指定几条规则，比如：

第一条：包含“有限公司、分公司、科技有限公司”之类的字眼，就删去

第二条：包含“广州、深圳”等地名的字眼，也删去

这样最后也可以得到一个映射。

3.监督学习方法

该方法和其他监督学习方法基本一致，先准备好训练数据，也就是所有标记为“百度”的实体，对这些实体提取特征，然后进行训练。

提取特征依旧是最重要的一步，以前的文章提到过的方法都可以用，也可以人工添加新特征。

4.基于图的实体统一

如果有些关系可以用图来表示，那么就可以基于图，来寻找相关特征，一方面是实体本身的特征，另一方面是基于图的特征，比如距离等。然后设定一个相似度阈值，超过就合并为一个，否则就保持不变。

NLP-实体消歧/实体统一相关推荐

信息抽取之实体消歧，统一
1.前言信息抽取相关内容可以参考信息抽取简介和关系抽取详解 2.实体消歧的本质如小米,它是一个实体,在有些句子中表示"小米公司",但在某些语句下它表示一种谷物又比如: 怎么 ...
nlp（贪心学院）——实体消歧、实体统一、指代消解、句法分析
任务212:Entity Disambiguation (实体消歧)介绍小米是公司还是吃的? 苹果是公司还是吃的? 根据左边的上下文找出左边的James Craig到底是右边(1)(2)(3)哪个J ...
知识图谱（五）——实体消歧
一.任务概述多样性--同一实体在文本中会有不同的指称.eg:飞人.帮主.老大和MJ都指美国篮球运动员迈克尔·乔丹歧义性--相同的实体指称在不同的上下文中可以指不同的实体.eg:迈克尔·乔丹指美国篮 ...
【创新实训】BERT4EL，基于文本相似度的实体消歧实现
任务描述现有douban.mtime.maoyan三个来源的电影,包含名称.简介.导演.演员.类型等等属性. 需要相同的电影融合为一个电影条目,其中maoyan数量很少,可以合并到mtime中. 参 ...
【工程处理技巧一篇】基于半规则数据的命名实体消歧识别【未完】
作者:finallyly 出处:博客园(转载请注明作者和出处) 看到这篇文章的标题,您一定会以为此篇博客要讲解一个何等高深的算法.其实不然,本篇博客旨在分享笔者在处理那些繁杂.冗踏.低端甚至于极其TM ...
实体统一，实体消歧，指代消解
指代消解:比较难,目前还没有得到很好的结果.
命名实体如何进行概念消歧?
1 引言命名实体概念消歧是命名实体消歧(英语:Named Entity Disambiguation)的一个重要研究子领域(命名实体概念可见本文3.1章).什么叫概念消歧了?在这里举一个简单例子进行 ...
文献阅读课10-Neural Relation Extraction for Knowledge Base Enrichment(提取+嵌入+消歧+规范化联合模型，实体已知，仅关系抽取，多词实体)
文章目录 Abstract 1.Introduction 2. 相关工作 2.2 Entity-aware Relation Extraction 3.提出的模型 3.1 Solution Frame ...
【极简】实体识别和消歧
文章目录命名实体识别消除歧义 TF-IDF句向量(有监督) 词周边特征 TF-IDF特征(有监督) 词向量(无监督) 基于规则的内联修改权重方法变种:地名消歧正则表达式命名实体识别 impo ...
【NLP】NLP中的消歧
作者 | Nesrine Sfar 编译 | VK 来源 | Towards Data Science 如果你点开这篇文章,这意味着你有足够的好奇心去学习关于NLP/NLU中解决歧义的不同方法. 背景 ...

NLP-实体消歧/实体统一