论文浅尝 | 将文本建模为关系图，用于联合实体和关系提取

论文笔记整理：余海阳，浙江大学硕士，研究方向为知识图谱、自然语言处理。

链接：https://www.aclweb.org/anthology/P19-1136

动机

本文提出了一种利用图卷积网络（GCNs）联合学习命名实体和关系抽取的端到端抽取模型GraphRel。之前抽取模型较少的同时抽取命名实体和关系，而且对实体对间的多关系问题处理不当，并且很少考虑不同关系间的相互影响，特别是一对实体间的多个关系之间的作用。

亮点

与之前的模型相比，我们通过关系加权的GCN来考虑命名实体和关系之间的交互，从而更好地提取关系。同时利用线性结构和依赖结构用于提取文本的序列特征和区域特征，并利用完整的词图进一步提取文本所有词对之间的隐式特征。使用基于图的方法，对重叠关系的预测比以前的顺序方法有了很大的改进。我们在两个公共数据集上评估GraphRel:NYT和WebNLG。结果表明，GraphRel在大幅度提高查全率的同时，保持了较高的查全率。GraphRel的性能也比之前的工作好3.2%和5.8% (F1分)，实现了一种新的关系提取技术。

模型

模型整体的框架如下图。

模型分为两个阶段的预测。

第一阶段：

首先使用word embedding和pos embedding一同喂到Bi-LSTM网络中。然后输入得到的双向结果，分别喂到GCN网络中，由此构成Bi-GCN网络架构。GCN的邻接矩阵为句子的语法依赖树得到的结果，在依赖树中相连则邻接矩阵中的权值为1，否则为0。双向GCN的结果再拼接一起，得到最终encoder的结果。

在第一阶段预测中，将Bi-GCN得到的结果经过一个RNN之后再经过一次全连接层，即可做实体预测的任务。在关系预测中，将句子中词语两两组合分别去计算关系。具体公式如下：

第二阶段：

将第一阶段得到的结果，继续经过gcn，此时的gcn邻接矩阵的权值就是第一阶段求得的relation概率值。如此经过gcn之后再做聚合，然后继续做预测任务即可。公式如下：

实验

我们使用纽约时报（Riedel et al. 2010）和WebNLG（Gardentet al.2017）的数据集来评估该方法NYT和WebNLG的统计数据如表2所示。

我们把关系种类分为三类：Normal、entityairoverlap(EPO)和SingleEntityOverlap(SEO)。每个类别的计数也显示在表2中。实验结果如下：

另有样例分析，证明两阶段的抽取比单独第一阶段的抽取效果好。

总结

本文提出了一种基于图卷积网络(GCN)的端到端关系抽取模型GraphRel，该模型可以联合学习命名实体和关系。将RNN和GCN相结合，不仅提取整体序列特征，而且可以提取每个词的区域依赖特征。我们的方法还考虑了文本中所有词对之间的隐式特征。我们预测每对词之间的关系，解决了实体重叠的问题。此外，我们还引入了一种新的关系加权广义网络，它考虑了命名实体和重命名之间的相互作用。我们在NYT和webnlg数据集上对该方法进行了评估。结果表明，该方法比以往的方法分别提高了3.2%和5.8%，实现了一种新的关系提取方法。

OpenKG

开放知识图谱（简称 OpenKG）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文，进入 OpenKG 博客。

论文浅尝 | 将文本建模为关系图，用于联合实体和关系提取相关推荐

论文浅尝 | 利用知识图谱嵌入和图卷积网络进行长尾关系抽取
论文笔记整理:王狄烽,南京大学硕士,研究方向为关系抽取.知识库补全. 链接:https://arxiv.org/pdf/1903.01306.pdf 发表会议:NAACL2019 动机现有的利用远程 ...
论文浅尝 | 基于文本关联的知识图谱的无监督嵌入增强
来源:IJCAI2019 论文链接: https://www.ijcai.org/proceedings/2019/0725.pdf 概述知识图谱嵌入是从多关系数据中提取数据的工具,最近的嵌入模型对 ...
论文浅尝 | 混合注意力原型网络的含噪音少样本的关系分类
论文笔记整理:余海阳,浙江大学硕士,研究方向为知识图谱.自然语言信息抽取. 链接:https://www.aaai.org/Papers/AAAI/2019/AAAI-GaoTianyu.915.pd ...
论文浅尝 - ICML2020 | 跨域对齐的图最优运输算法
陈卓,浙江大学在读博士,主要研究方向为图神经网络和知识图谱表示学习. 论文链接:https://arxiv.org/pdf/2006.14744 代码:https://github.com/Liqun ...
论文浅尝 | 基于深度强化学习将图注意力机制融入知识图谱推理
论文笔记整理:陈名杨,浙江大学直博生. Introduction 知识图谱(KGs)在很多NLP的下游应用中起着越来越重要的作用.但是知识图谱常常是不完整的,所以解决知识图谱补全的任务也非常重要.主要 ...
论文浅尝 | 通过文本到文本神经问题生成的机器理解
论文笔记整理:程茜雅,东南大学硕士,研究方向:自然语言处理,知识图谱. Citation: Yuan X, WangT, Gulcehre C, et al. Machine comprehensio ...
论文浅尝 | 融合多粒度信息和外部语言知识的中文关系抽取
论文笔记整理:吴涵,天津大学硕士,研究方向:自然语言处理 Paper:https://www.aclweb.org/anthology/P19-1430/ Code:https://github.co ...
论文浅尝 | 采用成对编码的图卷积网络用于知识图谱补全
笔记整理:姚祯,浙江大学在读硕士,研究方向为知识图谱表示学习,图神经网络. 论文引用:Liu S, Grau B, Horrocks I, et al. INDIGO: GNN-based induc ...
论文浅尝 | 基于微量资源的神经网络跨语言命名实体识别
论文笔记整理:谭亦鸣,东南大学博士生,研究方向为跨语言知识图谱问答. 来源:EMNLP 2018 链接:https://www.aclweb.org/anthology/D18-1034 问题背景与动 ...

论文浅尝 | 将文本建模为关系图，用于联合实体和关系提取

动机

亮点

模型

实验

总结

论文浅尝 | 将文本建模为关系图，用于联合实体和关系提取相关推荐

最新文章

热门文章