限定领域的三元组抽取

在2019语言与智能技术竞赛的三元组抽取比赛

该比赛主要是从给定的句子中提取三元组，给定schema(本体)约束集合及句子sent，其中schema定义了关系P以及其对应的主体S和客体O的类别，例如（S_TYPE:人物，P:妻子，O_TYPE:人物）、（S_TYPE:公司，P:创始人，O_TYPE:人物）等。比如下面的例子：

该比赛一共提供了20多万标注质量很高的三元组，其中17万训练集，2万验证集和2万测试集，实体关系（schema）50个。

本体思路：

首先是对拿到的数据进行数据分析，包括统计每个句子的长度及三元组数量，每种关系的数量分布情况。接着，对数据单独走序列标注模型和关系分析模型。最后在提取三元组的时候，用Pipeline模型，先用序列标注模型预测句子中的实体，再对实体（加上句子）走关系分类模型，预测实体的关系，最后形成有效的三元组。

项目结构图

数据分析

使用train_data_analysis.py进行分析

输出结果：
句子的平均长度为54，最大长度为300；每句话中的三元组数量的平均值为2.1，最大值为25

序列标注模型

我们将句子中的主体和客体作为实体，分别标注为SUBJ和OBJ，标注体系采用BIO。一个简单的标注例子如下：

序列标注的模型采用ALBERT+Bi-LSTM+CRF，结构图如下：

模型设置文本最大长度为128，利用ALBERT做特征提取。
利用seqeval模块做评估，在验证集上的F1值约为93.55%。

关系分类模型

需要对关系做一下说明，因为笔者会对句子（sent）中的主体（S）和客体（O）组合起来，加上句子，形成训练数据。
在句子历史评价李氏朝鲜的创立并非太祖大王李成桂一人之功﹐其五子李芳远功不可没，三元组为[{“predicate”: “父亲”, “object_type”: “人物”, “subject_type”: “人物”, “object”: “李成桂”, “subject”: “李芳远”}, {“predicate”: “国籍”, “object_type”: “国家”, “subject_type”: “人物”, “object”: “朝鲜”, “subject”: “李成桂”}]}，在这句话中主体有李成桂，李芳远，客体有李成桂和朝鲜，关系有父亲（关系类型：2）和国籍（关系类型：22）。按照笔者的思路，这句话应组成4个关系分类样本，如下：
2 李芳远李成桂李成桂李成桂历史评价李氏朝鲜的创立并非太祖大王###一人之功﹐其五子###功不可没
0 李芳远朝鲜朝鲜朝鲜历史评价李氏##的创立并非太祖大王李成桂一人之功﹐其五子###功不可没
0 李成桂李成桂李成桂李成桂历史评价李氏朝鲜的创立并非太祖大王###一人之功﹐其五子李芳远功不可没
22 李成桂朝鲜朝鲜朝鲜历史评价李氏##的创立并非太祖大王###一人之功﹐其五子李芳远功不可没
因此，就会出现关系0（表示“未知”），这样我们在提取三元组的时候就可以略过这条关系，形成真正有用的三元组。
因此，关系一共为51个（加上未知关系：0）。关系分类模型采用ALBERT+Bi-GRU+ATT，结构图如下：

三元组提取

最后一部分，也是本次比赛的最终目标，就是三元组提取。
三元组提取采用Pipeline模式，先用序列标注模型预测句子中的实体，然后再用关系分类模型判断实体关系的类别，过滤掉关系为未知的情形，就是我们想要提取的三元组了。

总结

本文标题为限定领域的三元组抽取的一次尝试，之所以取名为限定领域，是因为该任务的实体关系是确定，一共为50种关系。
当然，上述方法还存在着诸多不足，参考苏建林的文章基于DGCNN和概率图的轻量级信息抽取模型，我们发现不足之处如下：

主体和客体的标注策略有问题，因为句子中有时候主体和客体会重叠在一起；
新引入了一类关系：未知，是否有办法避免引入；
其他（暂时未想到）
从比赛的角度将，本文的办法效果未知，应该会比联合模型的效果差一些。但是，这是作为笔者自己的模型，算法是一种尝试，之所以采用这种方法，是因为笔者一开始是从开放领域的三元组抽取入手的，而这种方法方便扩展至开放领域。关于开放领域的三元组抽取，笔者稍后就会写文章介绍，敬请期待。
本文的源代码已经公开至Github，网址为：
https://github.com/percent4/ccks_triple_extract 。

参考网址

NLP（二十五）实现ALBERT+Bi-LSTM+CRF模型：https://blog.csdn.net/jclian91/article/details/104826655
NLP（二十一）人物关系抽取的一次实战： https://blog.csdn.net/jclian91/article/details/104380371
基于DGCNN和概率图的轻量级信息抽取模型：https://spaces.ac.cn/archives/6671

开放领域看这个网站

https://blog.csdn.net/weixin_42691585/article/details/107617304#_487