论文笔记：Jointly Multiple Events Extraction via Attention-based GraphInformation Aggregation

作者：崔金满
单位：燕山大学

Abstract

在现实世界中，经常存在一个句子中包含多个事件的现象，提取多个事件比提取单个事件要困难，本文提出一种联合多事件提取框架，通过引入syntactic shortcut arcs来增强信息流，并通过基于注意力的图卷积网络来对图信息进行建模，从而联合抽取多个事件触发器和元素。

Introduction

在事件抽取中，一个句子中可能同时出现多个事件，由于这些不同类型的事件之间通常是相互关联的，导致提取困难。比如，“He left the company, and planned to go home directly.”，触发词left可以触发transport和end-position事件。但是，如果考虑到由触发词“go”触发的事件，就能更好的判断这是一个transport事件。
现有方法存在的问题：基于序列标注的模型很难捕获句子中单词间的长期依赖关系，基于特征的模型需要耗费大量人力，而且特征的选择也会在很大程度上影响模型的性能。此外，这两类方法都不能充分对事件之间的关联建模。

一种直观的方法是引入由句法依赖树等语言资源表示的shortcut arcs，通过较少的转换将信息流从一个点转换的目标节点，这种方法可以减少同一个句子中，从一个事件触发器跳到另一个事件触发器的跳数。如上图，由触发词killed触发的Die事件到触发词barrage触发的attack事件，按照句子本身的顺序从killed到barrage需要6跳，而如果根据句法依存树只需要3跳（图中绿色框）。基于此，本文提出一种联合事件抽取框架，通过引入syntactic shortcut arcs来增强信息流，并通过基于注意力的GCN来对图信息进行建模。
贡献：① 提出一种新的基于句法结构的联合事件抽取框架，增强了信息流，缓解了多个事件同时出现在同一个句子中的现象。② 提出一种自注意力机制来聚合信息，保证事件之间的关联。

Approach

模型包含四个模块：（i）用向量表示句子的单词表示模块；（ii）句法图卷积神经网络模块；（iii）基于自注意力的触发器分类模块，用来捕获多个事件之间的关联；（iv）参数分类，预测每个提及实体在特定类型的候选事件中所扮演的角色。

Word Representation

wiw_iwi 词嵌入：Glove
wiw_iwi POS-tagging labe嵌入：查找初始化POS-tagging lable嵌入表
wiw_iwi 位置嵌入：将wiw_iwi与当前词的相对距离通过随机初始化的位置嵌入表中查找，编码成实值向量
wiw_iwi 的实体类型标签嵌入向量：使用BIO对句子中的实体提及进行标注，然后通过查找嵌入表得到实值向量。
基于以上步骤可以将句子转化为向量形式，并作为下一模块的输入。

Syntactic Graph Convolution Network

无向图GGG中的节点表示句子中的token，边(vi,vj)(v_i, v_j)(vi,vj)表示从token wiw_iwi到token wjw_jwj的有向的 syntactic arc，标签为K(wi,wj)K(w_i, w_j)K(wi,wj)，为了使信息反流，加入反向边(vj,vi)(v_j, v_i)(vj,vi)，标签为K′(wi,wj)K'(w_i, w_j)K′(wi,wj)，此外，还添加了自环，标签为loop。
在语法图卷积网络模块的第kkk层，可以通过以下方式计算节点vvv的图卷积向量

在句法依赖树中为句子生成shortcut arcs，由于语法关系类别数太多，所以将原来的类别进行简化：

对于噪声问题，在边上引入gate机制，为每个边计算权重：

故图卷积向量计算如下：

由于GCN的堆叠层可以以k跳为单位对信息进行建模，而有时两个触发词之间的距离小于kkk，导致信息过度传播，采用hightway units，并进行如下线性变换：

由于DCN的层数限制了捕获图中局部信息的能力，所以使用Bi-LSTM编码单词表示，并作为第一层GCN的输入。

Self-Attention Trigger Classification

为了捕获句子中触发词之间的关联，引入自注意力机制来聚合信息，保证多事件之间的关联，并通过一个全连接层来实现分类。

Argument Classification

对于每一个entity-trigger对，我们通过一个全连接的神经网络来预测元素角色，从而得到第jjj个实体在第iii个触发词所触发事件中的角色。

Experiment

dataset：ACE2005
result：

抽取多事件的实验结果：