在NLP中应用GCN的几种构图方法整理

GCN 的的兴起为许多NLP问题的解决提供了新的思路。通过句法依赖树构建图结构，基于此通过GCN进行NLP问题的解决已经得到了广泛应用。那么除此之外，还有哪些方法可以用于在文本中建立图结构从而使用GCN呢？

小编整理了如下几篇，分别是通过TF-IDF， PMI、序列关系、词典等信息进行构图的顶会论文，希望能够拓展对GCN的应用思路( ఠൠఠ )ﾉ

AAAI2019: Graph Convolutional Networks for Text Classification

论文地址: https://github.com/kuoluo1995/text-classification

本文通过GCN进行文本分类，将 words 和 documents 作为构图中的节点，通过word在document中的TF-IDF值构建 word-document edge, 通过PMI计算word-word edge的权重。

PMI计算：

其中， # W \#W #W 表示所有划动窗口的数量， # W ( i ) \# W(i) #W(i) 表示所有含有 w o r d i word _i wordi 划动窗口的数量， # W ( i , j ) \# W(i,j) #W(i,j) 表示同时含有 w o r d i word _i wordi 和 w o r d j word _j wordj 两个词窗口的数量。其中， PMI值为正，说明语义相关性较高，为负，则说明语义相关性较少甚至没有。

总体来说，本文构图方法如下:

EMNLP2018: Text Level Graph Neural Network for Text Classification

论文链接: https://www.aclweb.org/anthology/D19-1345/
节点: 将文本中所有的 words作为图中的节点
边: 在相邻的words之间构建一条边

AAAI2020: Tensor Graph Convolutional Networks for Text Classification

论文链接:https://arxiv.org/abs/2001.05313

本文构建了三种图进行建模(不考虑virtual graph)，图中的节点由words和documents组成，并通过TF-IDF值构建 word 与 document 之间的边；对于word-word edge，不同的图中有不同的构建方法:

Semantic-based graph: 通过LSTM得到每个word的表示，通过余弦相似性计算两个word间的语义相似性，如果语义相似性达到一定的阈值，则认为两words之间存在语义关系；对于存在语义关系的words, 将通过如下方法计算他们之间的边权值：

Syntactic-based graph: 根据句法依赖解析关系构建words之间的边，并通过如下方式计算边权重:
Sequential-based Graph: 序列上下文信息描述了词语之间的共现信息，序列图中边权重通过PMI来计算:

EMNLP2019: A Lexicon-Based Graph Neural Network for Chinese NER

论文链接: https://www.aclweb.org/anthology/D19-1396.pdf
每个句子被转化为一个有向图
每个字符被作为图中的一个节点, 在每个lexicon word的第一个和最后一个字符间构建一条边, 每条边代表了潜在的可能存在词语(即lexicon word)的特征
构建一个全局的中继节点，它与图中的每个边和点都相连，用来汇聚所有边和点的信息，从而消除词语之间的边界模糊；
由于全局中继节点的存在，图中任意两个不邻接的节点之间都是彼此的二阶邻居，可以通过两次节点更新来接收彼此的非局部的信息；
另外，对以上的图结构进行转置得到一个所有边都反向后的反向图，将反向图与原图中得到的字符表示进行拼接，作为最终的字符表示；

EMNLP2019: Leverage Lexical Knowledge for Chinese NER via Collaborative Graph Network

论文地址: https://www.aclweb.org/anthology/D19-1396.pdf

本文构建了如下三种图:

Containing-Graph(C-Graph):
- 目的: 辅助字符去捕捉对应self-matched lexicon word的语义信息和边界信息
- 点集: 句子中的字符和 lexicon words
- 构图如下:
Transition-Graph(T-Graph)
- 目的: 捕捉字符最近上下文的语义信息
- 点集: 句子中的字符和 lexicon words
- 构图如下: 建立 lexicon words 与字符间和 lexion words间的转移关系图
Lattice-Graph(L-Graph)
- 目的: 融合 lexicon knolwedge, 且将 Lattice 的 LSTM 结构转变为了图结构;
- 点集: 句子中的字符和 lexicon words
- 构图如下:

ACL2019: A Neural Multi-digraph Model for Chinese NER with Gazetteers

论文地址: https://www.aclweb.org/anthology/P19-1141.pdf

本文提出，希望通过Gazetteer信息提高NER的性能，因此设计了一种多维图来完成NER任务。这里介绍一下作者的构图方法，具体多维图的设计可参考论文中~

构图方法：
- 节点: 预料中的每个字符作为一个节点；同时，根据 gazetteer 提供的 entity type 信息，引入标识类型的节点, 例如 P E R 1 , P E R 2 , L O C 1 , L O C 2 PER^1, PER^2,LOC^1,LOC^2 PER1,PER2,LOC1,LOC2
- 构图: 首先，相邻的字符间构建一条有向边；然后，根据 entity 所匹配的实体，在节点类型点与对应entity的起始字符节点和结尾字符节点间建立连边。例如，根据gazetteers认为由字符 c 1 , c 2 c_1,c_2 c1,c2组成的张三一词是PER2类型的实体，则构建如下边: ( v c 1 , v c 2 ) (v_{c_1},v_{c_2}) (vc1,vc2), ( v s P E R 2 , v c 1 ) (v_{s}^{PER2},v_{c_1}) (vsPER2,vc1), ( v c 2 , v e P E R 2 ) (v_{c_2},v_{e}^{PER2}) (vc2,vePER2), 其中 ( v s P E R 2 ) (v_{s}^{PER2}) (vsPER2)和 ( v e P E R 2 ) (v_{e}^{PER2}) (vePER2) 是表示 P E R 2 PER2 PER2 起始和终止的节点。

如有遗漏与错误，还请多多交流(●’◡’●)

了解更多深度学习相关知识与信息，请关注公众号深度学习的知识小屋