Knowledge Base Question Answering via Encodin of Complex Query Graphs

ACL 2018 CompQ 42.84 WebQ 52.66

这篇论文好像有问题

常规操作：
What is the second longest river in United States

我们需要推理一些语意线索

the answer is contained by United States;
the answer is a river;
the answer ranks second by its length in descending order.

多元预测需要符合答案的约束，我们称这样的问题为“complex questions”

对于复杂的问题，对于问题的语意组成理解很重要，作为一个KBQA结果的分类分支， semantic parsing (SP) 语意分析技术目的是学习能够代表问题语意结构的语意解析树或者查询图。最近，神经网络模型对KBQA系统有很大的提升。SP+NN技术成为KBQA数据集的最新技术。

通常SP-based方法首先是通过自底而上或者状态查询方法收集候选查询图，然后根据给定的问题根据语意相似度预测出最佳的查询图。
已存在的NN-based方法针对回答简单问题，遵循 encode-and-compare框架。把问题和预测序列都压缩成通用的向量空间，通过余玄函数计算相似度。
为了计算一个问题与一个复杂的查询图的相似度，一个直观的解决方案是把查询图分割成多个语意部分，这样原先的方法变成计算问题与查询图的每个部分的相似度。
但是，这样操作面临两个缺陷。
1.每个语意部件没有直接跟整个问题进行直接的比较，因为它只符合问题的部分信息。
2.模型是分开压缩各个部件，没有学习到整个查询图的表示，因此不能从全局的角度看待语意部件。

给定一个问题产生的候选查询图，我们的模型把问题与预测学列压缩进一个统一的向量空间。我们的方法与已存在的方法主要的区别是
我们集成语意部件的隐藏变量与部件间的交互信息作为整个查询图的隐藏语意。
另外,为了应对查询图的不同语意部件，我们利用依存分析信息作为问题语意编码信息的补充，这使得模型能够更好地对齐每个句子组成部分。

论文主要贡献：
1.我们提出了一个轻量有效的神经网络模型去解决复杂的KBQA任务。据我们经验所知，这是第一次尝试去显示的编码复杂查询图的完整语意信息。
2.我们利用依存分析去丰富在神经网络模型下的问题表达，进行彻底的调查以核实其真实性有效性。
3.我们提出一个合计方法，丰富了一个实体链接工具。
4.在队员QA数据集上做了综合实验，结果各种优秀…

方法：
1.我们根据状态产生方法生成候选查询图。
2.我们通过深度神经网络平常问题与查询图的语意相似度。
3.我们介绍了一种提高实体连接效果的集成方法。
4.我们讨这个任务的预测与参数学习

查询图生成

利用隐藏的查询的类型信息和知识库当中时间间隔信息，产生一个有效的候选生成策略，在我们的任务当中，我们考虑4中语意约束。
entity，type，time and ordinal
步骤1.我们从问题中提取有效的（mention，focus node）对。Focus nodes是各种语意变量约束的起始点。
对于实体链接，我们通过SMART (Yang and Chang, 2015)工具生成（mention entity）对。
对于类型链接，我们粗鲁的结合问题中包含uni-, bi- and tri-gram mentions,并且选取与词向量相似度最高的前10个 (mention, type) pairs。没看懂
对于时间链接，我们通过符合year regex提取时间mention。
对于顺序链接，我们利用预定义的最高级词列表。并通过匹配最高级词或“序数+最高级”模式来识别提及的内容。顺序节点是表示序数的整数在mention中。
步骤2：主路径生成
我们通过答案节点通过1-hop或者2-hop方式接连链接不同的focus entity。进一步的约束是否通过将锚节点x连接到通过谓词序列使用未使用的焦点节点，锚节点x在哪里是非焦点节点主路径。
步骤3：添加实体约束
我们采用深度优先查询策去查询多元实体的组合，通过1-hop为此约束主路径。
步骤4：类型约束
类型约束只接收答案节点IsA谓语的约束，。。。。。没看懂
步骤5：时间与顺序约束
…
For the detail of time constraint, while existing approaches (Yih et al., 2015; Bao et al., 2016)
link the focus time with only single time predicate, our improvement is to leverage paired time
predicates for representing a more accurate time
constraint.

基于神经网络的语意比较

我们首先替换查询图所有的实体或者时间mention为。
为了编码复杂的查询结构，我们把查询图分割成从答案节点到focus nodes的谓语序列，被称为semantic components。这些谓语序列不包含focus nodes的信息，除了type constaraints例外，where we append the
focus type to the IsA predicate, resulting in the
predicate sequence like {IsA, river}.

语意组件表达
为了编码语意组件，我们综合考虑谓语的ids和谓语的names。
语意组件的names
每个word转成word embedding
word sequence 为序列当中的word embedding的平均值得到 pw
语意组件的ids
通过矩阵转成 pid
最终 p = pw + pid

问题表达
全局信息
问题当中每个word 转 word embedding，通过bi-GRU
concatenation concatenation of the last forward and backward hidden states
拼接最后一层的前向传播与后向传播的隐藏状态，得到 qtok
局部级别编码
我们利用依赖解析来表示表示答案和焦点之间的依赖关系。
答案节点在问题当中以 wh word表示
我们抽取问题当中从answer node 到focus mention的依赖关系。
Similar with Xu et al. (2016), we
treat the path as the concatenation of words and
dependency labels with directions.
通过另一个bi-GRU,得到qdep
最终 q = qtok + qdep

语意相似度计算

通过max pool得到最大的p和q

Entity Linking Enrichment

用到 S-MART 后续研究一下

训练与预测

问题与后续

S-MART
时间序列约束(Yih et al., 2015; Bao et al., 2016)
局部约束Xu et al. (2016)
为什么会得到多个 q 向量，问题不是只有一个，难道是局部压缩有多个？