从single-hop QA 到multi-hop QA

由coarse-grain reasoning 和 fine-grain reasoning 所激励

作者在本文中提出了一种Coarse-Grain Fine-Grain Coattention Network （CFC），它以一种从粗粒度到细粒度的渐进的方式来寻找查询所对应的答案部分。模型整体上包括两部分：

• coarse-grain module：根据给定的query和support document通过coattention建立一种粗粒度的表示，然后通过self-attention进行总结，此时它是不知道候选答案的
• gine-grain module：通过比较query在所有文档中出现候选答案的上下文来为每个答案打分，通过coattention建立关于候选答案所在上下文和问题的表示

在两个模块中均使用了层次化的coattention以及self-attention,模型通过这两种注意力机制实现query、support document 和candicate 之间不同部分的关注。

1. 利用Bi-GRU对query, support document 和candicate 进行编码，分别得到：

其中，,和分别是query, 第i个support document 和 第j个候选答案的词向量。

2. coarse-grain module：旨在先用co-attention 对 query 和support document 建立codependent 表示，再利用self-attention 机制总结co-attention context.

• 计算query和support document 的similarity matrix:

• support document summary vector 和 query summary vector:

其中，为给定一个query中的词其所有document 词中的attention 分配

• document context

• document summary vector

将coattention简写为：

• 对执行self-attention 操作；

将self-attention 简写为：;表示第 i 个support document 的summary vector, 令为所有support document的summary vector,

表示support document 和candicate 进行coarse-grain 的打分操作。

3. Candidate-dependent fine-grain module: 该模块首先根据候选答案寻找其在 support document 中对应的上下文部分，这里称为mention [这部分通过简单的lexical matching
实现的];

其中每一个mention都通过self-attention得到对应的mention representation;

接着根据mention representation和query使用coattention来计算一个coattention context;

最后对这个coattention context 使用self-attention机制，目的是对每个候选答案进行打分。

• 计算一个mention 的表示：

其中，和表示第 j 个候选答案中的第k个mention在第i个support document 中的开始和结束位置的下标，为第k个mention 的表示。

类似地，得到mention的序列表示，其中表示第j 个candidate 在所有的support document中的mention数量、

• 对mention 和query 执行coattention 操作

• 再对coattention context 执行self-attention 操作

• 使用线性网络对candicate 执行打分：

4. Score aggregation:

第j个candidate的得分为coarse-grain module 和 fine-grain module 打分的总和：

最后再汇总所有的candidate.

分层的attention：在不同的输入间执行attention操作。这样做可以迫使模型关注输入的不同部分（跟重注意力机制提出的机制类似）。

Coarse-grain module 和 fine-grain module 间无相互关联。