使聊天机器人的对话更有营养

本文结构：

模型效果
模型
模块细节

今天的论文是《Topic Aware Neural Response Generation》

https://arxiv.org/pdf/1606.08340.pdf

这篇论文的目的是让聊天机器人的回复更有营养，例如下面这种场景，要尽量避免‘我也是’‘明白了’‘不知道’这种没有信息量的回复，而是可以给出一些建议和方案等：

模型

思路是输入句子后，先预测 topics，再根据 topics 生成回复。

文章中通过建立 topic aware sequence-to-sequence (TA-Seq2Seq) 模型来实现这个过程。

TA-Seq2Seq 建立于 sequence-to-sequence 基础上，再加上一个联合注意力机制。

关于 seq2seq 的模型细节可以看这两篇文章：
seq2seq 入门
seq2seq 的 keras 实现

简单回顾，

1. seq2seq

是个 encoder-decoder 结构，两部分都是 RNN 模型，RNN 可以选择 LSTM 或者 GRU；

输入句子 X = (x1, x2, … , xT ) ，
输出句子 Y = (y1 , y2 , … , yT｀ )

目标是要最大化条件概率：

其中 c 为 encoder 的 RNN 模型得到的 context vector。

2. 注意力机制

简单讲，就是一般的 seq2seq 中，回复句子的所有单词都是由同样的语境生成，而加入注意力机制后，回复中的每个单词是由输入句子的不同部分生成的。
即 Y 中的每个单词 yi 由语境向量 ci 影响，其中 ci 是隐向量的加权平均:

模块细节

接下来根据前面的 TA-Seq2Seq 模型结构图看一下细节。

TA-Seq2Seq 的 encoder 和 decoder：

1. 在 encoding 中，

message encoder 通过一个双向的 GRU 模型，将输入 X 表示成隐向量 ht。
再用提前训练好的 Twitter LDA 模型获得 topic words 的向量表示：

Twitter LDA 模型的参数根据 collapsed Gibbs 采样算法求得，

Twitter LDA 会给输入 X 分配主题 z，选择概率最高的前 100 个单词，并且移除 “谢谢” “你” 等普遍的词，最终得到 X 的主题词 K。

这里 K 的向量表达由每个主题词 w 的分布计算得到：

其中 Cwz 为 w 被分配到主题 z 的次数。

2. 在 decoding 中，

每个单词都通过一个联合注意力机制，由输入句子和主题共同影响生成，这样生成的句子不仅和输入有关，而且和相关主题有关。

decoding 时，每一步时隐向量 h 被转化为 ci：

主题向量 k 也被线性组合为 oi，每个 kj 对应的系数为：

其中 hT 是输入句子的最终隐藏层状态，η0 是一个多层感知器，这么做可以削弱与主题无关的词的影响，加强相关词的影响度，即 oi 与输入的内容更相关，减少了很多噪音。

然后由 ci 和 oi 联合影响着生成句子的概率，

即每个单词的生成概率定义为：

p(yi) = pV (yi) + pK (yi),

其中 V 是回复词汇表，f 是一个 GRU 模型， Z 是正规化因子，并且：

这里的 σ(·) 为 tanh，w 为单词的 one-hot 表达，其余的 W 和 b 为参数。

这个生成概率定义的作用是，

对于非主题词，pV (yi) 就和 seq2seq ＋ joint attention mechanism 类似，
但对于主题词，就有额外的一项 pK(yi) 可以增加主题词在回复中出现的概率。

这种联合影响还有一个好处，

一般的 seq2seq 生成回复中第一个词只由 c0 决定，这里是由 c0 和 o0 共同作用，使得回复的第一个词更加贴切主题，第一个词准了对后面生成词的影响也很重要。

推荐阅读
历史技术博文链接汇总
也许可以找到你想要的：
[入门问题][TensorFlow][深度学习][强化学习][神经网络][机器学习][自然语言处理][聊天机器人]