seq2seq 入门

本文结构：

什么是 seq2seq？
Encoder–Decoder 结构？
seq2seq 结构？

什么是 seq2seq？

seq2seq 是一个 Encoder–Decoder 结构的网络，它的输入是一个序列，输出也是一个序列， Encoder 中将一个可变长度的信号序列变为固定长度的向量表达，Decoder 将这个固定长度的向量变成可变长度的目标的信号序列。

这个结构最重要的地方在于输入序列和输出序列的长度是可变的，可以用于翻译，聊天机器人，句法分析，文本摘要等。

下面是写过的 seq2seq 的应用：

RNN与机器翻译
http://www.jianshu.com/p/23b46605857e
如何自动生成文本摘要
http://www.jianshu.com/p/abc7e13abc21
自己动手写个聊天机器人吧
http://www.jianshu.com/p/d0f4a751012b

Encoder–Decoder 结构？

Cho 在 2014 年提出了 Encoder–Decoder 结构，即由两个 RNN 组成，
https://arxiv.org/pdf/1406.1078.pdf

（其中的 RNNCell 可以用 RNN ，GRU，LSTM 等结构）

在每个时刻， Encoder 中输入一个字/词，隐藏层就会根据这个公式而改变，

到最后一个字/词 XT 时，隐藏层输出 c ，因为 RNN 的特点就是把前面每一步的输入信息都考虑进来了，所以 c 相当于把整个句子的信息都包含了，可以看成整个句子的一个语义表示。

Decoder 在 t 时刻的隐藏层状态 ht 由 ht−1，yt−1，c 决定：

yt 是由 ht，yt−1，c 决定：

f 和 g 都是激活函数，其中 g 函数一般是 softmax。

模型最终是要最大化下面这个对数似然条件概率：

其中每个 (xn, yn) 表示一对输入输出的序列， θ 为模型的参数。

seq2seq 结构？

Sutskever 在 2014 年也发表了论文：
https://arxiv.org/pdf/1409.3215.pdf

这个模型结构更简单，

因为 Decoder 在 t 时刻 yt 是由 ht，yt−1 决定，而没有 c：

论文中的 Encoder 和 Decoder 都用的 LSTM 结构，注意每句话的末尾要有 “” 标志。 Encoder 最后一个时刻的状态 [cXT,hXT] 就和第一篇论文中说的中间语义向量 c 一样，它将作为 Decoder 的初始状态，在 Decoder 中，每个时刻的输出会作为下一个时刻的输入，直到 Decoder 在某个时刻预测输出特殊符号结束。

LSTM 的目的是估计条件概率 p(y1, … , yT′ |x1, … , xT ) ，
它先通过最后一个隐藏层获得输入序列 (x1, … , xT ) 的固定长度的向量表达 v，
然后用 LSTM-LM 公式计算输出序列 y1, … , yT′ 的概率，
在这个公式中，初始状态就是 v，

而且用了 4 层的 LSTM，而不是一层：论文中的实验结果表明深层的要比单层的效果好
下面是个 3 层的例子

计算公式如下：

为了便于理解，单层的表示如下：

并且对输入序列做了一个翻转，即不是把 a, b, c 映射到 α, β, γ, 而是把 c, b, a 映射到 α, β, γ, 这样的结果是相应的 a 会更接近 α，并且更利于 SGD 建立输入输出间的关系。

参考：
Learning Phrase Representations using RNN Encoder–Decoder
for Statistical Machine Translation
https://arxiv.org/pdf/1406.1078.pdf

Sequence to Sequence Learning
with Neural Networks
https://arxiv.org/pdf/1409.3215.pdf

Generating Sequences With
Recurrent Neural Networks
https://arxiv.org/pdf/1308.0850.pdf

推荐阅读
历史技术博文链接汇总
也许可以找到你想要的

seq2seq 入门相关推荐

深度学习的seq2seq模型——本质是LSTM，训练过程是使得所有样本的p(y1,...,yT‘|x1,...,xT)概率之和最大...
from:https://baijiahao.baidu.com/s?id=1584177164196579663&wfr=spider&for=pc seq2seq模型是以编码(En ...
机器学习、人工智能博文链接汇总
[入门问题] [TensorFlow] [深度学习] [好玩儿的算法应用实例] [聊天机器人] [神经网络] [机器学习] [机器学习算法应用实例] [自然语言处理] [数据科学] ...
使聊天机器人的对话更有营养
本文结构: 模型效果模型模块细节今天的论文是 <Topic Aware Neural Response Generation> https://arxiv.org/pdf/1606. ...
【一起入门NLP】中科院自然语言处理第13课-NLP基础任务④：序列生成问题（Seq2Seq）
专栏介绍:本栏目为 "2021秋季中国科学院大学胡玥老师的自然语言处理" 课程记录,不仅仅是课程笔记噢- 如果感兴趣的话,就和我一起入门NLP吧
【一起入门NLP】中科院自然语言处理作业四：RNN+Attention实现Seq2Seq中英文机器翻译（Pytorch）【代码+报告】
这里是国科大自然语言处理的第四次作业,同样也是从小白的视角解读程序和代码,现在我们开始吧(今天也是花里胡哨的一天呢
NLP入门--Seq2Seq英汉翻译实战
attention seq2seq transformer bert 学习总结 _20201107
https://blog.csdn.net/weixin_44388679/article/details/102575223 Seq2Seq原理详解一文读懂BERT(原理篇) 2018年的10月1 ...
入门指南目录页 -PaddlePaddle 飞桨入门指南 FAQ合集-深度学习问题
入门指南目录页 -PaddlePaddle 飞桨入门指南 FAQ合集 GT_Zhang关注 0.1012019.08.01 18:43:34字数 1,874阅读 795 Hi,欢迎各位来自Paddl ...
命名实体识别入门教程（必看）
关于开发自己的命名实体识别先期思路: 虽然网上有很多相关代码,但实际如何入门材料较少,故整理下: CRF:先期可以用人民日报语料库去做,步骤如下: https://blog.csdn.net/hude ...

seq2seq 入门

什么是 seq2seq？

Encoder–Decoder 结构？

seq2seq 结构？

seq2seq 入门相关推荐

最新文章

热门文章