python encoder decoder_从零开始学Python自然语言处理（25）—

前文传送门：

面试现场...

问：什么是Encoder-Decoder模型框架？

答：Encoder-Decoder框架其实是一个编码-解码框架，主要处理Sequence to Sequence(seq2seq)问题，seq2seq问题其实是输入一个字符串序列，然后经过模型框架的处理后输出一个字符串序列，这种任务十分常见，例如我们经常使用的翻译不就是输入一段A语言，输出一段B语言翻译结果么？又例如对话与问答系统，当我们输入一段话，会返回一段回复。

问：框架结构如何？

答：Encoder-Decoder框架结构主要为下图这种结构：

主要有三部分组成，分别是编码部分(Encoder)，存储部分和解码部分(Decoder)，编码部分主要是输入一段字符串，并将其编码；存储部分存储的信息一般为固定长度的中间向量，该向量包含了之前编码部分输入字符串中每个输入的信息；解码部分是根据存储的中间向量内容和已经输出的内容将其解码输出一段字符串。

例如输入的序列为X=(x1,x2,...,xn)，经过Encoder得到中间向量C=Encoder(X)，然后Decoder根据中间向量C和已输出的序列y1,y2,...,y(i-1)输出当前输出内容，即yi=Decoder(C,y1,y2,...,y(i-1))。

其编码和解码部分的模型可以选用RNN、LSTM、BiRNN、GRU等等。

问：该框架有什么缺点？

答：该框架的局限性是Encoder和Decoder的联系只能通过固定长度的中间向量，Encoder需要将所有输入序列信息压缩在这个中间向量中，当输入序列较长时，由于中间向量长度固定，整个输入序列的每部分的信息被不断稀释，会丢失信息。

问：如何改进？

使用Attention机制。

问：Attention机制具体内容是？

答：这个...，记不太清楚了...

问：好了，面试结束，出门左转~

扫码下图关注我们不会让你失望！

python encoder decoder_从零开始学Python自然语言处理（25）—— 通用的Encoder-Decoder模型框架...相关推荐

python 爬虫源代码-从零开始学Python网络爬虫_源代码.rar
[实例简介] [实例截图] [核心代码] 从零开始学Python网络爬虫_源代码_1 ├── 58project │ ├── __pycache__ │ │ ├── channel_extract.c ...
python画直方图-从零开始学Python【13】--matplotlib(直方图)
# 导入第三方包 importnumpy asnp importpandas aspd importmatplotlib.pyplot asplt importmatplotlib.mlab asml ...
python画散点图-从零开始学Python【15】--matplotlib(散点图)
原标题:从零开始学Python[15]--matplotlib(散点图) 往期matplotlib绘图系列前言上一期中,我们通过折线图可以快速的发现时间序列的趋势图,当然他不仅仅只能用在时间序列中, ...
跟我从零开始学python之一_从零开始学 Python 之运算符
从零开始学 Python 之运算符前言大家好,这里是「痴海」从零开始学习 Python 系列教程.此文首发于「痴海」公众号,欢迎大家去关注.学习一门语言最好的办法,就是教懂别人.在这公众号,我会从 ...
从零开始学python项目_从零开始学Python程序设计
领取成功您已领取成功! 您可以进入Android/iOS/Kindle平台的多看阅读客户端,刷新个人中心的已购列表,即可下载图书,享受精品阅读时光啦! - | 回复不要太快哦~ 回复内容不能为空哦 ...
从零开始学习python编程-如何从零开始学python？
在众多高大上的自学指导中,尝试做一股清流,把要讲清楚的都讲清楚,除了一堆资料之外,你能在学之前就有一个非常明显的结果倾向. 本文以<小白带你学Python>为内容方向,试图在繁杂的信息里, ...
从零开始学python网络爬虫-从零开始学Python 三（网络爬虫）
本章由网络爬虫的编写来学习python.首先写几行代码抓取百度首页,提提精神,代码如下: importurllib.request file=urllib.request.urlopen(" ...
从零开始学python网络爬虫-从零开始学Python网络爬虫 PDF 下载
资料目录: 前言第1章 Python零基础语法入门 1 1.1 Python与PyCharm安装 1 1.1.1 Python安装(Windows.Mac和Linux) 1 1.1.2 PyChar ...
python画饼图-从零开始学Python可视化(五): 饼图及环形图
我们之前已经接触过了饼图,它主要用于表现比例.份额类的数据,今天我们在样式上进行更多的探索. 我们以笔记本行业来作为例子.假设笔记本电脑行业有ABCD五家公司,他们在2017年的国内市场份额分别为45 ...
python attention机制_从零开始学Python自然语言处理（26）—— 强大的Attention机制...
前文传送门: 在上一次面试失利后,我回来仔细研究了一下Attention机制,研究完我不禁感悟,这机制真的厉害啊!因为我之前面试被问到的Encoder - Decoder框架中有个瓶颈是编码的结果以固 ...

python encoder decoder_从零开始学Python自然语言处理（25）—— 通用的Encoder-Decoder模型框架...

python encoder decoder_从零开始学Python自然语言处理（25）—— 通用的Encoder-Decoder模型框架...相关推荐

最新文章

热门文章