深度学习之LSTM完全图解

在学习LSTM的过程中，一直对lstm的内部机制一知半解，网上查找的资料大多千篇一律的翻译稿，大多列列公式了事，并没有做细致深入的解释。于是乎自己最近仔细debug了一遍tensorflow的seq2seq源码，总算是彻底搞清了LSTM的计算流程，下面通过一个图来对LSTM内部的计算流程进行详细解析，先上图：

首先看这个广为流传的图，我做了一些注释，大体流程是：

1.input与h进行concat操作，记结果为x

2.x分别于权重矩阵w(f),w(i),w(j),w(o)进行矩阵点乘操作，分别得到结果矩阵f、i、j、o,其中w(f),w(i),w(j),w(o)就是该LSTM细胞的核心权重参数，训练的目的也就是训练这四个权重矩阵参数，至于权重的维度，下面有图能够解释

3.对矩阵f进行sigmod操作即sigmod(f)，对矩阵i也进行sigmod操作，即sigmod(i)，对矩阵j进行tanh操作，即tanh(j),对矩阵o进行sigmod操作即sigmod(o)

4.计算新的c ，新c=老c*sigmod(f)+(sigmod(i)*tanh(j))

5.计算新的h ，新h=tanh(新c)*sigmod(o)

经过这5个步骤，一次cell计算完毕得到新的c和新的h，然后将h作为本次的output，将元组(c,h)作为本次的细胞state保存作为下次cell计算的原料。

基于对LSTM大体框架的了解，下面我们通过一个具体的图，来对计算过程中数据的维度变化进行了解，上图：

这个图有点大，可以放大查看，在这里我们对几个参数做预先说明，本图中，embedding_size为512，num_units即隐层的神经个数（决定w(f),w(i),w(j),w(o)等权重参数矩阵的维度）必须与embedding_size一致为512。batch_size设为64。下面对整个图的流程进行解释：

1.首先要将单词经过embedding转换为词向量，即每个单词对应一个1*512的向量，因此最终inputs的维度为(sequence_length,batch_size,512)

2.每次拿出一个单词进行计算，就是拿出inputs(sequence_length)的第一个元素input，维度为[64,512],即一个batch的第一个单词

3.设置初始的state，这个state可以自己初始化，其值为元组形式 (c,h),维度为【64,512】 64为batch_size

4.拿出state中的h，维度为【64,512】与input 【64,512】进行concat得到一个维度为【64,1024】的输入矩阵x

5.x分别与w(f),w(i),w(j),w(o)进行计算，计算的结果必须是512维（num_units），故w(f),w(i),w(j),w(o)四个权重矩阵的维度都必须是【1024,512】的，【64,1024】dot 【1024,512】=【64,512】如下图：

计算的结果f、i、j、o的维度均为【64,512】

6，进行激活操作sigmod(f+b) sigmod(i) tanh(j) sigmod(o)，激活操作不改变维度，故而维度都是【64,512】,注意这里对f进行了一个偏置，源码中b=1.0。其作用应该是避免忘记太多内容

7，忘记门，old_c*sigmod(f+b) 对一些信息进行忘记，multiply操作就是矩阵对应元素相乘，由于sigmod操作的结果是大部分值为0，所以起到忘记的作用。结果维度依然是【64,512】

8.记忆门，记忆门采用add操作，结果得到新的c，即new_c=multiply(old_c,sigmod(f+b)) +multiply(sigmod(i),tanh(j)) ,维度依然不改变【64,512】

9.输出，计算新的h new_h=multiply(sigmod(o),tanh(multiply(c,sigmod(f+b)) +multiply(sigmod(i),tanh(j))) ) 维度【64,512】

至此，一次cell计算完毕。

可以看出，一个LSTM_CELL中最重要的就是四个权重参数矩阵，四个矩阵的维度均为【1024,512】，此处的512就是embedding_size也是num_units，而1024为2*512，即权重参数维度只跟num_units有关【2*unm_units，num_units】。

这是一层LSTM结构，如果是多层的，就将输出ouput作为下一层的input，其他一样计算。

公式在此就不列出了，网上一片一片。下一篇将对tensorflow的attention机制源码进行解读，tensorflow的attention机制源码与中国blog翻译稿所述略微不同，下篇再做详解

深度学习之LSTM完全图解相关推荐

【深度学习】LSTM神经网络解决COVID-19预测问题（二）
[深度学习]LSTM神经网络解决COVID-19预测问题(二) 文章目录 1 概述 2 模型求解和检验 3 模型代码 4 模型评价与推广 5 参考 1 概述建立一个普适性较高的模型来有效预测疫情的达 ...
【深度学习】LSTM神经网络解决COVID-19预测问题（一）
[深度学习]LSTM神经网络解决COVID-19预测问题文章目录 1 概述 2 数据分析 3 SIR模型和LSTM网络的对比 4 LSTM神经网络的建立 5 参考 1 概述我们将SIR传播模型和L ...
浅谈深度学习：LSTM对股票的收益进行预测（Sequential 序贯模型，Keras实现）
浅谈深度学习:LSTM对股票的收益进行预测(Sequential 序贯模型,Keras实现) 总包含文章: 一个完整的机器学习模型的流程浅谈深度学习:了解RNN和构建并预测浅谈深度学习:基于对LS ...
深度学习之LSTM案例分析（三）
#背景来自GitHub上<tensorflow_cookbook>[https://github.com/nfmcclure/tensorflow_cookbook/tree/maste ...
MATLAB深度学习之LSTM
MATLAB深度学习之LSTM 深度学习工具箱 net = trainNetwork(sequences,Y,layers,options) clc clear %% 训练深度学习 LSTM 网络,进 ...
【深度学习】深度学习之LSTM
LSTM是深度学习领域一个非常受欢迎的模型,它被用以解决各种各样的问题.在交通领域,LSTM被广泛应用于道路.航空.铁路等各个方面的研究,例如基于LSTM建立车辆跟驰模型,利用LSTM进行短期交通流预 ...
keras实现简单lstm_深度学习（LSTM）在交通建模中的应用
上方点击蓝字关注? 在简单了解了LSTM原理之后,本期我将以航班延误预测为例为大家介绍一下如何利用Python编程来构建LSTM模型. 这里我们要用到一个高级的深度学习链接库--Keras,它以Ten ...
深度学习算法 | LSTM算法原理简介及Tutorial
北京 | 深度学习与人工智能研修 12月23-24日再设经典课程重温深度学习阅读全文 > 正文共4880个字 17张图,预计阅读时间:13分钟. 1.背景 LSTM(Long Short ...
TensorFlow (RNN)深度学习双向LSTM(BiLSTM)+CRF 实现 sequence labeling 序列标注问题源码下载...
http://blog.csdn.net/scotfield_msn/article/details/60339415 在TensorFlow (RNN)深度学习下双向LSTM(BiLSTM)+CR ...
从深度学习到LSTM
LSTM(Long Short-term Memory,长短期记忆网络)是一种用于处理序列数据的神经网络模型.它可以被应用于语言模型.机器翻译.图片标注.音乐自动化生成等等,在深度学习与大数据中有着不 ...

深度学习之LSTM完全图解

深度学习之LSTM完全图解相关推荐

最新文章

热门文章