时空序列预测问题1: LSTM 的理解

作为一种特殊的循环神经网络，LSTM（Long Short Term Memory）通过遗忘门来筛选过去的信息；通过输入门来筛选tanh的神经网络层的信息，组成记忆门。记忆门和过去的信息对应项相加得到新的细胞状态。利用tanh来映射细胞状态信息，并通过输出门来控制细胞状态的输出，LSTM 的原理图如下图所示：

图中的
表示逐元素相乘，
表示逐元素相加，
σ(∙)为用于门的sigmoid激活函数，σ(x)=1/(1+e^(-x) )，作用是将输入转换为0-1之间的数值，用来描述多少量的输入信号可以通过。tanh(∙)是用于块输入和输出的tanh激活函数，tanh(x)=(e^x-e(-x))/(e^x+e(-x) )
LSTM 的详细的公式实现过程如下所示：
1.通过包含σ(∙)函数的神经网络层对过去的信息c(t-1)进行筛选，详细的说就是接收 t 时刻的输入信号 xt 和 t-1 时刻 LSTM 的上一个输出信号 ht-1，这两个信号进行拼接以后共同输入到σ(∙)神经网络层中，然后输出信号 ft，ft是一个 0到1之间的数值（相当于开关），并与 c(t-1)相乘来决定c(t-1)中的哪些信息将被保留，哪些信息将被舍弃（为了方便理解，自己手动加了一个筛选后的状态）。
公式为：

2.记忆门。记忆门主要包含两部分。第一部分是由σ(∙)组成的输入门，将t时刻的输入信号 xt 和 t-1时刻LSTM的上一个输出信号 ht-1映射到0，1之间，来决定那些信息被输送（相当于开关）。

第二部分是由tanh组成的神经网络结构层，将t时刻的输入信号 xt 和 t-1时刻LSTM的上一个输出信号 ht-1映射到-1，1之间，组成一个临时的细胞状态
最后将这两个输出对应项相乘，得到最终的输送信息，（为了方便理解，自己手动加了一个筛选后的状态）。

3.然后将从遗忘门选择的信息和输入门选择的记忆门的输出各项相加，得到新的细胞状态，该状态继续传递到t+1时刻的LSTM网络中，作为新的细胞状态：

4.输出门：同理，由σ(∙)组成的输出门ot，将t时刻的输入信号 xt 和 t-1时刻LSTM的上一个输出信号 ht-1映射到0，1之间，来决定那些信息被输送（相当于开关）。新的细胞状态通过tanh神经网络层映射到-1~1之间，并与ot对应项相乘，通过输出门来决定哪些信息输出：

所以为什么叫输入门，遗忘门和输出门就不言而喻了

时空序列预测问题1: LSTM 的理解相关推荐

【时空序列预测第二篇】Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting
个人公众号 AI蜗牛车作者是南京985AI硕士,CSDN博客专家,研究方向主要是时空序列预测和时间序列数据挖掘,获国家奖学金,校十佳大学生,省优秀毕业生,阿里天池时空序列比赛rank3.公众号致力于 ...
卷积LSTM网络应用于时空序列预测
时空序列预测问题是输入的是按照某一时刻之前若干个时刻表示空间信息的二维矩阵,预测某一时刻后面若干个时刻的空间状态.可以形式化为: 卷积LSTM(Convolutional LSTM)是把卷积神经网络的 ...
【时空序列预测paper】ConvLSTM:A Machine Learning Approach for Precipitation Nowcasting
前言: 论文和两位大佬的解读一起看AI蜗牛车和翻滚的小@强论文原文:Convolutional LSTM Network: a machine learning approach for prec ...
2021AIOps挑战赛|基于移动通信网络运维中的多指标时空序列预测
2021国际AIOps挑战赛决赛暨AIOps创新高峰论坛于2021年5月13日在北京成功举行.本文根据中国移动研究院首席科学家.人工智能与智慧运营中心总经理冯俊兰博士现场发言纪要整理而成. 演讲内容 ...
中国移动研究院冯俊兰：基于移动通信网络运维中的多指标时空序列预测
这和我当年做的工作就很像了. 转载自:https://mp.weixin.qq.com/s/veqH753nxWW0Hr0PDB1uSg 中国移动研究院冯俊兰:基于移动通信网络运维中的多指标时空序列预 ...
【时空序列预测实战】风险时空预测？keras之ConvLSTM实战来搞定
作者 | Eric琨学校 | 武汉大学信管研究 | NLP.时空序列出品 | AI蜗牛车前言毕设临近截止,故写一篇心得以供新手学习,理论在知乎上有很多介绍的不错的文章,这里强烈推荐微信公众号 ...
【时空序列预测第四篇】PredRNN++: Towards A Resolution of the Deep-in-Time Dilemma in Spatiotemporal Predictive
前言保持住节奏,每周起码一篇paper reading,要时刻了解研究的前沿,是一个不管是工程岗位还是研究岗位AIer必备的工作,共勉! 准备再写几篇这种非常细致的文章之后,接下来写作主要集中在模型 ...
时空序列预测之PredRNN++（Casual LSTM和GHU解决时空预测学习中的深度困境）
首先声明,虽是原创文章,但是站在了巨人的肩膀上进行创作的,借鉴了车哥AI蜗牛车的一些总结,加上了自己的补充和整理完成. 1. 写在前面今天分享的这篇文章是发表在ICML2018年的paper,是基于 ...
Memory in Memory（MIM）时空序列预测学习总结
动机:作者发现PredRNN中的遗忘门总是处于负饱和中(ft<0.1)会出现灾难性遗忘. 下面给出解释 LSTM内部结构如图为LSTM的内核,它一部分时间信息是存储在Ct中的,而Ct每一时间步 ...

时空序列预测问题1: LSTM 的理解

时空序列预测问题1: LSTM 的理解相关推荐

最新文章

热门文章