BPTT算法 / LSTM的细胞状态和隐藏状态 / GRU

1:BPTT: 其实就是BP算法正常的链式推导展开，只是因为它涉及到了之前时刻的ht输出，所以将时间信息给带进去了；而这也是为什么说RNN不能很好的保存长期记忆的原因，因为偏导的连乘，长期的记忆被不断的缩小，很容易出现梯度消失，也就是把长期记忆丢失了

2:LSTM的细胞状态和隐藏状态

参考：(41 封私信 / 13 条消息) 如何理解 LSTM 中的 cell state 和 hidden state? - 知乎 (zhihu.com)

快速理解LSTM，从懵逼到装逼 - 知乎 (zhihu.com)

我的理解是认为，细胞状态是包含了全部的长短期信息的，而hidden state则是从细胞状态里面抽取的与当前输入最相关的信息（因为最相关不一定就是短期信息，所以hidden state也可以是长期信息）；综上，细胞状态是包含整体的长短期信息，而隐藏状态则是包含的与当前输入最相关的信息

3;GRU

首先，ht-1 融合xt之后，分别生成重置门rt和更新门zt，rt决定ht-1中有多少信息需要遗忘，也可以说是从ht-1中选择与当前输入更相关的信息来与输入进行融合（所以此时融合的信息可以理解为和当前输入联系最紧密的信息，既有短期信息也有长期信息）；zt则是更新门，他决定上一步融合的信息有多少会加入到ht中去。而因为之前融合的信息是与当前信息最相关的，所以我们还应该加上与当前信息不那么相关的信息，来保证ht信息的完整性（这就是1-zt，再乘上ht-1的原因）。

BPTT算法 / LSTM的细胞状态和隐藏状态 / GRU相关推荐

人工智能里的数学修炼 | 隐马尔可夫模型：维特比(Viterbi)算法解码隐藏状态序列
人工智能里的数学修炼 | 概率图模型 : 隐马尔可夫模型人工智能里的数学修炼 | 隐马尔可夫模型:前向后向算法人工智能里的数学修炼 | 隐马尔可夫模型 : 维特比(Viterbi)算法解码隐藏状态 ...
HMM（三）维特比算法推测隐藏状态序列
仍沿用上一节中HMM模型盒子和球的例子,已知盒子与球的模型及取3次球以后球的颜色观测序列{红,白,红},需推测三次取球可能对应的盒子序列(隐藏状态序列),每一次分别是从哪一个盒子取的球. 第一个时刻: ...
RNN BPTT算法详细推导
BPTT算法推导 BPTT全称:back-propagation through time.这里以RNN为基础,进行BPTT的推导. BPTT的推导比BP算法更难,同时所涉及的数学知识更多,主要用到了 ...
【Pytorch神经网络理论篇】 17 循环神经网络结构：概述+BP算法+BPTT算法
1 循环神经网络结构概述循环神经网络(Recurrent Neural Network,RNN)是一个具有记忆功能的网络模型.它可以发现样本彼此之间的相互关系.它多用于处理带有序列特征的样本数据. ...
深度学习算法 | LSTM算法原理简介及Tutorial
北京 | 深度学习与人工智能研修 12月23-24日再设经典课程重温深度学习阅读全文 > 正文共4880个字 17张图,预计阅读时间:13分钟. 1.背景 LSTM(Long Short ...
RNN BPTT算法推导
目录 BPTT算法推导注1:激活函数tanh(x)求导注2 softmax求导 BPTT算法推导对于一个普通的RNN来说,其前向传播过程为: 先介绍一下等下计算过程中会用到的偏导数: 关于t ...
LSB图像信息隐藏算法matlab,实验二LSB信息隐藏实验.doc
实验二LSB信息隐藏实验.doc 实验二LSB信息隐藏实验综合评分: [实验目的]: 掌握MATLAB基木操作实现LSB信息隐藏和提取 [实验内容]:(请将你实验完成的项11涂"■&qu ...
Android官方开发文档Training系列课程中文版：管理系统UI之隐藏状态条
原文地址:http://android.xsoftlab.net/training/system-ui/status.html 这节课将会介绍如何隐藏不同的版本的状态条.隐藏状态条可以使内容展示区域更 ...
算法题：一个圆环上有100个灯泡，灯泡有打开关闭两种状态，灯泡状态随机。设计算法，使灯泡都亮。
算法题:一个圆环上有100个灯泡,灯泡有打开关闭两种状态,灯泡状态随机,按一个灯泡,相邻两个灯泡的状态也会改变. eg: ' 暗 - 亮 - 暗 ' 按中间灯泡 ,变化为 ' 亮 - 暗 - 亮 '. ...

BPTT算法 / LSTM的细胞状态和隐藏状态 / GRU

BPTT算法 / LSTM的细胞状态和隐藏状态 / GRU相关推荐

最新文章

热门文章