深层循环神经网络（Deep RNNs）
来源：Coursera吴恩达深度学习课程
目前我们学习了不同RNN的版本，每一个都可以独当一面（already work quite well by themselves）。但是要学习非常复杂的函数，通常我们会把RNN的多个层堆叠在一起构建更深的模型，来构建一些更深的RNN。我们开始吧。
如上图左侧，一个标准的神经网络，首先是输入x，然后堆叠上隐含层，所以这里应该有激活值，比如说第一层是a^[1]，接着堆叠上下一层，激活值a^[2]，可以再加一层a^[3]，然后得到预测值y帽。深层的RNN网络如上图右侧，还是画这样的网络，然后按时间展开。注意这里的符号，a^[1](0)表示第1层0时刻的激活值，更一般的用a^[l](t)表示第l层第t个时间点的激活值。上图是一个有三个隐层的新的网络。
（备注：还是这个问题，不知道为什么右上角的符号就是显示不出来，这篇文章都会（）代替，有时间会解决这个bug，望谅解。）
看一个具体例子，如上图紫色标记，看这个激活值a^[2](3)是怎么计算的，一共有两个输入：一个是下面过来的输入a^[1](3)，一个是左边过来的输入a^[2](2)，于是计算公式为：
上述参数(W_a)^[2]和(b_a)^[2]在这一层的计算里都一样。相应的第一层也有自己的参数（绿色标记）。
对于左侧这样标准的神经网络，有很深的网络，甚至于100层深，而对于RNN来说，有三层就已经不少了。由于时间的维度，RNN网络会变得相当大，即使只有很少的几层，很少会看到这种网络堆叠到100层。
但有一种会容易见到，如下图：
在每一个上面堆叠循环层（recurrent layers），把上述第3层的输出y^(1)去掉，换成一些深的层，这些层并不水平连接，只是一个深层的网络，然后用来预测y^(1)。其他几个类似。这种类型的网络结构用的会稍微多一点，这种结构有三个循环单元，在时间上连接，接着一个网络在后面接一个网络。通常这些单元（上图方框）没必要非是标准的RNN，也可以是GRU单元或者LSTM单元，或者构建深层的双向RNN网络。由于深层的RNN训练需要很多计算资源，需要很长的时间，尽管看起来没有多少循环层，这个也就是在时间上连接了三个深层的循环层（蓝色圆圈），你看不到多少深层的循环层，不像卷积神经网络一样有大量的隐含层。
这就是深层RNN的内容，从基本的RNN网络，基本的循环单元到GRU，LSTM，再到双向RNN，还有深层版的模型。现在工具箱中已经有了很多工具（have a rich toolbox）。
说明：记录学习笔记，如果错误欢迎指正！转载请联系我。
深层循环神经网络（Deep RNNs）相关推荐
- 1.12 深层循环神经网络-深度学习第五课《序列模型》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 1.11 双向神经网络 回到目录 1.13 总结 深层循环神经网络 (Deep RNNs) 目前你学到的不同RNN的版本,每一个都可以独当一面.但是要学习非常复杂的函数,通常 ...
- 如何计算给定一个unigram语言模型_CS224n笔记[5]:语言模型（LM）和循环神经网络（RNNs）...
CS224n笔记[5]:语言模型(LM)和循环神经网络(RNNs) 作者:郭必扬 许久没更新了,十分惭愧,翻了翻之前的笔记,才之前上一期我们讲的是"依存分析".本期,我们介绍一下语 ...
- 深层循环神经网络（DRNN）
深层循环神经网络(DRNN) DRNN可以增强模型的表达能力,主要是将每个时刻上的循环体重复多次,每一层循环体中参数是共享的,但不同层之间的参数可以不同.DRNN结构图如图5所示. TensorFlo ...
- TensorFlow 堆叠循环神经网络（深层循环神经网络）
堆叠循环神经网络,又叫深层循环神经网络,就是将多个循环神经网络堆叠起来.在TensorFlow中,提供了tf.keras.layers.StackedRNNCells()类来封装堆叠神经网络的单元.要 ...
- 深度神经网络和循环神经网络,深层循环神经网络
深度学习和有效学习的区别 深度学习和有效学习的区别分别是:1.深度学习是:Deep Learning,是一种机器学习的技术,由于深度学习在现代机器学习中的比重和价值非常巨大,因此常常将深度学习单独拿出 ...
- 循环序列模型 —— 1.12 深层循环神经网络
要学习非常复杂的函数,通常我们会把RNN的多个层堆叠在一起,构建更深的模型. 一个标准的神经网络,首先是输入x,然后堆叠上隐藏层,隐含层中应该有激活值,比如说第一层是a<1>a^{< ...
- 2_Recurrent Neural Networks (RNNs)循环神经网络 —Simple RNNs
文章目录 一.How to model sequential data?(怎样对时序数据建模) 1.1 one to one模型 1.2 many to one模型 二.Simple RNN Mode ...
- 1.12 深层循环神经网络
- 深度学习 循环神经网络RNN
循环神经网络简介: 循环神经网络(Recurrent Neural Networks)是一种特殊的神经网络结构, 它是根据"人的认知是基于过往的经验和记忆"这一观点提出的. 它与D ...
最新文章
- 2018QBXT刷题游记（15）
- silverlight学习布局之：布局stackpanel
- 模板匹配，特征点匹配-全
- 玩转Go语言之特殊的语法
- Leetcode 160 相交链表 (每日一题 20210802)
- 设计模式 - Mediator
- xp删除管理员账户_在Windows XP中从登录屏幕删除用户帐户
- 使用phpize建立php扩展（Cannot find config.m4）
- 数据结构之队列的应用（实现斐波那契数列）
- Android开发之蓝牙(Bluetooth)操作(一)--扫描已经配对的蓝牙设备
- 算法第四版_第二章_练习题_2.1.1~2.1.12
- MySQL数据库基础理论
- Lomboz插件安装
- python发送文件到指定的邮箱_python笔记：批量将指定附件发送到指定邮箱地址
- tableau之企业经营分析看版设计
- 【实例】python 使用beautifulSoup 抓取网页正文 以淘宝商品价格为例
- NLP之NER：商品标题属性识别探索与实践
- jvm系列 (四) ---强、软、弱、虚引用
- 锁相环(PLL)的工作原理
- java循环求阶乘_在Java中用循环求阶乘