循环神经网络RNN的前向传播与反向传播

2024-08-01 22:43:13

文章目录

1. RNN模型
2. RNN的前向传播
3. RNN的反向传播
4. RNN的缺点

1. RNN模型

2. RNN的前向传播

对于当前的索引号 t t t，隐藏状态 h t h^t ht由 x t x^t xt和 h t − 1 h^{t-1} ht−1共同得到：
(1) h t = tanh ⁡ ( U x t + W h t − 1 + b ) h^t = \tanh(Ux^t+Wh^{t-1}+b) \tag{1} ht=tanh(Uxt+Wht−1+b)(1)
其中选用了tanh作为激活函数， b b b是bias。

每次网络的输出值：
(2) o t = V h t + c o^t = Vh^t + c \tag{2} ot=Vht+c(2)

输出的预测值：
(3) a t = softmax ( o t ) = softmax ( V h t + c ) a^t = \text{softmax}(o^t) = \text{softmax}(Vh^t+c) \tag{3} at=softmax(ot)=softmax(Vht+c)(3)

使用交叉熵损失函数：
L t = − ∑ i = 1 N y i t log ⁡ a i t = − log ⁡ a k t L^t = -\sum_{i=1}^Ny_i^t\log a_i^t = -\log a_k^t Lt=−i=1∑Nyitlogait=−logakt
化简的结果是因为在所有的 N N N个分类中，只有 y k = 1 y_k=1 yk=1

3. RNN的反向传播

RNN的反向传播有时也叫做BPTT(back-propagation through time)，所有的参数 U , W , V , b , c U, W, V, b, c U,W,V,b,c在网络的各个位置都是共享的。

成本函数：
L = ∑ t = 1 m L t L = \sum_{t=1}^mL^t L=t=1∑mLt
其中 m m m是训练集的数据量。

从《交叉熵的反向传播梯度推导（使用softmax激活函数）》一文得知，
∂ L t ∂ o t = a t − y t \frac{\partial L^t}{\partial o^t} = a^t - y^t ∂ot∂Lt=

循环神经网络RNN的前向传播与反向传播相关推荐

深度学习 -- TensorFlow（9）循环神经网络RNN
目录一.循环神经网络RNN介绍二.Elman network && Jordan network 三.RNN的多种架构 1.一对一 2.多对一 3.多对多 4. 一对多 5.Seq ...
循环神经网络(RNN)简介
人工神经网络介绍参考: https://blog.csdn.net/fengbingchun/article/details/50274471 卷积神经网络介绍参考: https://blog.csd ...
「NLP」深度学习NLP开篇-循环神经网络(RNN)
https://www.toutiao.com/a6714260714988503564/ 从这篇文章开始,有三AI-NLP专栏就要进入深度学习了.本文会介绍自然语言处理早期标志性的特征提取工具-循环 ...
循环神经网络(RNN, Recurrent Neural Networks)介绍
循环神经网络(RNN, Recurrent Neural Networks)介绍循环神经网络(Recurrent Neural Networks,RNNs)已经在众多自然语言处理(Natural ...
【NLP】深度学习NLP开篇-循环神经网络(RNN)
从这篇文章开始,有三AI-NLP专栏就要进入深度学习了.本文会介绍自然语言处理早期标志性的特征提取工具-循环神经网络(RNN).首先,会介绍RNN提出的由来:然后,详细介绍RNN的模型结构,前向传播和 ...
循环神经网络(RNN)相关知识
文章目录 RNN概述前向传播公式通过时间反向传播(BPTT) RNN确定序列长度方式其他RNN结构基于RNN的应用 1,序列数据的分析 2,序列数据的转换 3,序列数据的生成 RNN的不足 1 ...
tensorflow lstm从隐状态到预测值_机器学习100天-Day2405 循环神经网络RNN（LSTM）
说明:本文依据<Sklearn 与 TensorFlow 机器学习实用指南>完成,所有版权和解释权均归作者和翻译成员所有,我只是搬运和做注解. 进入第二部分深度学习第十四章循环神经网络 ...
花书+吴恩达深度学习（十五）序列模型之循环神经网络 RNN
目录 0. 前言 1. RNN 计算图 2. RNN 前向传播 3. RNN 反向传播 4. 导师驱动过程(teacher forcing) 5. 不同序列长度的 RNN 如果这篇文章对你有一点小小的 ...
第六章_循环神经网络(RNN)
文章目录第六章循环神经网络(RNN) CNN和RNN的对比 http://www.elecfans.com/d/775895.html 6.1 为什么需要RNN? 6.1 RNN种类? RNN t ...
Python手撸机器学习系列（十六）：循环神经网络RNN的实现
目录循环神经网络RNN 1.公式推导 2.代码实现循环神经网络RNN 1.公式推导对于该循环神经网络,以中间的RNN单元为例,推导前向传播: 对于Layer-1: z h = w i x + w ...

最新文章

热门文章