前向传播和反向传播（举例说明）

假设神经网络结构如下图所示：有2个输入单元；隐含层为2个神经元；输出层也是2个神经元，隐含层和输出层各有1个偏置。

为了直观，这里初始化权重和偏置量，得到如下效果：

----前向传播----

隐含层神经元h1的输入：

$net_{h_{1} } =w_{1}\ast i_{1} +w_{2}\ast i_{2}+b_{1}\ast 1$

代入数据可得：

$net_{h_{1} } =0.15\ast 0.05 +0.2\ast 0.1+0.35\ast 1=0.3775$

假设激励函数用logistic函数，计算得隐含层神经元h1的输出：

$out_{h_{1} }=\frac{1}{1+e^{-net_{h_{1} } } } =\frac{1}{1+e^{-0.3775} }=0.593269992$

同样的方法，可以得到隐含层神经元h2的输出为：

$out_{h_{2} }=0.596884378$

对输出层神经元重复这个过程，使用隐藏层神经元的输出作为输入。这样输出层神经元O1的输出为：

$net_{o_{1} } =w_{5}\ast out_{h_{1} } +w_{6}\ast out_{h_{2} }+b_{2}\ast 1$

代入数据：

$net_{o_{1} } =0.4\ast 0.593269992 +0.45\ast 0.596884378+0.6=1.105905967$

输出层神经元O1的输出：

$out_{o_{1} }=\frac{1}{1+e^{-net_{o_{1} } } } =\frac{1}{1+e^{-1.105905967} }=0.75136507$

同样的方法，可以得到输出层神经元O2的输出为：

$out_{o_{2} }=0.772928465$

----统计误差----

假如误差公式为：

$E_{total} =\sum_{}^{}{\frac{1}{2}(target - output)^{2} }$

如上图，O1的原始输出为0.01，而神经网络的输出为0.75136507，则其误差为：

$E_{o_{1} } =\sum_{}^{}{\frac{1}{2}(0.01 - 0.75136507)^{2} }=0.298371109$

同理可得，O2的误差为：

$E_{o_{2} } =0.023560026$

这样，总的误差为：

$E_{total} =E_{o_{1} }+ E_{o_{2} }=0.298371109$

----反向传播----

对于w5，想知道其改变对总误差有多少影响，得求偏导：

$\frac{d E_{total} }{d w_{5} }$

根据链式法则：

$\frac{d E_{total} }{d w_{5} }=\frac{d E_{total} }{d out_{o_{1} } }\ast\frac{d out_{o_{1} } }{d net_{o_{1} } }\ast \frac{d net_{o_{1} } }{d w_{5} }$

在这个过程中，需要弄清楚每一个部分。

首先：

其次：

最后：

把以上三部分相乘，得到：

根据梯度下降原理，从当前的权重减去这个值（假设学习率为0.5），得：

同理，可以得到：

这样，输出层的所以权值就都更新了（先不管偏置），接下来看隐含层：

对w1求偏导：

用图表来描述上述链式法则求导的路径：

接下来，又是一部分一部分的计算：

>>>>>>>> 1

上式中，第一部分前边已经计算过了：

第二部分中，因为：

所以：

两部分相乘，得：

>>>>>>>> 2

>>>>>>>> 3

>>>>>>>> 4

这样对W1的偏导就出来了：

更新权值：

同理得到：

最后，更新了所有的权重！当最初前馈传播时输入为0.05和0.1，网络上的误差是0.298371109。在第一轮反向传播之后，总误差现在下降到0.291027924。它可能看起来不太多，但是在重复此过程10,000次之后。例如，错误倾斜到0.000035085。

在这一点上，当前馈输入为0.05和0.1时，两个输出神经元产生0.015912196（相对于目标为0.01）和0.984065734（相对于目标为0.99）。

前向传播和反向传播（举例说明）相关推荐

3.3 前向传播与反向传播-机器学习笔记-斯坦福吴恩达教授
前向传播与反向传播前向传播过程(Forward Propagation) 神经网络每层都包含有若干神经元,层间的神经元通过权值矩阵 ΘlΘ^lΘl 连接.一次信息传递过程可以如下描述: 第 j 层神 ...
003-神经网络基础-最优化，前向传播，反向传播
最优化: 包括前向传播和反向传播前向传播: 由w和x到损失函数loss的过程叫做前向传播反向传播: 根据梯度下降的概念,找到最优的w的过程叫做反向传播. 做一件什么事情呢? 根据前向传播的w得到的 ...
花书+吴恩达深度学习（十三）卷积神经网络 CNN 之运算过程（前向传播、反向传播）
目录 0. 前言 1. 单层卷积网络 2. 各参数维度 3. CNN 前向传播反向传播如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十)卷积神经网络 ...
深度学习基础笔记——前向传播与反向传播
相关申明及相关参考: 体系学习地址主要学习笔记地址由于是文章阅读整合,依据个人情况标注排版, 不确定算不算转载,主要学习围绕AI浩的五万字总结,深度学习基础如有侵权,请联系删除. 1前向传播与反 ...
神经网络的前向传播与反向传播
神经网络的前向传播和反向传播相信一开始,大家可能都对神经网络的前向传播和反向传播很头疼,我之前也是一样,后来慢慢懂了,现在深感知识传递的重要性.因此现在我就把我的一点点对两者的理解表达一下,希望能帮 ...
神经网络理解：前向传播与反向传播
文章目录参考资料神经网络前向传播 1. 输入层->隐含层 2. 隐含层->输出层反向传播 1. 计算总误差 2. 隐藏层与输出层之间的权重更新 3. 输入层与隐藏层之间的权重更新 ...
对于CNN卷积神经网络的前向传播和反向传播的理解
对于CNN卷积神经网络的前向传播和反向传播的理解前向传播示意图: 咋一看这张图,作为初学者可能会不知所云(￣ω￣=)?但是想要很好的理解前向传播的原理,我们得从这张图细说. 文章目录对于CNN ...
（二十四）手推BP神经网络的前向传播和反向传播
手推BP神经网络的前向传播和反向传播一.基本术语 1.监督学习与非监督学习 Supervised Learning有监督式学习: 输入的数据被称为训练数据,一个模型需要通过一个训练过程,在这个过程中 ...
神经网络前向传播和反向传播公式推导（公式+图解）
以如下的预测是否是猫的双层神经网络为例进行公式推导: 符号注解: n_x : 输入特征的数量 n_h : 隐藏层的节点数量 n_y : 输出层的节点数量 m : 样本数量 W :权重矩阵 b :偏置 ...
前向传播、反向传播(后向传播)、梯度下降、导数、链式法则
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) 2.4 神经网络最优化过程 2.4.1 最优化(Optimiz ...

前向传播和反向传播（举例说明）

前向传播和反向传播（举例说明）相关推荐

最新文章

热门文章