反向传播：重点掌握链式法则（偏导的求法）

感谢博主，以下计算参考链接：https://www.cnblogs.com/charlotte77/p/5629865.html

****************************************************************************

输入→卷积（激活函数）……→输出

以上图为例，并赋值，分别计算正向传播和反向传播。（图中省略了激活函数sigmoid）。激活函数的公式如下：

sigmod求导过程参考链接：https://blog.csdn.net/zhangyingjie09/article/details/82180199

****************************************************************************

一、正向传播

1、输入经过卷积到中间层h1

h1=i1w1+i2w2+b11=0.050.15+0.10*0.20+0.35=0.3775

h2=i1w3+i2w4+b11=0.050.25+0.10*0.30+0.35=0.3925

2、中间层经过激活函数sigmoid

outh1=1/(1+e(-h1))≈0.59327

outh2=1/(1+e(-h2))≈0.59688

3、经过卷积到o1（还未输出，因为还得经过一个激活函数）

o1=outh1w5+outh2w6+b21=0.593270.40+0.59688*0.45+0.60≈1.1059

o2=outh1w7+outh2w8+b21=0.593270.50+0.59688*0.55+0.60≈1.2249

4、从o1经过激活函数到输出层

out01=1/(1+e(-o1))≈0.75137

out02=1/(1+e(-o2))≈0.77293

我们可以发现，输出值[0.75137,0.77293]与实际值[0.01,0.99]相差很远，对误差进行反向传播，更新权重（即w），重新计算输出。

****************************************************************************

二、反向传播

1、以w5为例，即直接与输出层连接的反向传播

W5只与outo1有关：w5→o1→outo1

$Etotal=Eo1+Eo2=1/2(target-outo1)^2+1/2(target-outo2)^2$

$(\partial Etotal)/(\partial w5)=(\partial Etotal/\partial outo1)\cdot (\partial outo1/\partial o1)\cdot (\partial o1/\partial w5)= (target-outo1)*[outo1(1-outo1)]*outh1$

计算具体参考链接，可得结果为0.08217

$w5+=w5-\eta *(\partial Etotal/\partial w5)$

可得w5＋、w6+、w7+、w8+

2、以w1为例，中间层的反向传播

w1与outh1有关，但是outh1有两条路径。一条来自于outo1，一条来自于outo2。

$\partial Etotal/\partial w1=(\partial Etotal/\partial outh1)*(\partial outh1/\partial h1)*(\partial h1/\partial w1)$

$\partial Etotal/\partial outh1=(\partial Eo1/\partial outh1)+(\partial Eo2/\partial outh1)$

，在这个例子中第一次迭代之后，总误差E(total)由0.298371109下降至0.291027924。迭代10000次后，总误差为0.000035085，输出为[0.015912196,0.984065734](原输入为[0.01,0.99]),证明效果还是不错的。

神经网络的正向传播和反向传播（转）相关推荐

神经网络的正向传递与反向传播
神经网络的正向传递与反向传播 1.单个神经元 2.由神经元组成的神经网络 3.目标函数 4.求解损失函数对某个权值的梯度 5.反向传播算法Backpropgation 5.1 明确一些定义 5.2 计 ...
神经网络正向传播和反向传播
正向传播(forward-propagation):指对神经网络沿着输入层到输出层的顺序,依次计算并存储模型的中间变量. 反向传播(back-propagation):沿着从输出层到输入层的顺序,依据 ...
深度神经网络(DNN)正向传播与反向传播推导（通俗易懂）
一.前言我在之前的博客里面介绍过浅层的神经网络,现在就从浅层神经网络出发,介绍深度神经网络(DNN)的正向传播和反向传播.希望网友们看本博客之前需要对神经网络有个简单的了解,或者可以看博客初探神经网 ...
机器学习概念 — 监督学习、无监督学习、半监督学习、强化学习、欠拟合、过拟合、后向传播、损失和优化函数、计算图、正向传播、反向传播
1. 监督学习和无监督学习监督学习 ( Supervised Learning ) 和无监督学习 ( Unsupervised Learning ) 是在机器学习中经常被提及的两个重要的学习方法. ...
（pytorch-深度学习系列）正向传播与反向传播-学习笔记
正向传播与反向传播 1. 正向传播正向传播是指对神经网络沿着从输入层到输出层的顺序,依次计算并存储模型的中间变量(包括输出). 假设输入是一个特征为x∈Rd\boldsymbol{x} \in \m ...
（二十四）手推BP神经网络的前向传播和反向传播
手推BP神经网络的前向传播和反向传播一.基本术语 1.监督学习与非监督学习 Supervised Learning有监督式学习: 输入的数据被称为训练数据,一个模型需要通过一个训练过程,在这个过程中 ...
详解+推导神经网络中的前向传播和反向传播公式（神经网络中的梯度下降）
文章目录线性回归快速回忆逻辑回归中的正向传播与反向传播逻辑回归中的正向传播与反向传播-代码实战神经网络的正向传播与反向传播参考资料线性回归快速回忆在线性回归(y=ax+by=ax+by= ...
一句话解释清楚什么是正向传播和反向传播
在学习吴恩达的深度学习教程的时候,遇到了两个名词,正向传播和反向传播,不知道什么意思,于是我去CSDN上搜索,发现这些回答都是不知所云,依托答辩,解释的根本不清楚.所以我很有必要用一句话来解释一下什么 ...
CNN网络中卷积层的正向传播与反向传播理解
1. 基础理论 1.1 网络结构梳理在CNN网络模型是建立在传统神经网络结构上的,对于一个传统的神经网络其结构是这样的: 从上面可以看出,其模型是全连接的.若是使用一幅512*512大小的图像作为输 ...

神经网络的正向传播和反向传播（转）

反向传播：重点掌握链式法则（偏导的求法）

感谢博主，以下计算参考链接：https://www.cnblogs.com/charlotte77/p/5629865.html

****************************************************************************

输入→卷积（激活函数）……→输出

以上图为例，并赋值，分别计算正向传播和反向传播。（图中省略了激活函数sigmoid）。激活函数的公式如下：

sigmod求导过程参考链接：https://blog.csdn.net/zhangyingjie09/article/details/82180199

****************************************************************************

一、正向传播

1、输入经过卷积到中间层h1

h1=i1w1+i2w2+b11=0.050.15+0.10*0.20+0.35=0.3775

h2=i1w3+i2w4+b11=0.050.25+0.10*0.30+0.35=0.3925

2、中间层经过激活函数sigmoid

outh1=1/(1+e(-h1))≈0.59327

outh2=1/(1+e(-h2))≈0.59688

3、经过卷积到o1（还未输出，因为还得经过一个激活函数）

o1=outh1w5+outh2w6+b21=0.593270.40+0.59688*0.45+0.60≈1.1059

o2=outh1w7+outh2w8+b21=0.593270.50+0.59688*0.55+0.60≈1.2249

4、从o1经过激活函数到输出层

out01=1/(1+e(-o1))≈0.75137

out02=1/(1+e(-o2))≈0.77293

我们可以发现，输出值[0.75137,0.77293]与实际值[0.01,0.99]相差很远，对误差进行反向传播，更新权重（即w），重新计算输出。

****************************************************************************

二、反向传播

1、以w5为例，即直接与输出层连接的反向传播

W5只与outo1有关：w5→o1→outo1

计算具体参考链接，可得结果为0.08217

可得w5＋、w6+、w7+、w8+

2、以w1为例，中间层的反向传播

w1与outh1有关，但是outh1有两条路径。一条来自于outo1，一条来自于outo2。

神经网络的正向传播和反向传播（转）相关推荐

最新文章

热门文章

神经网络的正向传播和反向传播（转）

反向传播：重点掌握链式法则（偏导的求法）

感谢博主，以下计算参考链接：https://www.cnblogs.com/charlotte77/p/5629865.html

****************************************************************************

输入→卷积（激活函数）……→输出

以上图为例，并赋值，分别计算正向传播和反向传播。（图中省略了激活函数sigmoid）。激活函数的公式如下：

sigmod求导过程参考链接：https://blog.csdn.net/zhangyingjie09/article/details/82180199

****************************************************************************

一、正向传播

1、输入经过卷积到中间层h1

h1=i1*w1+i2*w2+b1*1=0.05*0.15+0.10*0.20+0.35=0.3775

h2=i1*w3+i2*w4+b1*1=0.05*0.25+0.10*0.30+0.35=0.3925

2、中间层经过激活函数sigmoid

outh1=1/(1+e(-h1))≈0.59327

outh2=1/(1+e(-h2))≈0.59688

3、经过卷积到o1（还未输出，因为还得经过一个激活函数）

o1=outh1*w5+outh2*w6+b2*1=0.59327*0.40+0.59688*0.45+0.60≈1.1059

o2=outh1*w7+outh2*w8+b2*1=0.59327*0.50+0.59688*0.55+0.60≈1.2249

4、从o1经过激活函数到输出层

out01=1/(1+e(-o1))≈0.75137

out02=1/(1+e(-o2))≈0.77293

我们可以发现，输出值[0.75137,0.77293]与实际值[0.01,0.99]相差很远，对误差进行反向传播，更新权重（即w），重新计算输出。

****************************************************************************

二、反向传播

1、以w5为例，即直接与输出层连接的反向传播

W5只与outo1有关：w5→o1→outo1

计算具体参考链接，可得结果为0.08217

可得w5＋、w6+、w7+、w8+

2、以w1为例，中间层的反向传播

w1与outh1有关，但是outh1有两条路径。一条来自于outo1，一条来自于outo2。

神经网络的正向传播和反向传播（转）相关推荐

最新文章

热门文章

h1=i1w1+i2w2+b11=0.050.15+0.10*0.20+0.35=0.3775

h2=i1w3+i2w4+b11=0.050.25+0.10*0.30+0.35=0.3925

o1=outh1w5+outh2w6+b21=0.593270.40+0.59688*0.45+0.60≈1.1059

o2=outh1w7+outh2w8+b21=0.593270.50+0.59688*0.55+0.60≈1.2249