Backpropagation 反向传播算法

当我们搭建好一个神经网络后，我们的目标都是：将网络的权值和偏置训练为一个好的值，这个值可以让我们的输入得到理想的输出。
我们经常使用梯度下降算法（Gradient Descent）来最小化损失函数，得到最好网络参数。当网络中参数较多时，为了高效的计算gradient，我们使用Backpropagation。
Forward pass，在前向传播中，我们可以得到每个神经元的输出z，以及z关于该层参数w的偏微分，因此我们可以很简单的计算出这一部分内容；
Backward pass，在反向传播中，根据chain rule，又可以将拆分为两项，其中的求导很简单，就是关于a的偏导。而又可以根据链式法则，拆分为多项，（由于neural数量不同拆分的数量不同，例中为了方面仅演示两项）。可以发现拆分后和两项就等于w，容易计算，这样就将问题转变为了计算后一层中的和。

这里我们可以用一个新的，反向的neural来尝试理解。

CASE1：Output Layer，如果后一层的Z'和Z''直接连接输出的话，可以按照下面求解:

CASE2：Not Output Layer，如果后一层的Z'和Z''不是直接连接输出，后面还有隐藏层，需要继续迭代计算，可以按照下面求解:

SUMMARY：最后将前向和后项计算结果组合，就可得到我们要求的。

Backpropagation 反向传播算法相关推荐

【机器学习】详解 BackPropagation 反向传播算法！
首先介绍一下链式法则假如我们要求z对x1的偏导数,那么势必得先求z对t1的偏导数,这就是链式法则,一环扣一环 BackPropagation(BP)正是基于链式法则的,接下来用简单的前向传播网络为例 ...
反向传播算法 Backpropagation Algorithm
假设我们有一个固定样本集,它包含个样例.我们可以用批量梯度下降法来求解神经网络.具体来讲,对于单个样例(x,y),其代价函数为:这是一个(二分之一的)方差代价函数.给定一个包含个样例的数据集,我们 ...
【反向传播算法 Back-Propagation 数学推导以及源码详解深度学习 Pytorch笔记 B站刘二大人（3/10）】
反向传播算法 Back-Propagation 数学推导以及源码详解深度学习 Pytorch笔记 B站刘二大人(3/10) 数学推导 BP算法 BP神经网络可以说机器学习的最基础网络.对于普通的简单 ...
（一）反向传播算法理解（Back-Propagation）
本文参考deeplearningbook.org一书第六章 6.5 Back-Propagation and Other Diﬀerentiation Algorithms 反向传播算法分为两篇来讲 ...
神经网络(NN)+反向传播算法（Backpropagation/BP）+交叉熵+softmax原理分析
神经网络如何利用反向传播算法进行参数更新,加入交叉熵和softmax又会如何变化? 其中的数学原理分析:请点击这里. 转载于:https://www.cnblogs.com/code-wangjun/ ...
反向传播算法_9.3 反向传播算法的直观理解 Backpropagation Intuition
在上一节中,我们介绍了反向传播算法,对很多人来说,当第一次看到这种算法时,第一印象通常是,这个算法需要那么多繁杂的步骤,简直是太复杂了,实在不知道这些步骤,到底应该如何合在一起使用.就好像一个黑箱,里 ...
对反向传播算法（Back-Propagation）的推导与一点理解
最近在对卷积神经网络(CNN)进行学习的过程中,发现自己之前对反向传播算法的理解不够透彻,所以今天专门写篇博客记录一下反向传播算法的推导过程,算是一份备忘录吧,有需要的朋友也可以看一下这篇文章,写的挺 ...
脱离公式谈谈对反向传播算法的理解
机器学习的训练过程可看作是最优化问题的求解过程. 根据原理对于函数f(x),如果f(x)在点xt附近是连续可微的,那么f(x)下降最快的方向是f(x)在xt点的梯度的反方向得到最简单最常用的优化算 ...
用反向传播算法解释大脑学习过程？Hinton 等人新研究登上 Nature 子刊
机器之心报道魔王.Jamin.杜伟反向传播可以解释大脑学习吗?近日 Hinton 等人的研究认为,尽管大脑可能未实现字面形式的反向传播,但是反向传播的部分特征与理解大脑中的学习具备很强的关联性.该 ...

Backpropagation 反向传播算法

Backpropagation 反向传播算法相关推荐

最新文章

热门文章