反向传播与它的直观理解

为了感谢大神，我是跪在电脑前fork的。

问题描述与动机：

大家都知道的，其实我们就是在给定的图像像素向量x和对应的函数f(x)，然后我们希望能够计算f在x上的梯度(∇f(x))
我们之所以想解决这个问题，是因为在神经网络中，f对应损失函数L，而输入x则对应训练样本数据和神经网络的权重W。举一个特例，损失函数可以是SVM loss function，而输入则对应样本数据(xi,yi),i=1…N和权重W以及偏移项b。需要注意的一点是，在我们的场景下，通常我们认为训练数据是给定的，而权重是我们可以控制的变量。因此我们为了更新权重的等参数，使得损失函数值最小，我们通常是计算f对参数W,b的梯度。不过我们计算其在xi上的梯度有时候也是有用的，比如如果我们想做可视化以及了解神经网络在『做什么』的时候。

直观地理解，反向传播可以看做图解求导的链式法则。

最后我们用一组图来说明实际优化过程中的正向传播与反向残差传播：

如果帮到你了，请赞赏支持：

反向传播与它的直观理解相关推荐

【Stanford CNN课程笔记】4. 反向传播算法
本课程笔记是基于今年斯坦福大学Feifei Li, Andrej Karpathy & Justin Johnson联合开设的Convolutional Neural Networks for ...
深度学习与计算机视觉教程(4) | 神经网络与反向传播（CV通关指南·完结）
作者:韩信子@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/37 本文地址:https://www.showmeai.tech/article-d ...
深度学习---反向传播算法
装载原文:https://www.cnblogs.com/yeluzi/p/7418291.html 一. 一种基于矩阵运算快速计算神经网络输出的方法在介绍反向传播之前,先介绍怎么利用矩阵运算快速的 ...
为什么「反向传播」一定要在生物学上有对应？
选自Eric Jang博客作者: Eric Jang 机器之心编译编辑:魔王.张倩在这篇文章中,谷歌 Robotics 研究科学家 Eric Jang 对生物学可信深度学习(BPDL)研究提出了 ...
用反向传播算法解释大脑学习过程？Hinton 等人新研究登上 Nature 子刊
机器之心报道魔王.Jamin.杜伟反向传播可以解释大脑学习吗?近日 Hinton 等人的研究认为,尽管大脑可能未实现字面形式的反向传播,但是反向传播的部分特征与理解大脑中的学习具备很强的关联性.该 ...
【深度学习入门到精通系列】关于梯度下降和反向传播的探索
文章目录 1 简单理解梯度下降 2 梯度下降作用 3 反向传播 4 图示 1 简单理解梯度下降梯度下降它是一个函数f(x)找它的最小值x0所在的那个点. 2 梯度下降作用总之一句话概括就是,梯度下 ...
反向传播算法最全解读，机器学习进阶必看！
如果对人工智能稍有了解的小伙伴们,或多或少都听过反向传播算法这个名词,但实际上BP到底是什么?它有着怎样的魅力与优势?本文发布于 offconvex.org,作者 Sanjeev Arora与 Ten ...
反向传播算法及其实现
理清反向传播算法 ---背景 ---定义全连接网络 ---前向运算 ---链式求导 ---反向传播算法代码一(较粗糙,代码二会改进),预测sin(x)曲线代码二:添加Batch训练,替换激活函数 ...

反向传播与它的直观理解

反向传播与它的直观理解相关推荐

最新文章

热门文章