Backpropagation(反向传播经典解析)
文章目录
- A Question？
- Backpropagation
A Question？
我们用之前的梯度下降去找最佳的θ显然在神经网络里很麻烦，参数太多了，为了更有效率的计算梯度，我们使用反向传播。
下面是链式法则，高数下册的东西：
Backpropagation
我们先看三角型框住的部分：
如下图，损失函数对w求偏导，可以根据链式法则换成下述形式，z对w求偏导被称为正向传递，损失函数对z求偏导被称为反向传递
先来看看正向传递，我们发现，z对权重w求偏导，结果就是input。
下面是个例子，应该很容易看懂吧？z对w求偏导的值就是它的input。
现在我们来计算损失函数对激活函数的偏导。我们设a=σ(z),那么损失函数l对z求偏导，可根据链式法则转化成下述模样。而a对z求偏导我们在之前的博客中算过，所以是能算的。
这时我们要求损失函数l对a的偏导，那么如下图所示，回顾本博客第二章图片的第二种链式法则，我们可以得到如下结果：因为z’=aw3+…,所以z’对a求偏导就是w3，以此类推。
经过上述推理，损失函数对z求偏导就变成了如下形式：这时还有两个未知的量，就是上图那两个红色问号。
σ‘(z)是一个常量，因为z在正向传递时已经确定。这时看下图，我们只要知道L对z’求偏导和L对z’‘求偏导的值，就可以得到L对z求偏导。
假设该完整的神经网络就像下图一样粉色神经元就是output layer，L对z’求偏导和L对z’'求偏导可很容易得出。
如果粉色神经元不是output layer，我们接着往下看：
下图描绘了整个反向传播过程，我们从output layer往前算。
看下图，从output layer往反向进行传播，就可以得出最终的L对z的偏导。
然后将Forward pass与Backward pass相乘，就得到最终的L对w求偏导。
Backpropagation(反向传播经典解析)相关推荐
- 【机器学习】详解 BackPropagation 反向传播算法！
首先介绍一下链式法则 假如我们要求z对x1的偏导数,那么势必得先求z对t1的偏导数,这就是链式法则,一环扣一环 BackPropagation(BP)正是基于链式法则的,接下来用简单的前向传播网络为例 ...
- Backpropagation 反向传播算法
当我们搭建好一个神经网络后,我们的目标都是:将网络的权值和偏置训练为一个好的值,这个值可以让我们的输入得到理想的输出. 我们经常使用梯度下降算法(Gradient Descent)来最小化损失函数,得 ...
- 【李宏毅机器学习】backpropagation 反向传播（p13） 学习笔记
李宏毅机器学习学习笔记汇总 课程链接 文章目录 Gradient Descent Chain Rule链式法则 前向传播 反向传播 情况一:红色的neural是属于网络的output layer的 情 ...
- 反向算法_10分钟带你了解神经网络基础：反向传播算法详解
作者:Great Learning Team deephub.ai 翻译组 1.神经网络 2.什么是反向传播? 3.反向传播是如何工作的? 4.损失函数 5.为什么我们需要反向传播? 6.前馈网络 7 ...
- 吴恩达机器学习作业Python实现(四)：神经网络(反向传播)
吴恩达机器学习系列作业目录 1 Neural Networks 神经网络 在这个练习中,你将实现反向传播算法来学习神经网络的参数.依旧是上次预测手写数数字的例子. 1.1 Visualizing th ...
- 【论文精读】时序逻辑推理之反向传播参数学习 Backpropagation for Parametric STL
前言:借这里汇报一下毕业论文的进度,结构学习部分的论文和代码已经完成98%,现在回头搞参数学习发现现在掌握的方法都不能很好地契合毕设的整体结构.因此现在飞速地多看几篇,争取本周完工. 主要参考文献: ...
- 神经网络三：浅析神经网络backpropagation算法中的代价函数和神经网络的反向传播原理、和ResNet网络的捷径链接误差传播计算
在博客神经网络一:介绍,示例,代码中,Backpropagation Algorithm中用到了代价函数:该代价函数是否是最好的?其有没有自身的局限性?还有其他的代价函数吗,有何特点?本文将针对这些问 ...
- 深度学习：反向传播（back-propagation）
反向传播(back-propagation) 首先我们处理神经网络是是整层整层的处理,编码的时候就是这么处理的,也就是处理的对象是矩阵. 向量的处理方式,只是帮助理解概念. 定义一个仅由当前层数据和下 ...
- 一文弄懂神经网络中的反向传播法——BackPropagation【转】
本文转载自:https://www.cnblogs.com/charlotte77/p/5629865.html 一文弄懂神经网络中的反向传播法--BackPropagation 最近在看深度学习的东 ...
最新文章
- ASP.NET2.0中的ClientScriptManager 类用法—如何添加客户端事件！
- 20141203图片Base64编码与解码
- mysql 5.7直接安装版,mysql5.7怎么安装 mysql 5.7安装图文教程
- 计算机网络-基本概念（10）【传输层】TCP运输连接管理
- JavaFX 中使用多线程与保证 UI 线程安全
- linux 火狐无法执行二进制文件_尝试在Linux上运行Shell脚本时“无法执行二进制文件”...
- python 跳一跳辅助_微信跳一跳辅助自动跳Python
- 如约而至，Java 10 正式发布：包含 109 项新特性
- android studio gradle 更新方法。
- CocoStudio工具集开发入门之UI编辑器教程
- 小猿日记（9） - 今天，我又拒绝了阿里的一次机会
- java pgm_(转) PGM图像处理方法详解（很好一篇）
- justinmind导出html,Justinmind Prototyper(原型创建软件)官方版
- 计算机网络之IP协议与以太网
- Tiny Heroes：道高一尺，魔高一丈
- git 申请合并冲突：rebase 解决合成一条再合并
- 计算机基础知识1000题,计算机基础知识题库1000道,这一千道题比较好.doc
- Mockplus原型交互跟我做之5 - 使用内容面板快速切换内容
- 如切如磋,如琢如磨 - 南怀瑾
- 2021年化工自动化控制仪表作业考试题库及化工自动化控制仪表操作证考试