深度学习第三次课-梯度下降与反向传播
梯度下降
损失函数可视化
得分函数 f=W*X
损失函数 c=W*X-y
目标 损失函数最小 最优化过程
可视化
一维
二维 热力图
如果损失函数是一个凸函数，例如SVM。
凸函数 正系数加和=凸函数
神经网络 costfunction 非凸 因为系数有正有负。
凸优化与最优化
神经网络最优化方法是梯度下降。梯度下降策略有：1 随机搜索。随机生成一组权重，与之前的loss相比，小了，就是更更好的权重。
2 随机局部搜索。在现有权重的周围随机生成一组权重。选择最优权重。3 顺着梯度下滑。梯度方向是函数增长最快的方向。随意顺梯度下降，就是最快能到达最小值的方式。梯度下降是初始值敏感的，不同的初始值可能到达的最小值点不同。一般使用高斯分布的随机小值。
梯度下降
梯度下降有两种解决。数值梯度和解析梯度。数值梯度是按照导数公式 f(x0)' = (f(x0+h) - f(x0))/h ,h是一个非常小的数。数值梯度解法简单，但是计算和参数呈线性关系，计算量大。解析法：速度快，但是容易出错。利用f(x)导函数 f(x)' 计算梯度。梯度下降的实现过程中有批处理、随机梯度、min-batch梯度下降。梯度下降要理解梯度方向需要弄明白 梯度方向 三垂线 几个概念。我记录一点杂乱的东西在这里。梯度：函数增长最快的方向。梯度方向是等值曲线的法向量。是函数在某一点的变化率和变化方向。在一维函数的时候，梯度方向和
反向传播
反向转播是一个求偏导的过程。
链式法则
把 f(x,y,z)=(x+y)*z 在给定一个具体值的时候画一个网络结构图试试吧。前向计算每一步的得分。向后计算每一步的导数。
Sigmoid例子和公式推导
这个公式推导真心没推导出来。继续加油。
深度学习第三次课-梯度下降与反向传播相关推荐
- 【人工智能深度学习】人工智能中的梯度下降算法和反向传播教程
[人工智能深度学习]人工智能中的梯度下降算法和反向传播教程 梯度下降优化算法 参数化模型 用方块图表达参数模型的计算图 损失函数 梯度下降 在传统神经网络中随机梯度下降和反向传播算法的优势 随机梯度下 ...
- 深度学习（25）随机梯度下降三: 激活函数的梯度
深度学习(25)随机梯度下降三: 激活函数的梯度 1. Activation Functions 2. Deriative 3. Sigmoid/Logistic (1) Derivative (2) ...
- 深度学习（27）随机梯度下降五: 单输出感知机梯度
深度学习(27)随机梯度下降五: 单输出感知机梯度 1. Perceptrnon with Sigmoid + MSE 2. Derivative 3. 代码 Recap y=XW+by=XW+by= ...
- 深度学习笔记--pytorch从梯度下降到反向传播BP到线性回归实现，以及API调用和手写数据集的实现
梯度下降和反向传播 目标 知道什么是梯度下降 知道什么是反向传播 1. 梯度是什么? 梯度:是一个向量,导数+变化最快的方向(学习的前进方向) 回顾机器学习 收集数据 x x x ,构建机器学习模型 ...
- 深度学习（33）随机梯度下降十一: TensorBoard可视化
深度学习(33)随机梯度下降十一: TensorBoard可视化 Step1. run listener Step2. build summary Step3.1 fed scalar(监听标量) S ...
- 深度学习（32）随机梯度下降十: 手写数字识别问题（层）
深度学习(32)随机梯度下降十: 手写数字识别问题(层) 1. 数据集 2. 网络层 3. 网络模型 4. 网络训练 本节将利用前面介绍的多层全连接网络的梯度推导结果,直接利用Python循环计算每一 ...
- 深度学习（31）随机梯度下降九: Himmelblau函数优化实战
深度学习(31)随机梯度下降九: Himmelblau函数优化实战 1. Himmelblau函数 2. 函数优化实战 1. Himmelblau函数 Himmelblau函数是用来测试后话算法的常用 ...
- 深度学习（30）随机梯度下降七: 多层感知机梯度（反向传播算法）
深度学习(30)随机梯度下降八: 多层感知机梯度(反向传播算法) 1. 多层感知机模型 2. 多层感知机梯度 3. 传播规律小结 tens Recap Chain Rule Multi-output ...
- 深度学习（28）随机梯度下降六: 多输出感知机梯度
深度学习(28)随机梯度下降六: 多输出感知机梯度 1. Multi-output Perceptron 2. Derivative 3. 代码 Perceptron 单输出感知机梯度 ∂E∂wj0= ...
最新文章
- 10年，4600万台！树莓派，生日快乐
- 在leangoo 里怎么设置工作量估算，添加附件，设置截止时间？
- 果蝇玩VR登Nature，发现注意力机制、工作记忆都有，昆虫大脑原来没比哺乳类差多少...
- 关于return和exit
- ASP.NET 4 和 Visual Studio 2010 Web 开发概述
- K-means聚类算法详解
- C++(STL):06---数值的极值（numeric_limits类）
- 从Jensen不等式到Minkowski不等式
- Mac那些你不知道的 ：自带计算器的隐藏功能
- fastjson SerializerFeature 详解
- htcd816+android密码,详细的HTC Desire 816解锁教程
- 阿里云域名以及子域名解析教程
- 对lambert diffuse（兰伯特漫反射）模型的理解
- 信阳市少年计算机学校,信阳市胜利路学校开展少年之声小记者选拔活动
- 浅谈go语言交叉编译
- 过年不让放炮，我用Python实现了1000响大地红的特效
- html5页面和app的区别,H5页面与APP区别何在
- 如何在Mac上为 Apple ID 设置双重认证？
- 【ArcGIS微课1000例】0053：注记(水平、沿直线、跟随要素、牵引线、弯曲注记)的创建与编辑
- 界面布局上大胆突破，关注到的细分领域