1 梯度下降介绍

我们首先随机一个点，然后沿着梯度方向的反方向寻找最低点

迭代多次，直到找到局部最优（也有可能是全局最优）【线性回归问题里面，局部最优就是全局最优了】

多个参数同理，分别进行梯度下降

2.1 梯度与Hessian矩阵

梯度为0的时候，不一定是local minimum。他还可能是local maxinum 和鞍点，那么，怎么判断是不是local minimum呢？

我们类比一元二次方程a的正负和上下开口的问题，考虑二阶导（hessian矩阵）

local min	hessian矩阵半正定
local max	hessian矩阵半负定
鞍点	hessian矩阵既不半正定也不半负定

2 梯度下降可能存在的问题

我们可能会找到鞍点，可能会找到局部最优，而且从不同位置出发，可能最终梯度下降的结果会有很大的区别

3 梯度下降小tips

3.1 合理调整学习率

pytorch笔记：调整学习率（torch.optim.lr_scheduler）_UQI-LIUWJ的博客-CSDN博客

3.2 特征缩放

当我们面对多维度特征问题的时候，我们需要保证这些特征都有相近的尺度，这样会帮助梯度下降更快地收敛。

以上图为例，图像非常扁平，梯度下降算法需要非常多次的迭代才能够收敛

为了更快地收敛，我们将所有特征的尺度放缩到-1~1之间：

4 梯度下降原理

4.1 泰勒级数

我们可以用这种方式来近似函数f(x)

用求和的方式来写，有：

4.1.1 用于函数近似的泰勒级数

换言之，泰勒级数越靠后的项，越小。

因此，出于近似考虑，我们可以只考虑最初的两项：

4.1.2 多变量的泰勒近似

4.2 梯度下降的理论，

||v||是一样的，所以我们的目标就是找的最小值

可以看成是向量和向量v的内积。那么什么时候内积的结果最小呢？就是

v=的时候

机器学习笔记：梯度下降相关推荐

吴恩达机器学习笔记-梯度下降
通过前面的文章我们现在已经有了假设函数$h_\theta(x)$并知道如何度量这个函数与数据的符合程度,即代价函数$J(\theta_0,\theta_1)$取得最小值.那么现在要做的,就是如何去预估 ...
《机器学习》梯度下降
<机器学习> 梯度下降 2012-09-21 17:46 2712人阅读评论(0) 收藏举报 matrixc 参照<机器学习>这本书的第4.4.3节. 一.解决目标及 ...
【机器学习】梯度下降的Python实现
作者 | Vagif Aliyev 编译 | VK 来源 | Towards Data Science 梯度下降是数据科学的基础,无论是深度学习还是机器学习.对梯度下降原理的深入了解一定会对你今后的工 ...
唐宇迪机器学习实战——梯度下降求解逻辑回归（理论基础+源代码实现）
问题的提出符号问题,这里的lg就是指log2,你的理解是正确的!在计算机科学中有些符号的使用跟我们在数学中使用的有区别.比如有时候log用来表示自然对数(以e为底数).希望对你有帮助! 首先计算机科 ...
机器学习中梯度下降法和牛顿法的比较
在机器学习的优化问题中,梯度下降法和牛顿法是常用的两种凸函数求极值的方法,他们都是为了求得目标函数的近似解.在逻辑斯蒂回归模型的参数求解中,一般用改良的梯度下降法,也可以用牛顿法.由于两种方法有些相似 ...
人工智障学习笔记——梯度下降(1)基础变种
一.概念梯度下降法(gradient descent)是一个最优化算法,常用于机器学习和人工智能当中用来递归性地逼近最小偏差模型.梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以 ...
机器学习中为什么需要梯度下降_机器学习 —— 多元梯度下降
一.多维特征前面所述的房价预测的线性模型,只用到了一维特征,即size,房屋尺寸,要用这个特征量来预测房屋价格: 当数据集的信息不止一种时,便有了多维特征,比如: 上图有四个X,即四个特征,来预测房 ...
【机器学习】梯度下降 (python代码）
梯度下降 (python代码) 文章介绍 1.前提 2.代码实现文章介绍文章配图来自网络个人学习笔记,推荐直接买课去学习得懂python,本文代码可直接跑,环境基于[ PyCharm 2022 ...
几种优化算法的读书笔记——梯度下降、牛顿法、拟牛顿法、随机梯度下降、AdaGrad、RMSProp、Adam及选择优化算法的建议
文章目录 1 梯度下降 1.1 特点 1.2 思想 1.3 数学基础 1.4 具体算法 2 牛顿法和拟牛顿法 2.1 特点 2.2 牛顿法 2.2.1 数学基础 2.2.2 思想 2.2.3 具体算法 ...
Gradient Descen-univariate（吴恩达机器学习：梯度下降在线性模型的应用）
梯度下降算法在Linear Regression中的应用文章目录梯度下降算法在Linear Regression中的应用单变量(univariate) 题目:预测利润处理Training se ...

机器学习笔记：梯度下降