随机梯度下降算法原理

2024-05-15 03:48:15

目录

1.算法目标

2.算法描述

3.算法推导

4.注意

1.算法目标

逐渐逼近损失函数 loss 的极小值，简单抽象为求函数 $f(x)$ 的极小值。

2.算法描述

每次取一个增量 $\delta \vec{x}$ ，使得 $f(\vec{x} + \delta \vec{x}) - f(\vec{x}) \leq 0$ ，每次向函数值更小的地方前进一小步，多次迭代就能做到逐渐逼近函数 $f(x)$ 的极小值。

3.算法推导

展开 $f(\vec{x} + \delta \vec{x})$ 得到公式 $f(\vec{x} + \delta \vec{x}) \approx f(\vec{x}) + \triangledown f(x)\cdot \delta \vec{x} + H \cdot \delta \vec{x}\cdot \delta \vec{x}$ 。

其中H为海森矩阵，暂且不考虑。为使 $f(\vec{x} + \delta \vec{x}) - f(\vec{x}) = \triangledown f(x)\cdot \delta \vec{x} \leq 0$ 成立，只需要保证 $\triangledown f(x)\cdot \delta \vec{x} \leq 0$ 。

即，当 $\delta \vec{x} = -\eta \cdot \bigtriangledown f(\vec{x})$ 时， $\triangledown f(x)\cdot \delta \vec{x} = -\eta \cdot \triangledown f(x)^{2} \leq 0$ ，如此即可保证每次更新在逐渐逼近函数的极小值。其中 $\eta$ 为学习率是一个较小的正数。

每次更新时做 $x = x -\eta \cdot \bigtriangledown f(\vec{x})$ 操作，求得 $f(x)$ 的最小值。

4.注意

上述过程是在逼近极小值，不一定是函数的最小值。

$x = x -\eta \cdot \bigtriangledown f(\vec{x})$ 是一种下降趋势，整个循环步骤中函数值 $f(x)$ 在下降，并非每个小步骤得到的函数值都比前一次要小。

随机梯度下降算法原理相关推荐

随机梯度下降算法入门介绍（最通俗易懂）
文章目录 1.什么是梯度 2.什么是梯度下降算法 3.什么是随机梯度下降算法 1.什么是梯度首先给出高数课程中梯度的定义: 如果对上面的定义没有理解也没有关系,用通俗的语言来说,梯度实际上就是一个向 ...
梯度下降：全梯度下降算法(FG)、随机梯度下降算法(SG)、小批量梯度下降算法(mini-batch)、随机平均梯度下降算法(SAG)。梯度下降法算法比较和进一步优化。
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) 2.2 梯度下降(Gradient Descent) 2.2. ...
【机器学习】梯度下降算法原理和实现
梯度下降是许多机器学习模型中都会直接或间接使用的算法. 什么是梯度以二元函数为例,假设其中每个变量都具有连续的一阶偏导数和 ,则这两个偏导数构成向量:,即为该二元函数的梯度向量,一般记作.根据这个 ...
梯度下降算法原理及其计算过程
1.写在前面还记得以前刚开始学习AI的时候,遇到了梯度下降算法,一直对很多概念搞不清楚,包括后来很长的一段时间也不是很明白梯度下降的实现原理,看了很多博客文章都是一知半解,总是有很多疑惑不能搞清楚, ...
监督学习——随机梯度下降算法（sgd）和批梯度下降算法（bgd）
线性回归首先要明白什么是回归.回归的目的是通过几个已知数据来预测另一个数值型数据的目标值. 假设特征和结果满足线性关系,即满足一个计算公式h(x),这个公式的自变量就是已知的数据x,函数值h(x)就 ...
机器学习-梯度下降算法原理及公式推导
目录 1.梯度下降直观理解解释 2.算法上的解释 3.常用的梯度下降法 4.梯度下降算法调优 5.其他优化算法对比在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降算法(Gradient D ...
python sklearn 梯度下降法_科学网—Python_机器学习_总结4：随机梯度下降算法 - 李军的博文...
=============================================================== 总结如下: 1.随机梯度下降算法可以看成是梯度下降算法的近似,但通常它能 ...
tensorflow随机梯度下降算法使用滑动平均模型
在采用随机梯度下降算法训练神经网络时,使用滑动平均模型可以提高最终模型在测试集数据上的表现.在Tensflow中提供了tf.train.ExponentialMovingAverage来实现滑动平均模 ...
【深度学习】梯度下降算法和随机梯度下降算法
导语梯度是神经网络中最为核心的概念,在介绍梯度之前我们要先知道数学中的导数以及偏微分的理论概念.导数这里套用维基百科上的介绍,导数描述了函数在某一点附件的变化率,导数的本质是通过极限对函数进行局部 ...

最新文章

热门文章