基于梯度的优化方法（一） ——梯度下降原理浅析

深度学习

（deep learning）系列笔记

优化通俗来讲其实是求函数的最大值最小值问题，而最大值问题又可以转化为求最小值问题，因此，优化往往聚焦于最小化某个函数的值。

我们借助于导数这个工具，用到函数的极限与连续的基本知识，我们可以得到，对一个足够小的 $\varepsilon$ ，下面的式子恒成立（具体分析用到数学知识）

$<$ $f$ $(x)$

（ sign(x)或者Sign(x)叫做符号函数，在数学和计算机运算中，其功能是取某个数的符号（正或负）：

当x>0，sign(x)=1;

当x=0，sign(x)=0;

当x<0， sign(x)=-1；）

因此我们受到启发，通过更改x的大小，来实现改善y目标函数的值，即梯度下降法。

简单来讲，沿着函数的下降方向移动，寻求全局最小点。

我们不可避免地会遇到的问题是，在数学上我们叫极值与最值的问题，在深度学习领域，尤其是在对目标函数进行优化时，我们往往要面对全局最小点无法实现。此时，我们采取局部最小化的办法，只要能达到一个相对较低的水平，我们也可以采用局部最小值来代替全局最小值。

在应对多维的输入时，问题会变得更加有趣。

此时的输入为一个n维向量，梯度相应的变为对向量的求导，得到的也是一个向量。我们用上文讨论的一维梯度下降中的思路，考虑方向导数，这里囿于公式编辑的问题，我直接摘录了书中的原话，我认为已经阐述的非常清晰。

其中会用到标量对多矩阵的链式求导，（这里引用某位大佬的一篇博文）

具体地址

有了这个公式，上面的推导就一目了然了。

注意我们讨论的都是在连续空间中，在离散空间中的操作成为爬山。感兴趣可以自行搜索，等我学了离散数学再来写。

基于梯度的优化方法（一） ——梯度下降原理浅析相关推荐

基于多目标优化方法的电梯零部件预防性维修期决策
电梯维护对电梯的安全可靠运行起着至关重要的作用.然而,目前电梯维修是在一些相关的规范和标准下进行的,对如何对电梯零部件进行维修期决策的研究较少.此外,电梯维护周期的不合理选择会造成成本过高,设备运行效 ...
基于贝叶斯优化方法的自动调参实现
文章目录 1. 贝叶斯优化方法 2. Python中的选择 3. 优化问题的四个部分 4. 代码演示 1. 贝叶斯优化方法 (注意是方法,是一种思想) 贝叶斯优化通过基于目标函数的过去评估结果建立替代 ...
强化学习（七） - 函数近似方法 - 随机梯度下降, 半梯度下降,及瓦片编码(Tile Coding)实例
函数近似方法 7.1 目标预测(VE‾\overline{VE}VE) 7.2 随机梯度下降和半梯度下降例7.1: 1000态随机行走的状态收敛 7.3 线性近似 7.4 线性方法的特征构造 7.4 ...
L1范数优化之近端梯度下降法
这里总结一下L1范数优化方法近端梯度下降法.由浅入深可以总结为三个层次: 第一层次:直接记住结论第二层次:知道上面的proximal mamping的如何推导出结论的分段函数介绍一下上面的prox ...
Caffe学习系列(8)：solver优化方法
Caffe学习系列(8):solver优化方法上文提到,到目前为止,caffe总共提供了六种优化方法: Stochastic Gradient Descent (type: "SGD&qu ...
04 | 函数与优化方法：模型的自我学习（上）
目录一.损失函数.代价函数和目标函数损失函数与代价函数目标函数常用损失函数 1.0-1 损失函数 2.平方损失函数 3.均方误差损失函数 4.交叉熵损失函数 5.Softmax 损失函数二. ...
神经翻译笔记2扩展b. 优化方法
文章目录 NMT Tutorial 2扩展b. 优化方法基本优化方法:梯度下降基于动量的梯度下降及其扩展动量法 Nesterov动量法自适应学习率算法 AdaGrad AdaDelta RMS ...
模型效果差？我建议你掌握这些机器学习模型的超参数优化方法
模型优化是机器学习算法实现中最困难的挑战之一.机器学习和深度学习理论的所有分支都致力于模型的优化. 机器学习中的超参数优化旨在寻找使得机器学习算法在验证数据集上表现性能最佳的超参数.超参数与一般模型参 ...
贝叶斯优化方法和应用综述
贝叶斯优化方法和应用综述各类优化算法入门优秀论文总结目录 1.摘要设计类问题在科学研究和工业领域无处不在.作为一种十分有效的全局优化算法,近年来,贝叶斯优化方法在设计类问题上被广泛应用.通过设计恰 ...

基于梯度的优化方法（一） ——梯度下降原理浅析

基于梯度的优化方法（一） ——梯度下降原理浅析相关推荐

最新文章

热门文章