很多机器学习的训练算法都是利用梯度下降，朝着梯度的反方向变动，函数值下降最快。

导数

导数可以表示函数曲线上的切线斜率。除了切线的斜率，导数还表示函数在该点的变化率。

导数代表了在自变量变化趋于无穷小的时候，函数值的变化与自变量变化的比值代表了导数，几何意义有该点的切线。物理意义有该时刻的（瞬时）变化率。

在一元函数中，只有一个自变量变动，也就是说只存在一个方向的变化率，这也就是为什么一元函数没有偏导数的原因。

偏导数

偏导数至少涉及到两个自变量，以两个自变量为例，z=f(x,y) . 从导数到偏导数，也就是从曲线来到了曲面. 曲线上的一点，其切线只有一条。但是曲面的一点，切线有无数条。

偏导数是指的是多元函数沿坐标轴的变化率。

$f_{x} (x,y)$ 指的是函数在y方向不变，函数值沿着x轴方向的变化率

$f_{y} (x,y)$ 指的是函数在x方向不变，函数值沿着y轴方向的变化率

偏导数 $f_{x} (x_{0},y_{0} )$ 就是曲面被平面 $y=y_{0}$ 所截得的曲面在点 $M_{0}$ 处的切线 $M_{0}T_{x}$ 对x轴的斜率
偏导数 $f_{y} (x_{0},y_{0} )$ 就是曲面被平面 $x=x_{0}$ 所截得的曲面在点 $M_{0}$ 处的切线 $M_{0}T_{y}$ 对y轴的斜率

偏导数指的是多元函数沿坐标轴的变化率，但是我们往往很多时候要考虑多元函数沿任意方向的变化率，那么就引出了方向导数.

方向导数

设 $f(x,y)$ 为一个二元函数， $u =cos\theta i+sin\theta j$ 为一个单位向量，如果下列的极限值存在

$\lim_{t \rightarrow 0}{\frac{f(x_{0}+tcos\theta ,y_{0}+tsin\theta )-f(x_{0},y_{0})}{t} }$ 此方向导数记为 $D_{u}f$

则称这个极限值是 $f$ 沿着 $u$ 方向的方向导数，那么随着 $\theta$ 的不同，我们可以求出任意方向的方向导数.

简化计算如下：

设 $A=(f_{x}(x,y) ,f_{y}(x,y))$ , $I=(cos\theta ,sin\theta )$

那么我们可以得到：

$D_{u}f(x,y)=A\bullet I=\left| A \right| *\left| I \right| cos\alpha$ ( $\alpha$ 为向量 $A$ 与向量 $I$ 之间的夹角)

那么此时如果 $D_{u}f(x,y)$ 要取得最大值，也就是当 $\alpha$ 为0度的时候，也就是向量 $I$ （这个方向是一直在变，在寻找一个函数变化最快的方向）与向量 $A$ （这个方向当点固定下来的时候，它就是固定的）平行的时候，方向导数最大.方向导数最大，也就是单位步伐，函数值朝这个反向变化最快.

函数值下降最快的方向就是和 $A$ 向量相同的方向.那么此时我把A向量命名为梯度（当一个点确定后，梯度方向是确定的），也就是说明了为什么梯度方向是函数变化率最大的方向了！！！

参考：

[1] https://zhuanlan.zhihu.com/p/24913912

梯度反方向是函数值局部下降最快的方向相关推荐

函数的梯度方向和切线方向_为什么梯度反方向是函数值局部下降最快的方向？...
刚接触梯度下降这个概念的时候,是在学习机器学习算法的时候,很多训练算法用的就是梯度下降,然后资料和老师们也说朝着梯度的反方向变动,函数值下降最快,但是究其原因的时候,很多人都表达不清楚.所以我整理出自 ...
【直观理解】为什么梯度的负方向是局部下降最快的方向？
推荐阅读时间:8min~15min 主要内容: 为什么梯度的负方向是局部下降最快的方向? 刚接触梯度下降这个概念的时候,是在学习机器学习算法的时候,很多训练算法用的就是梯度下降,然后资料和老师们也说朝 ...
为什么局部下降最快的方向就是梯度的负方向？
红色石头的个人网站:redstonewill.com 什么是梯度? 对于梯度下降算法(Gradient Descent Algorithm),我们都已经很熟悉了.无论是在线性回归(Linear Reg ...
[深度学习]为什么梯度反方向是函数值下降最快的方向？
为什么梯度反方向是函数值下降最快的方向 1. 版本一用泰勒公式展开式解释 1.1. 什么是梯度? 1.2 梯度下降算法 1.3 一阶泰勒展开式 1.4 梯度下降数学原理 1.5总结 2.版本二用方向导 ...
为什么梯度反方向是函数值下降最快的方向？
提到梯度反方向,就不得不提到梯度提到梯度,就不得不提到方向导数提到方向导数,就不得不提到偏导数提到偏导数,就不得不提到导数其实上面的话,看似累赘且啰嗦,但是如果想真正理解提到方向的学习路线.对 ...
为什么梯度反方向是函数下降最快的方向
转载自为什么梯度反方向是函数下降最快的方向为什么梯度反方向是函数下降最快的方向? 刚接触梯度下降这个概念的时候,是在学习机器学习算法的时候,很多训练算法用的就是梯度下降,然后资料和老师们也说朝着 ...
梯度下降法中为什么梯度的反方向是函数下降最快的方向？
梯度下降法中为什么梯度的反方向是函数下降最快的方向? 梯度是个向量,函数沿梯度方向具有最大的变化率.是因为函数在这个方向具有最大的变化率,所以冠以梯度这一概念,所以要搞清楚的是,怎么在无数个方向导数中 ...
为什么说梯度的反方向是函数下降最快的方向
梯度在机器学习和深度学习中是一个高频词汇,弄懂梯度的概念对梯度下降,反向传播的理解有很大帮助.这里我根据个人理解,对梯度的反方向是函数下降最快的方向这一观点进行解释.限于作者水平,难免有错误之 ...
梯度的负方向是损失函数下降最快的方向
<为什么梯度的负方向是损失函数下降最快的方向> 之前从来没有考虑过这个问题如何证明,因为函数某点处的梯度作为一个向量它自身就是指向着某点处变化最大的方向的,所以梯度的负方向肯定是下降最 ...

梯度反方向是函数值局部下降最快的方向

导数

偏导数

方向导数

梯度反方向是函数值局部下降最快的方向相关推荐

最新文章

热门文章