梯度(Gradient vectors)

我们知道方向导数讨论的是曲面上任意一点沿着任一方向变化的速率，即方向导数是一个值；而梯度讨论的是其速率变化最快的方向，即梯度是一个向量。

∂f∂l⃗ ={∂f∂x,∂f∂y}⋅{cosα,cosβ}=gradf⋅l0→=|gradf|⋅|l0→|⋅cosθ=|gradf|⋅1⋅cosθ=|gradf|⋅cosθ

\begin{align*} \frac{\partial f}{\partial\vec{l}}&=\{\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\} \cdot\{cos\alpha,cos\beta\}\\ &=gradf\cdot\vec{l^0}\\ &=|gradf|\cdot|\vec{l^0}|\cdot cos\theta\\ &=|gradf|\cdot1\cdot cos\theta\\ &=|gradf|\cdot cos\theta \end{align*}

当θ=0即，l⃗ 与向量{∂f∂x,∂f∂y}方向相同时，方向导数取到最大值：∂f∂l⃗ =|gradf|=(∂f∂x)2+(∂f∂y)2−−−−−−−−−−−√；因此，函数沿着梯度的方向取得最大的方向导数。\text{当}\theta=0\text{即，}\vec{l}\text{与向量}\{\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\} \text{方向相同时，方向导数取到最大值：}\color{red}{\frac{\partial f}{\partial\vec{l}}=|gradf|=\sqrt{(\frac{\partial f}{\partial x})^2+(\frac{\partial f}{\partial y})^2}}\text{；因此，函数沿着梯度的方向取得最大的方向导数。}

也即：

向量{∂f∂x,∂f∂y}\{\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\}是使函数在一点增加得最快的方向，称向量{∂f∂x,∂f∂y}为函数z=f(x,y)在点(x,y)处的梯度向量，简称梯度，记做：\{\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\}\text{为函数}z=f(x,y)\text{在点}(x,y)\text{处的}\color{red}{梯度向量}，\text{简称梯度，记做：}

gradf={∂f∂x,∂f∂y}=∂f∂xi+∂f∂yj=Δf

\color{red}{gradf=\{\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\}=\frac{\partial f}{\partial x}i+\frac{\partial f}{\partial y}j=\Delta f}

梯度的几何解释（二元函数）：

函数z=f(x,y)z=f(x,y)的等值线Γ:f(x,y)=c\Gamma:f(x,y)=c如下图所示:

易知，曲线F(x,y)=0的法向量为：n⃗ ={Fx,Fy}=gradF=ΔF；令F(x,y)=f(x,y)−c所以，等值线的法向量为：n⃗ ={fx,fy}=Δf；即，等直线在任一点的法向量就是ΔfF(x,y)=0\text{的法向量为：}\vec{n}=\{F_x,F_y\}=gradF=\Delta F\text{；令}F(x,y)=f(x,y)-c\text{所以，等值线的法向量为：}\vec{n}=\{f_x,f_y\}=\Delta f；\color{red}{即，等直线在任一点的法向量就是\Delta f}

故梯度向量Δf={∂f∂x,∂f∂y}在任何点都垂直于函数的等值线\color{red}{\Delta f=\{\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\}\text{在任何点都垂直于函数的等值线}}，并且从函数值较小的等值线指向函数值较大的等值线。可以把等值线类似的看做一座山峰的俯视图（图中的30，20，10表示山峰在某处的高度），由于梯度是函数增加得最快的方向，所以沿着梯度的方向向上爬能最快的到达山顶。

梯度的几何解释（三元函数）：

三元函数u=f(x,y,z)等值面：f(x,y,z)=cu=f(x,y,z)\text{等值面：}f(x,y,z)=c（密闭空间，温度相同的面构成的等温面）

易知，曲面F(x,y,z)=0的法向量为n⃗ ={Fx,Fy,Fz}=gradF=ΔF 同理，所以等值面在点(x,y,z)处的法向量为{fx,fy,fz}=Δf\text{易知，曲面}F(x,y,z)=0\text{的法向量为}\vec{n}=\{F_x,F_y,F_z\}=gradF=\Delta F\text{ 同理，所以等值面在点}(x,y,z)\text{处的法向量为}\{f_x,f_y,f_z\}=\Delta f

故梯度向量Δf={fx,fy,fz}\Delta f=\{f_x,f_y,f_z\}在任何点都垂直于函数的等值面，并且从函数值较小的等值面，指向函数值较大的等值面。

梯度的运算律：

ΔC=0\Delta C = 0
Δ(u±v)=Δu±DeltΔv\Delta(u\pm v)=\Delta u\pm Delt\Delta v
Δ(ku)=kΔu\Delta(ku)=k\Delta u
Δ(uv)=vΔu+uΔv\Delta(uv)=v\Delta u+u\Delta v
Δ(uv)=vΔu−uΔvv2\Delta(\frac{u}{v})=\frac{v\Delta u-u\Delta v}{v_2}

Δ(f(u))=f′(u)Δu梯度的链式法则\color{red}{\Delta(f(u))=f\prime(u)\Delta u\text{梯度的链式法则}}

本内容整理自徐小湛老师《高等数学》视频（链接戳此处）

梯度(Gradient vectors)相关推荐

机器学习中的梯度下降（ Gradient Descent）算法
前言梯度下降(Gradient Descent,GD)算法主要分为三种:批量梯度下降(Batch Gradient Descent,BGD)算法.随机梯度下降(Stochastic Gradient ...
MATLAB—离散一元、二元、多元函数求导求梯度（二维、三维、多维空间）(diff和gradient)
(离散)一元函数求导-二维已知同维度的x和y序列,则可使用diff(y)./diff(x)来估算.设x为n维向量,Dx=diff(x),计算向量x的向前差分,DX(i)=X(i+1)-X(i),0& ...
matlab 梯度什么意思,浅谈Matlab中的梯度（gradient）
浅谈Matlab中的梯度(gradient) 发布时间:2018-05-01 22:22, 浏览次数:461 , 标签: Matlab gradient 梯度(gradient)是函数在改点变化最大的 ...
机器学习基础--梯度下降（Gradient Descent）
Gradient Descent Review 前面预测宝可梦cp值的例子里,已经初步介绍了Gradient Descent的用法: In step 3, we have to solve the ...
梯度下降（Gradient Descent）数学原理分析与实例
梯度下降(Gradient Descent)数学原理分析与实例本文循序渐进描述梯度下降算法,从导数的几何意义开始聊起,如果熟悉微积分可以跳过,主要内容如下: 一. 导数的几何意义二. 偏导数三. ...
python中tensor与variable_NLP实战篇之tf2中tensor、variable、gradient、ops
本文是基于tensorflow2.2.0版本,介绍了tf中变量.张量的概念,tf中梯度的计算方式和tensor相关的操作. 实战系列篇章中主要会分享,解决实际问题时的过程.遇到的问题或者使用的工具等等 ...
梯度、梯度下降，随机梯度下降
一.梯度gradient http://zh.wikipedia.org/wiki/%E6%A2%AF%E5%BA%A6 在标量场f中的一点处存在一个矢量G,该矢量方向为f在该点处变化率最大的方向,其 ...
python梯度下降法实现线性回归_梯度下降法的python代码实现（多元线性回归）
梯度下降法的python代码实现(多元线性回归最小化损失函数) 1.梯度下降法主要用来最小化损失函数,是一种比较常用的最优化方法,其具体包含了以下两种不同的方式:批量梯度下降法(沿着梯度变化最快的方向 ...
【机器学习】集成学习之梯度提升树GBDT
Boosting方法的核心思想是对错分类的样本给予更高关注度,也就是样本权重,在提升树中与之对应的就是残差,在梯度提升树中就是梯度了. Regression Decision Tree:回归树回归树 ...

梯度(Gradient vectors)

梯度(Gradient vectors)相关推荐

最新文章

热门文章