导数、偏导数、方向导数和梯度的基本介绍
由于误差反向传播算法中采用梯度下降算法进行权重更新，因此需要先明白梯度是什么，而梯度的解释又要从导数讲起，因此本文先大致讲解一下导数导数、偏导数、方向导数和梯度的物理意义。
1、导数
根据我们以前的学习，导数的几何意义表示该点的切线，如果从其物理意义来看，导数表示在自变量变化趋于无穷小的时候，函数值的变化与自变量变化的比值，即变化率。
如果函数中只有一个自变量（即一元函数），那么表示只存在一个方向的变化率。
问题：如果函数具有两个自变量，那我们怎么去确定其变化率？这时候需要引入偏导数。
2、偏导数
如果函数具有两个自变量，那么其图形是空间直角坐标系Oxyz中的曲面，假设表达式如下：
对于该曲面上的任意一个点而言，存在无数个方向的变化率。如果要表示沿着坐标轴两个方向的变化率，就采用偏导数表示，具体地，如果是函数值要沿着x轴的方向的变化率，对x求偏导，此时函数在y方向不变(即将y视为常数)。如果是函数值要沿着y轴的方向的变化率，对y求偏导，此时函数在x方向不变(即将x视为常数)。下图直观展示了曲面函数（橙色）、函数在y=y0平面上的曲线函数（绿色）和函数在x=x0平面的曲线函数（蓝色）。
下面展示一下相对于y轴的求偏导的定义
函数在点（x0,y0）对x和y求偏导，如式（3）和式（4），
3、方向导数
上述除了坐标轴方向的变化率，还有很多方向的变化率，对于任意方向的变化率我们称为方向导数。
4、梯度
方向导数中取到最大值的方向就是梯度的方向，梯度的值是方向导数的最大值。因此梯度是一个矢量，其方向上的方向导数最大，其大小正好是此最大方向导数。
总结
导数：函数在曲线上某点的变化率；
偏导数：函数在x和y坐标轴方向上某点的变化率；
方向导数：函数在某点沿任意方向的变化率；
梯度：方向导数变化率最大的矢量；
更多文章，还可关注公众号“小黄有点忙”。
导数、偏导数、方向导数和梯度的基本介绍相关推荐
- 导数，方向导数与梯度的关系
最近做的东西需要用到牛顿法和拟牛顿法,前两天自己在思考导数和梯度之间的关系的的时候,发现竟然不能清晰地表述出来.所以趁此机会再次复习一下.时间有限,这个也不是重点,所以主要对知乎上的一个相同问题中大家 ...
- 导数，偏导数，方向导数，梯度
@梯度 梯度 为什么梯度是函数方向变化中最快的,梯度是矢量 为什么梯度是函数方向变化中最快的,梯度是矢量 从导数==>偏导数==>方向导数==>梯度由浅入深的分析梯度 提示:以下是本 ...
- ML: 导数、方向导数、曲率小结
新手上路,小心晕车 前言 导数.方向导数.梯度这些概念是理解神经网络算法的基础,这里做一个小结. 1.导数 导数(Derivative)是微积分中的重要基础概念,当函数y=f(x)的自变量x在一点x0 ...
- 导数，偏导数，方向导数与梯度的定义与联系
参考博客https://blog.csdn.net/baishuo8/article/details/81408369和知乎https://www.zhihu.com/question/3630136 ...
- 导数、偏导数、方向导数、梯度、梯度下降
原作者:WangBo_NLPR 原文:https://blog.csdn.net/walilk/article/details/50978864 原作者:Eric_LH 原文:https://blo ...
- （转）导数、偏导数、方向导数、梯度、梯度下降
原作者:WangBo_NLPR 原文:https://blog.csdn.net/walilk/article/details/50978864 原作者:Eric_LH 原文:https://blo ...
- 全微分/偏导数/方向导数/梯度/全导数
1.偏导数 参考 :导数.偏导数.方向导数 就是对某一变量求导,把其他变量作为常数 2.方向导数 可以认为偏导数是特殊的方向导数,是在自变量方向上的方向导数. 任意方向导数为: 3.梯度 参考: 导数 ...
- 【RL数学基础】微积分的基本概念：导数、偏导数、方向导数、梯度
文章目录 1.导数 2.偏导数 3.方向导数 4.梯度 1.导数 导数定义: 反应的是函数 y=f(x)y=f(x)y=f(x) 在某一点处沿着自变量 xxx 的正方向(即: xxx 轴正方向)的变化 ...
- (摘)导数、偏导数、方向导数、梯度、梯度下降概念和解释
前言 机器学习中的大部分问题都是优化问题,而绝大部分优化问题都可以使用梯度下降法处理,那么搞懂什么是梯度,什么是梯度下降法就非常重要!这是基础中的基础,也是必须掌握的概念! 提到梯度,就必须从导数(d ...
最新文章
- Java虚拟机规范阅读(二)IEEE754简介以及Java虚拟机中的浮点算法
- OpenLDAP / Ubuntu 18.04 下 docker 版安装
- 【MFC】带背景的工具栏
- No enclosing instance of type SmsUtils is accessible. Must qualify the allocation with an enclosing
- 此项目的默认Web访问模式设置为文件共享, 但是无法从路径(此为转贴)
- Endnote生成的中英文混排参考文献中“等”与“et al”的处理
- python接口自动化（三十五）-封装与调用--流程类接口关联（详解）
- Unity加载模块深度解析（纹理篇）
- Android系统进程间通信（IPC）机制Binder中的Client获得Server远程接口过程源代码分析(3)...
- 台达人机界面编程小技巧之合理使用偏移地址
- 合唱队形(c++DP)
- Unity2D入门（二）：图层layer和角色建立
- 浅谈Python爬虫（八）【有道词典翻译API】
- 域名解析不生效，中科三方带你定位！
- 第二篇第十一章灭火救援设施
- Class文件结构神秘的微笑（二）
- 机械硬盘（HDD）与固态硬盘（SSD）
- 2023交易猫源码跳转APP
- python中模块打补丁
- echarts 柱状图--柱体的点击事件