机器学习中的微积分基础

2024-05-09 23:00:41

机器学习中的微积分基础
- 夹逼定理及重要极限
- 极限存在定理
- 导数
  - 方向导数与梯度
  - 凸函数
- 泰勒公式

机器学习中的微积分基础

夹逼定理及重要极限

当x∈U(x0,r)x\in U(x_{0},r)时，有g(x)<=f(x)<=h(x)成立，并且limx→x0g(x)=A\lim\limits_{x \to x_{0}}g(x)=A,limx→x0h(x)=A\lim\limits_{x \to x_{0}}h(x)=A,那么limx→x0f(x)=A\lim\limits_{x \to x_{0}}f(x)=A。

由夹逼定理可以推出一个重要极限：limx→0sin(x)x=1\lim\limits_{x \to 0} \frac{sin(x)}{x} = 1

极限存在定理

数列

单调有界数列必有极限

导数

简单的说，导数就是曲线的斜率。是曲线变化快慢的反应。（微商）
二阶导数是斜率变化快慢的反应，表征的是曲线的凹凸性
例如：房价变化的快慢，房价增速变慢，加速度

求导的基本公式：

例：
已知函数f(x)=xx,x>0f(x)=x^x,x>0，求f(x)的最小值。（信息熵会用到）
解：
要求最小值，可以先求该函数的驻点。即求满足f’(x) = 0 的点
要求该函数的导数，可以利用两边去对数的方法。

令 t=f(x)=xxt = f(x) = x^x
两边取对数，有 lnt=lnxx=xlnxlnt = lnx^x = xlnx
两边对x求导，有 1tt′=lnx+1\frac{1}{t}t' = lnx + 1
要求f′(x)=0f'(x) = 0，则要令t′=0t'=0，又t>0，所以必有lnx+1=0lnx+1=0
求得x=e−1x =e^{-1}
则f(x)=e−1ef(x) = e^{-\frac{1}{e}}
二次求导可知，该点为极小值点

方向导数与梯度

梯度的方向是函数在该点变化最快的方向

凸函数

泰勒公式

引用：
1: 夹逼定理
2: 导数表
3:方向导数与梯度
4:凸函数百度百科
5:凸函数好搜百科

参考：
7月算法

机器学习中的微积分基础相关推荐

机器学习中的统计学基础
一.什么是统计学是一门收集.整理和分析统计数据的方法科学其目的是探索数据内在的数据规律性,以达到对客观事物的科学认识统计学研究随机现象,以推断为特征,"由部分及全体"的思想贯 ...
机器学习中导数最优化方法(基础篇)
1. 前言熟悉机器学习的童鞋都知道,优化方法是其中一个非常重要的话题,最常见的情形就是利用目标函数的导数通过多次迭代来求解无约束最优化问题.实现简单,coding 方便,是训练模型的必备利器之一.这 ...
【机器学习算法专题（蓄力计划）】三、机器学习中的概率论基础精讲
这是统计学的基本概念,随便找本概率论基础都可以找到这些概念,看不懂的就看多几遍,重点在记住和知道应用场合,知识点之间的衔接很重要,理解为王. 文章目录 1. 随机变量分类 2. 常见的离散分布 2.1 ...
机器学习中的评价指标(分类指标评Accuracy、Precision、Recall、F1-score、ROC、AUC ）（回归指标评价MSE、RMSE、MAE、MAPE、R Squared）
文章目录 1.机器学习中的评价指标基础 (一)分类指标评价 1.Accuracy 2.Precision.查准率 3.Recall.查全率 4.F1-score 举个例子: 5.ROC 6.AUC ...
机器学习中的算法(2)-支持向量机(SVM)基础
版权声明: 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用,但请注明出处,如果有问题,请联系wheeleast@gm ...
机器学习中的算法-支持向量机(SVM)基础
机器学习中的算法-支持向量机(SVM)基础版权声明: 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用,但请注明出处 ...
机器学习中的算法：支持向量机(SVM)基础
前言: 最近一段时间看了看关于SVM(Support Vector Machine)的文章,觉得SVM是一个非常有趣,而且自成一派的方向,所以今天准备写一篇关于关于SVM的文章. 关于SVM的论文.书 ...
【机器学习基础】机器学习中类别变量的编码方法总结
机器学习 Author:louwill Machine Learning Lab 在做结构化数据训练时,类别特征是一个非常常见的变量类型.机器学习中有多种类别变量编码方式,各种编码方法都有各自的适用场 ...
机器学习中的Numpy库基础——向量、矩阵和数组
1.Numpy简介 Numpy是Python机器学习技术栈的基础. Numpy可以对机器学习中常用的数据结构--向量(vector).矩阵(matrice).张量(tensor)--进行高效的操作. ...

最新文章

热门文章