1.梯度下降

梯度下降是很常用的算法，它不仅被用在线性回归上，还被广泛应用于机器学习的众多领域。我们将使用梯度下降法最小化其他函数，而不仅仅是最小化线性回归的代价函数J

让我们通过一些图片来看看梯度下降法是如何工作的：
假设试图让这个函数值最小化

我们从θ0和θ1的某个值出发，对θ0和θ1赋以某个初值，对应于从这个函数表面上的某个点出发，不管θ0、θ1的取值是多少，将它们初始化为0，在顶部红色部分开始使用梯度下降，从这点开始，环顾四周，往下降最快的方向迈出一小步，然后环顾四周又迈出一步，依此类推。

梯度下降有一个有趣的特点，对于不同的起始点，会得到不同的局部最优解。即使起始点偏移了一点，也会得到一个完全不同的局部最优解。

以上是我们从图中得到的直观感受，现在我们来看背后的数学原理，这是梯度下降算法的定义，我们将会反复做这一步直到收敛：

我们要更新参数θj，符号“:=”表示赋值。α（称为学习效率）用来控制梯度下降时迈出多大的步子，如果α值很大，梯度下降就很迅速，如果α值很小，梯度下降就很缓慢。

2.只有一个参数的最小化函数

当θ1位于对称轴右方时：
由于一元函数的偏导数即导数，为图像的斜率，这种情况下的斜率为正数，所以θ1 = θ1 - α*正数，由于α总是一个大于零的数，所以θ1向左移使θ1变小了。

当θ1位于对称轴左方时：
这种情况下的斜率为负数，所以θ1 = θ1 - α*负数，所以θ1实际上是增加了。

吴恩达机器学习（五）梯度下降相关推荐

吴恩达机器学习笔记-梯度下降
通过前面的文章我们现在已经有了假设函数$h_\theta(x)$并知道如何度量这个函数与数据的符合程度,即代价函数$J(\theta_0,\theta_1)$取得最小值.那么现在要做的,就是如何去预估 ...
Gradient Descen-univariate（吴恩达机器学习：梯度下降在线性模型的应用）
梯度下降算法在Linear Regression中的应用文章目录梯度下降算法在Linear Regression中的应用单变量(univariate) 题目:预测利润处理Training se ...
Gradient Descen-multivariate（吴恩达机器学习：梯度下降在线性模型的应用）
梯度下降算法在Linear Regression中的应用文章目录梯度下降算法在Linear Regression中的应用多变量(multivariate) 题目:预测房价数据标准化处理Tra ...
吴恩达机器学习(五)逻辑回归练习-二分类练习
1.基础内容 (1)公式总结: (2)内容回归: 逻辑回归主要是进行二分类和多分类. 二分类中,分为线性可分和线性不可分. 对于线性回归模型,我们定义的代价函数是所有模型误差的平方和.理论上来说,我们 ...
吴恩达机器学习笔记：（四）矩阵、多元梯度下降
吴恩达机器学习笔记矩阵基础知识矩阵逆运算矩阵的转置实践乘法多元梯度下降特征缩放学习率α 矩阵基础知识矩阵逆运算矩阵的转置实践乘法多元梯度下降特征缩放学习率α 学习率的选择:
吴恩达机器学习1——单变量线性回归、梯度下降
目录吴恩达机器学习第一周一.什么是机器学习? 二.机器学习的分类 1. 监督学习 2. 非监督学习 3. 监督学习和非监督学习的举例三.单变量线性回归(**Linear Regression w ...
吴恩达机器学习（十四）推荐系统（基于梯度下降的协同过滤算法）
目录 0. 前言 1. 基于内容的推荐算法(Content-based recommendations) 2. 计算电影特征 3. 基于梯度下降的协同过滤算法(Collaborative filter ...
吴恩达机器学习MATLAB代码笔记（1）梯度下降
吴恩达机器学习MATLAB代码笔记(1)梯度下降单变量线性回归 1.标记数据点(Plotting the Date) fprintf('Plotting Data') data = load('D: ...
吴恩达机器学习之逻辑回归：逻辑回归的假说表示、判定边界、代价函数、简化的成本函数和梯度下降、高级悠哈、多类别分类之一对多（详细笔记，建议收藏，已有专栏）
吴恩达机器学习栏目清单专栏直达:https://blog.csdn.net/qq_35456045/category_9762715.html 文章目录 6.逻辑回归(Logistic Regres ...
带你少走弯路：五篇文章学完吴恩达机器学习
本文是吴恩达老师的机器学习课程[1]的笔记和代码复现部分,这门课是经典,没有之一.但是有个问题,就是内容较多,有些内容确实有点过时. 如何在最短时间学完这门课程?作为课程的主要翻译者和笔记作者,我推荐 ...

吴恩达机器学习（五）梯度下降

文章目录

1.梯度下降

2.只有一个参数的最小化函数

吴恩达机器学习（五）梯度下降相关推荐

最新文章

热门文章