04.多元梯度下降算法

一、多元梯度下降算法

通常情况下我们要解决的问题会涉及到多个变量，例如房屋价格预测应该考虑面积、房间个数、楼层、价格等多个因素，这时就需要使用多元线性回归的假设函数和多元梯度下降算法

1.1 相关表示的含义

以房屋价格预测为例来展开介绍，假设房屋的价格与房屋的面积、卧室数量和房屋年龄有关

用 n 代表特征数量，m 代表样本数量，变量 x 此时也变为三个，即 x1 （代表面积），x2（代表卧室数量），x3（代表房屋年龄）。
定义 x(i) 代表第 i 个样本的所有特征值。例如 x(2) = [1416, 3, 2, 40, 232]
定义 xj(i) 代表第 i 个样本中第 j 个特征量。例如 x3(2) = 2

1.2 多元线性回归的假设函数

假设函数就不再只包含一个变量，为了统一可以对常量引入变量x0=1
通常都是把所有的 θ 和 x 看出一个向量来进行处理

1.3 多元线性回归的代价函数

1.4 多元线性回归的梯度下降算法

上图左边为单梯度，右边为多元梯度
虽然参数的个数增多，但是对每个参数求偏导时和单个参数类似。

二、特征缩放

2.1 特征缩放的引入原因

多个变量的度量不同，数字之间相差的大小也不同，如果可以将所有的特征变量缩放到大致相同范围，这样会减少梯度算法的迭代。
当特征范围相差太大时，会一直来回振荡，梯度下降效率会很低
特征缩放把每个变量范围落到[-1，1]之间是比较好的，但不一定非要落到[-1，1]之间，只要数据足够接近就可以。

2.2 特征缩放的公式

主要：上图的标准差也可以直接用变量的范围（max - min）来表示
缩放的具体实现例子：

2.3 特征缩放后参数θ的还原方法

经过线性回归得到的参数θ’，对应着缩放后的数据，要得到缩放前的参数θ的方法

三、学习率

学习率α的大小会影响梯度算法的执行，太大可能会导致算法不收敛，太小会增加迭代的次数。

3.1 学习率选择是否合适的方法

可以画出每次迭代的代价函数J(θ)的变化，来判断当前算法执行的情况，然后选择合适的学习率。（调参开始…）
- 上图横坐标表示：梯度下降算法的迭代次数
- 若图中的曲线接近平缓，J(θ)的值几乎没有下降的趋势了，则表示J(θ)差不多收敛了，可以不用继续迭代了

3.2 合适的学习率的选择

尝试选取不同的α ：… 0.001,0.003,0.01,0.03,0.1,0.3,1,…
以3为倍速找到一个最快速下降的 α ，以该最大值或比该最大值略小的值作为 α

04.多元梯度下降算法相关推荐

简单多元线性回归（梯度下降算法与矩阵法）
from:https://www.cnblogs.com/shibalang/p/4859645.html 多元线性回归是最简单的机器学习模型,通过给定的训练数据集,拟合出一个线性模型,进而对新数据做 ...
python多元线性回归代码_Python实现梯度下降算法求多元线性回归(一)
预备知识及相关文档博客学习吴恩达机器学习课程笔记,并用python实现算法 python numpy基本教程: numpy相关教程数据来自于UCI的机器学习数据库: UCI的机器学习数据库 pyt ...
基于jupyter notebook的python编程-----利用梯度下降算法求解多元线性回归方程，并与最小二乘法求解进行精度对比
基于jupyter notebook的python编程-----利用梯度下降算法求解多元线性回归方程,并与最小二乘法求解进行精度对比目录一.梯度下降算法的基本原理 1.梯度下降算法的基本原理二.题 ...
小批量梯度下降算法步骤_TensorFlow从0到1 - 6 - 解锁梯度下降算法
上一篇5 TF轻松搞定线性回归,我们知道了模型参数训练的方向是由梯度下降算法指导的,并使用TF的封装tf.train.GradientDescentOptimizer(0.01)(学习率为0.01)完 ...
loss下降auc下降_梯度下降算法线性回归拟合（附Python/Matlab/Julia源代码）
梯度下降梯度下降法的原理梯度下降法(gradient descent)是一种常用的一阶(first-order)优化方法,是求解无约束优化问题最简单.最经典的方法之一. 梯度下降最典型的例子就是从 ...
线性回归与梯度下降算法
线性回归与梯度下降算法 1.1 线性回归概念:在统计学中,线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析 ...
机器学习-多元梯度下降
多元梯度下降多维特征是? 还是买房子的例子,房子价格的定位如果仅由房子面积这一个因素决定,那么这里就只有房子面积这一个特征. 数据集的信息不止一种时,便有了多维特征,比如: 下面,将构建一个含有多个 ...
机器学习中为什么需要梯度下降_机器学习 —— 多元梯度下降
一.多维特征前面所述的房价预测的线性模型,只用到了一维特征,即size,房屋尺寸,要用这个特征量来预测房屋价格: 当数据集的信息不止一种时,便有了多维特征,比如: 上图有四个X,即四个特征,来预测房 ...
梯度下降算法和牛顿算法原理以及使用python用梯度下降和最小二乘算法求回归系数
梯度下降算法以下内容参考微信公众号 AI学习与实践平台 SIGAI 导度和梯度的问题因为我们做的是多元函数的极值求解问题,所以我们直接讨论多元函数.多元函数的梯度定义为: 其中称为梯度算子,它作 ...

04.多元梯度下降算法

一、多元梯度下降算法

1.1 相关表示的含义

1.2 多元线性回归的假设函数

1.3 多元线性回归的代价函数

1.4 多元线性回归的梯度下降算法

二、特征缩放

2.1 特征缩放的引入原因

2.2 特征缩放的公式

2.3 特征缩放后参数θ的还原方法

三、学习率

3.1 学习率选择是否合适的方法

3.2 合适的学习率的选择

04.多元梯度下降算法相关推荐

最新文章

热门文章