Normal Equation ＆ Non-invertibility

之前我们讲过通过梯度下降算法来求θ的极值，现在我们介绍另一种解析算法——正规方程法。
我们如同之前的方法设置X为m*（n+1）的矩阵，m为样本数量，n为特征值数目，+1是因为人为设置θ0为1,。设置Y为m个样本预估值的矩阵。求解参数θ的公式如下

现讨论梯度下降算法与正规方程法各自的优缺点：
梯度下降：需要确定合适的学习速率α，需要多次迭代；在特征值数量很多时，即n很大时，也能很好的运行，时间复杂度为O（n^2）
正规方程：不需确定学习速率α，不需迭代；在特征值数量很多时，运行会十分缓慢，时间复杂度为O（n^3）
至于θ的不可逆性，没学现代看不怎么懂……

Normal Equation ＆ Non-invertibility相关推荐

【机器学习】线性回归之Normal Equation（矩阵求导与线性代数视角）
Normal Equation 之前我们用梯度下降来求解线性回归问题的最优参数,除此之外我们还可以用正规方程法(Normal Equation)来求解其最优参数. Normal Equation方法的 ...
用线性代数理解 Normal Equation
在之前的博客中,我们通过矩阵求导的方式推导了 normal equation.这篇博客中,我们将通过线性代数的角度再次回顾 normal equation. Normal Equation 解决的问题 ...
coursera机器学习笔记-多元线性回归，normal equation
#对coursera上Andrew Ng老师开的机器学习课程的笔记和心得: #注:此笔记是我自己认为本节课里比较重要.难理解或容易忘记的内容并做了些补充,并非是课堂详细笔记和要点: #标记为<补 ...
Normal Equation 简介
1. 什么是Normal Equation 在线性回归中,为了求得代价函数最小时的参数值θ.我们一般采用梯度下降法,但是当训练样本较小时(不超过千数量级)采用"Normal Equation ...
梯度下降算法与Normal equation
Normal equation: Method to solve for θ analytically 正规方程:分析求解θ的方法对于损失函数 \[J\left( {{\theta _0},{\th ...
正规方程 Normal Equation
正规方程 Normal Equation 前几篇博客介绍了一些梯度下降的实用技巧,特征缩放(详见http://blog.csdn.net/u012328159/article/details/5103 ...
关于线性回归：梯度下降和正规方程（gradient descend、normal equation）
1.梯度下降法假设: - x:输入特征 - y:样本标签,实际输出 - (x,y):训练样本 - m表示训练样本总数,loop:i - n表示特征总数,loop:j 目的是通过对训练样本进行学习,构 ...
标准方程法(normal equation)公式推导
最近在看吴恩达的机器学习网课,讲到标准方程法的时候没有给出推导,在参考了两篇博客后推导出来了,记录一下. 机器学习之正规方程法推导机器学习--线性回归中正规方程组的推导两篇文章都给出了推导需要的基 ...
Normal Equation推导

Normal Equation ＆ Non-invertibility

Normal Equation ＆ Non-invertibility相关推荐

最新文章

热门文章