http://blog.sina.com.cn/s/blog_7445c2940102wjz8.html#commentComment

最小二乘法，又是一个即熟悉又陌生的名字。对于学工科的我，简直就是听着最小二乘长大的(汗。。。)。但是，之前碰到要用最小二乘法的时候，我采取的办法都是拿来主义（抄。。。），并没有系统的了解一下什么是最小二乘法。包括最小二乘这个叫法，也从来都不理解（一直以为是一个外来词汇的音译翻译。。。）。所以，每次碰到最小二乘法，都是一脸懵bi。再加上拖延症(其实就是懒。。)作祟，最小二乘就像神一般的存在我的脑海中。直到有一天（此处省略500字。。。。），于是有了本篇文章。

再说个题外话，其实4个月前就在写最小二乘这篇文章。但是，当时是直接在网上写的，写着写着突然看见新浪有个新功能，受到好奇心的驱使（其实是手贱。。），就点了一下。接着，就神马都没了。。都没了。。。对此，我就想对新浪博客提个意见，能不能加个自动保存功能！!能不能！都尼玛什么年代了，这么基础的功能都没有！简直是辣鸡！辣鸡！

———————————————分割线—————————————————

1.引言

言归正传，在此先列举一下最小二乘家族成员。最小二乘法直线拟合，最小二乘法多项式（曲线）拟合，机器学习中线性回归的最小二乘法，系统辨识中的最小二乘辨识法，参数估计中的最小二乘法，等等。由此可见，我们每次碰到的都是最小二乘法这个多面体的其中一个面。如果只从单个面研究，就看不到它的整体，也就不能理解它的内涵。因此，为了搞明白这个多面体，我们就要从它的核心入手，剖析它最本质的内容。

先从最小二乘的名字来看，所谓最小二乘，其实也可以叫做最小平方和。那么，是什么的平方和最小呢?那肯定是误差最小，那是什么的误差呢?就是目标对象和拟合对象的误差。连起来看，就是通过最小化误差的平方和，使得拟合对象无限接近目标对象，这就是最小二乘的核心思想。可以看出，最小二乘解决的是一类问题，就是需要拟合现有对象的问题。这么看来，是不是也就可以理解为什么最小二乘应用如此广泛了呢。

2.最小二乘法解析

解释完了最小二乘的思想，下面就具体说一说最小二乘的方法(方法其实是将思想具体化)。从最小二乘思想中，我们可以提出以下几个问题。

1. 怎么列出误差方程?

2. 怎么最小化误差方程？

3. 怎么验证结果的准确性？

最小二乘法的核心，其实就是针对上述提出的三个问题的解法。

除此之外，还有一个重要的内容：

最小二乘应该说是一种思想，而只有结合了具体对象，才变成最小二乘法。这也就导致了多种多样的最小二乘公式、推导、证明等等。但是，其核心是最小二乘的思想，只是展示形式不同。那么，这个不同在哪里呢？

用一句话来说：基底不同。那么什么又是基底呢？

上式中的x1,x2,.....,xn就是基底。对于曲线拟合而言（见后面应用部分），x1=1，x2=x，x3=x^2.....。对于其他应用而言，x的含义又有所不同。看到这里，可能大家有一个疑问：都说最小二乘求解的是线性问题，为什么曲线拟合方程中出现幂次方这个非线性的环节了呢？

这就又涉及到了一个重要概念，那就是：所谓线性方程，是有针对的对象的，也就是有所指的。就像一个坐标点（x,y），其含义是针对x坐标轴和y坐标轴而言的。那么这里，对于曲线拟合过程。虽然方程针对x是非线性的，但是针对各个参数θ而言，这个方程就是线性的了。那么，如果所求是x，那么就无法用最小二乘法。换句话说，如果针对所求参数，方程是线性的，那么就可以使用最小二乘法求解。

2.1.误差方程

先说误差方程，就是用目标函数减去拟合函数，再取其平方即可。这里又涉及到一个问题，为什么要取平方和？如果不取平方和，取误差的绝对值之和，会有什么效果呢？可以从几个方面理解这个问题，先从几何的角度看这个问题。假设有一条直线y=ax+b，要在这条直线上找到一点，距离(x0,y0)这个点的距离最短。如果用绝对值的方法寻找，也就是取min(|y-y0|+|x-x0|)，由于绝对值最小为0，所以最小的情况就是x=x0或者y=y0处，如下图1所示。

如果用平方和的方法寻找，就是取，可以看出该式是两点间距离公式，也就是距离的概念。那么最短的距离，就是点到直线的垂线，如下图2所示。

注：忽略纵轴与横轴的比值，在此只是示意图。

因此，相比于绝对值的方法，平方和的方法可以得到更短的距离，使得拟合函数更接近于目标函数。其实上述例子，就是从范数的角度考虑这个问题，绝对值对应的是1范数，最小二乘对应的就是2范数。此外，据说还可以从极大似然法中推导出平方和的公式，有兴趣的可以深入探究一下，我再次就不再赘述（其实我也没研究过。。哈哈。。）

2.2最小化误差函数

从高中我们就学过如何取极值，只不过不同于此的是，求取对象是一个一元二次方程。而最小二乘的误差函数形式多样，但其解决方法与求一元二次方程极值的方法相同。无非就是将原来对变量求导，变成了对向量求偏导（就是在向量某一个维度上的导数）。如果不是对向量求导，而是对函数求导，就是复变函数的变分法（可见都是换汤不换药，思想不变，重要的区别是求导对象不同）。求导之后，就是另求导的式子为0，解出极值点。再判断该极值点是极大值点还是极小值点，这样就得到了使误差函数最小化的向量值。到此，就完成了最小二乘法，是不是很简单呢。

2.3最小二乘的统计特性

如果只考虑应用，这部分的内容就不需要了解了。因为最小二乘的统计特性是探讨，最小二乘结果可靠的原因，需要用到随机过程这个工具，推导出最小二乘适用的原理。为了不让大家迷惑，以后单独探讨这个问题。

3.最小二乘法证明举例

已有N组{x，y}的数据，利用函数y=f(x;theta)去拟合数据，求当theta为何值时，拟合的效果最佳。

注：由于最小二乘法的应用场景多种多样，所以很多推导公式都是基于特定应用对象的。如遇到曲线拟合的问题，各参数基底是x的幂次方。在推导的过程中，就会出现范德蒙德矩阵，经常让人一脸懵逼。为了更简便的学习最小二乘推理过程，建议大家采用本文中的全部用符号替代所有参数基地，这样反而使得推导过程更加清晰。

3.1误差函数

3.2误差函数求偏导

针对误差和求偏导，有如下方程：

此处使用线性方程f去拟合数据。将上式经过化简整理，写为矩阵形式如下：

再结合，将上式每一行展开，再纵向求和，代入化简（化简过程比较繁琐，不过自己推导一遍会加深理解，有兴趣的可以自己推导一下，竟然可以将上式化简为非常简单的形式，很神奇）后可以得到如下方程：

注：下面公式（2）应为公式（1）

从以上计算可以看出，矩阵形式跟方程形式的最小二乘法是等价的，只不过是书写形式不同。如果直接从矩阵形式推导，可以更简便的得到结果（6）。特别注意，不可以直接用如下方法：

貌似这样得到的结果与我们计算得到的一样，但是其实是错误的。因为第一步Y=XA就是错误的，只有当误差项为0的时候，才可以这么写，否则的话存在误差项。

4.最小二乘法应用分析

4.1直线拟合

如果将最小二乘法中向量的维数设置为2，即（xi,1），拟合函数为y=ax+b，参数theta为2维，化简后的公式就是我们在书本上常见的直线拟合公式。

4.2曲线拟合

如果将最小二乘法中x，设置为如下形式：

最小二乘法就变成了曲线拟合公式。

4.3线性回归

机器学习中的线性回归算法，就是上面举例使用的公式。其中，线性代表的是拟合函数的形式，回归也可以称为拟合（起名问题都是历史遗留问题，哎。。）。在线性回归中，往往还经常听到一个名词，叫梯度下降。这种方法经常在如下情况使用，当XTX的逆无法求得的，也就无法用矩阵形式得到最小二乘的解。那么，就可以利用梯度下降的方法逐步的逼近出最优解。梯度下降可以算作解最小二乘的方法，跟矩阵解法、方程解法并列。具体区别可以参看知乎上对该问题的解释：

https://www.zhihu.com/question/24900876

4.4系统辨识中的最小二乘

就是将拟合函数用传递函数的时域表达式写出，通过输入输出数据，最终计算得到时域表达式中的各项参数，就实现了系统辨识。

最小二乘法---最详细的解释相关推荐

最小二乘法的详细解释
今天看到一个人写的关于最小二乘法的详细介绍,说的挺详细,此处记录一下: https://blog.csdn.net/bitcarmanlee/article/details/51589143
Python：非常详细的解释如何判断某个变量的类型以及代码实现
Python:非常详细的解释如何判断某个变量的类型以及代码实现目录非常详细的解释如何判断某个变量的类型以及代码实现非常详细的解释如何判断某个变量的类型以及代码实现 #判断变量类型的函数 def ...
AT89S51/52单片机详细英文缩写解释汇总
AT89S51/52单片机详细英文缩写解释汇总如有编写错误或者需要补充请发在评论区
airodump-ng界面参数比较详细的解释
个人感觉不错的教程,翻译部分过来给大家看看,希望有帮助,原文是aircrack-ng官方网站的教程.; b6 w9 h: J) J, N, X BSSID AP的MAC地址,如果在client sec ...
OCR之：Pytesseract端到端文字识别（包含源代码以及极为详细的解释）
OCR之:Pytesseract端到端文字识别(包含源代码以及极为详细的解释) 提示:此博文详细描述如何使用Pytesseract进行OCR识别,包括基本操作,图像的预处理,角度识别,图像旋转,等等. ...
vim 详细用法解释总结
vim 详细用法解释总结 VIM | vim操作大全关于Vim vim是Linux下第二强大的编辑器. 虽然emacs是公认的世界第一,我认为使用emacs并没有使用vi进行编辑来得高效. 如果是初 ...
传奇身上装备升级系列脚本，以及UPGRADEITEMEX 脚本的详细参数解释
UPGRADEITEMEX 脚本的详细参数解释如下: UPGRADEITEMEX 物品位置(0-12) 属性位置(0-14) 成功机率(0-100) 点数机率(0-255) 是否破碎(0,1) 物品位 ...
C/C++中关于int *p[n]、int(*p)[n]、int*p()和int（*p)()巨详细实例解释
关于int *p[n].int(p)[n].intp()和int(*p)()详细实例解释指针是C/C++语言中最精彩部分,话不多说,下边对这四种形式进行寻根问底,进行剖析. int *p[n]; i ...
Linux提权（su和sudo）以及用户的权限（ugo）（超详细操作解释）
Linux提权(su和sudo)以及用户的权限(ugo)(超详细操作解释) 一. 提权(su和sudo) 1.su提权 su是用户切换命令,可以通过此命令进行任何用户的切换,root 用户切换为普通用 ...

最小二乘法---最详细的解释

1.引言

2.最小二乘法解析

2.1.误差方程

2.2最小化误差函数

2.3最小二乘的统计特性

3.最小二乘法证明举例

3.1误差函数

3.2误差函数求偏导

4.最小二乘法应用分析

4.1直线拟合

4.2曲线拟合

4.3线性回归

4.4系统辨识中的最小二乘

最小二乘法---最详细的解释相关推荐

最新文章

热门文章

最小二乘法---最详细的解释

​1.引言

2.最小二乘法解析

2.1.误差方程

2.2最小化误差函数

2.3最小二乘的统计特性

3.最小二乘法证明举例

3.1误差函数

3.2误差函数求偏导

4.最小二乘法应用分析

4.1直线拟合

4.2曲线拟合

4.3线性回归

4.4系统辨识中的最小二乘

最小二乘法---最详细的解释相关推荐

最新文章

热门文章

1.引言