最小二乘法（求回归方程）的计算过程

最小二乘法求回归直线方程的推导过程

这里的是为了区分Y的实际值y（这里的实际值就是统计数据的真实值，我们称之为观察值），当x取值(i=1，2，3……n)时，Y的观察值为，近似值为（或者说对应的纵坐标是）。其中式叫做Y对x的回归直线方程，b叫做回归系数。要想确定回归直线方程，我们只需确定a与回归系数b即可。设x，Y的一组观察值为：i = 1，2，3……n其回归直线方程为：当x取值(i=1，2，3……n)时，Y的观察值为，差刻画了实际观察值与回归直线上相应点纵坐标之间的偏离程度，见下图：

实际上我们希望这n个离差构成的总离差越小越好，只有如此才能使直线最贴近已知点。换句话说，我们求回归直线方程的过程其实就是求离差最小值的过程。一个很自然的想法是把各个离差加起来作为总离差。可是，由于离差有正有负，直接相加会互相抵消，如此就无法反映这些数据的贴近程度，即这个总离差不能用n个离差之和来表示，见下图：一般做法是我们用离差的平方和，即：

作为总离差，并使之达到最小。这样回归直线就是所有直线中Q取最小值的那一条。由于平方又叫二乘方，所以这种使“离差平方和为最小”的方法，叫做最小二乘法。用最小二乘法求回归直线方程中的a、b的公式如下：其中，、为和的均值，a、b的上方加“︿”表示是由观察值按最小二乘法求得的估计值，a、b求出后，回归直线方程也就建立起来了。当然，我们肯定不能满足于直接得到公式，我们只有理解这个公式怎么来的才能记住它，用好它，因此给出上面两个公式的推导过程更加重要。在给出上述公式的推导过程之前，我们先给出推导过程中用到的两个关键变形公式的推导过程。首先是第一个公式：

接着是第二个公式：

基本变形公式准备完毕，我们可以开始最小二乘法求回归直线方程公式的推导了：

至此，公式变形部分结束，从最终式子我们可以看到后两项

与a、b无关，属于常数项，我们只需

即可得到最小的Q值，因此：

说明：文档引用“https://zhidao.baidu.com/question/2078012458764422708.html”，用此理论公式进行了3.7V锂电池电压-电量回归方程的拟合，认为公式是正确的，在此引用是为了更方便查看。

最小二乘法（求回归方程）的计算过程相关推荐

用Excle工具利用最小二乘法求回归方程
用Excle工具利用最小二乘法求回归方程首先在Excle表格录入数据然后计算x的平均数,y的平均数接着计算x的平方再算一列数据乘以另一列的数据利用数据分析进行求回归数据首先在Excle表格 ...
最小二乘法求线性回归方程_规范解题第14期利用“最小二乘法”原理解一道题...
还等什么呢?时间都过去了,话是这么说,但不至于那么快.无论走到哪里,都应该记住,过去都是假的,回忆是一条没有尽头的路,一切以往的春天都一去不复存在,就连那最坚韧而又狂乱的爱情归根结底也不过是一种转瞬即 ...
最小二乘法的计算过程
过程1 :求偏导联立方程的过程 {∂F∂b=2∑i=1n(axi+b−yi)=0(1)∂F∂a=2∑i=1n(axi+b−yi)∗xi=0(2)\left\{ \begin{array}{l} \fr ...
最小二乘法求拟合曲线函数的C语言实际应用
采用单片机等微处理器采集一些"线性"传感器数据时,注意这里的线性是指相似于线性变化,比如NTC热敏电阻.PT100铂电阻.PH复合电极传感器,这些传感器的变化特性类似于二维坐标轴上 ...
衡量计算机的平均无故障时间6,平均无故障时间MTBF测试及计算过程
<平均无故障时间MTBF测试及计算过程>由会员分享,可在线阅读,更多相关<平均无故障时间MTBF测试及计算过程(4页珍藏版)>请在人人文库网上搜索. 1.一.寿命估算模型常温下 ...
pytorch梯度的计算过程
1.基础知识: 与numpy中的基本操作相似, pytorch 的作用是引入GPU加快运算, 增加图形界面, 适合大数据运算, 尤其是deep learning gradient 梯度类似于求导, 找 ...
php 根号2计算过程,根号换算(开方计算器在线)
2分之根号2和3分之根号三的计算过程根号就是要求开方!开方分平方和立方两种!中学生有数学用表,可以在表中查出相应数值!如果用竖式自己算,就要列竖式计算!常用的根号2.根号3等都要记住-- √a+√b ...
关于CFD计算过程的梳理
CFD的计算流程以openFoam为软件的计算过程,此过程仅为自己的理解,有错误的地方,敬请告知与见谅 openFoam内变量的流动过程仅分析压力p与速度u,仅分析动量方程与连续方程 1.设定初始 ...
多分类f1分数_分类模型的F1-score、Precision和Recall 计算过程
分类模型的F1分值.Precision和Recall 计算过程引入通常,我们在评价classifier的性能时使用的是accuracy 考虑在多类分类的背景下 accuracy = (分类正确的样 ...

最小二乘法（求回归方程）的计算过程

最小二乘法（求回归方程）的计算过程相关推荐

最新文章

热门文章