一，参考的博文

如何理解最小二乘法？_马同学图解数学的博客-CSDN博客_最小二乘法

机器学习应该准备哪些数学预备知识？ - 知乎

什么是「最小二乘法」_remeber6666的博客-CSDN博客

二，什么是最小二乘法

最小二乘法主要用于解决函数模型最优解问题

最小二乘法，即：

使用下面的例子进行讲解：

最小二乘法是这样，要尽全力让这条直线最接近这些点

那么问题来了，怎么才叫做最接近呢？直觉告诉我们，这条直线在所有数据点中间穿过，让这些点到这条直线的误差之和越小越好。这里我们用方差来算更客观。也就是说，把每个点到直线的误差平方加起来：

（如果上面的四个方程都能满足，那么S的值显然为0，这是最完美的，但如果做不到完美，我们就让这个S越小越好）

接下来的问题就是，如何让这个S变得最小。这里有一个概念，就是求偏导数。这里我想提一下，在培训的过程中，我发现机器学习的数学基础课程当中，微积分是大家印象最深刻的，而且也最容易理解：比如导数就是求变化率，而偏导数则是当变量超过一个的时候，对其中一个变量求变化率。要让S取得最小值，那最好是对β1和β2分别求导（对β1求导的时候，把β2当常量所以叫求偏导），值为0：

很容易得出：

这个函数也就是我们要的直线，这条直线虽然不能把那些点串起来，但它能最大程度上接近这些点。也就是说5公里的时候，成本为3.5+1.4x5=10.5块，虽然不完美，但是很接近实际情况。

三，什么是高斯牛顿法

高斯牛顿法正是用于解决非线性最小二乘问题，达到数据拟合、参数估计和函数估计的目的。

参考的博文：

数值优化之高斯-牛顿法（Gauss-Newton）_图灵的猫i的博客-CSDN博客_gauss newton法

机器学习笔记----最小二乘法相关推荐

机器学习笔记七：损失函数与风险函数
一.损失函数回顾之前讲过的线性回归模型,我们为了要学习参数使得得到的直线更好的拟合数据,我们使用了一个函数这个函数就是比较模型得到的结果和"真实值"之间的"差距&qu ...
机器学习笔记：岭回归（L2正则化）
1 岭回归(ridge regression)介绍 L2正则化的目的就是要让权重衰减到更小的值,在一定程度上减少过拟合的问题. L2正则化可以使参数趋近于0,函数更加平滑 2 L2正则化的求解过程 ...
【机器学习笔记】：大话线性回归（二）拟合优度和假设检验
大家好,我是东哥. 前一篇文章给大家介绍了线性回归的模型假设,损失函数,参数估计,和简单的预测.具体内容请看下面链接:[机器学习笔记]:大话线性回归(一) 但其实还有很多问题需要我们解决:这个模型的效 ...
迷人的神经网络——机器学习笔记1
目录迷人的神经网络--机器学习笔记1 第1章神经元模型及网络结构 1.1 神经元模型 1.1.1 单输入神经元 1.1.2 激活函数 1.1.3 多输入神经元 1.2 网络结构 1.2.1 单层神 ...
机器学习笔记之正则化(一)拉格朗日乘数法角度
机器学习笔记之正则化--拉格朗日乘数法角度引言回顾:基于正则化的最小二乘法正则化描述正则化的优化对象常见的正则化方法正则化角度处理神经网络的过拟合问题场景构建最优模型参数的不确定性最 ...
《机器学习笔记（三）：多元线性回归与正态分布最大似然估计》
回归问题普遍讨论的是多元线性回归,考虑多个特征可以得到更精确的模型,这其中涉及中心极限定理,正态分布,概率密度函数和最大似然估计. (一)背景--多元线性回归 1.概念本质上就是算法(公式)变换为了 ...
机器学习笔记1：基于Logistic回归进行数据预测
机器学习笔记1:基于Logistic回归进行数据预测一.背景近期项目的一个核心部分就是实现对数据的预测,因为没有实际的数据样本,所以我准备近期学习Machine Learning的几种方式,从简单 ...
一份520页的机器学习笔记！附下载链接
点击上方"视学算法",选择"星标"公众号第一时间获取价值内容近日,来自SAP(全球第一大商业软件公司)的梁劲(Jim Liang)公开了自己所写的一份 52 ...
700 页的机器学习笔记火了！完整版开放下载
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散作者梁劲(Jim Liang),来自SAP(全球第一大商业软件公司). 书籍特点条理清晰 ...

机器学习笔记----最小二乘法

一，参考的博文

二，什么是最小二乘法

三，什么是高斯牛顿法

机器学习笔记----最小二乘法相关推荐

最新文章

热门文章