线性回归——正规方程推导过程

我们知道线性回归中除了利用梯度下降算法来求最优解之外，还可以通过正规方程的形式来求解。

首先看到我们的线性回归模型：
f ( x i ) = w T x i f(x_i)=w^Tx_i f(xi)=wTxi
其中 w = ( w 0 w 1 . . . w n ) w=\begin{pmatrix}w_0\\w_1\\...\\w_n\end{pmatrix} w=⎝⎜⎜⎛w0w1...wn⎠⎟⎟⎞， x i = ( x 0 x 1 . . . x n ) x_i=\begin{pmatrix}x_0\\x_1\\...\\x_n\end{pmatrix} xi=⎝⎜⎜⎛x0x1...xn⎠⎟⎟⎞，m表示样本数，n是特征数。

然后我们的代价函数(这里使用均方误差)：
J ( w ) = ∑ i = 1 m ( f ( x i ) − y i ) 2 J(w)=\sum_{i=1}^m(f(x_i)-y_i)^2 J(w)=i=1∑m(f(xi)−yi)2
接着把我的代价函数写成向量的形式：
J ( w ) = ( X w − y ) T ( X w − y ) J(w)=(Xw-y)^T(Xw-y) J(w)=(Xw−y)T(Xw−y)
其中 X = ( 1 x 11 x 12 ⋯ x 1 n 1 x 21 x 22 ⋯ x 2 n ⋮ ⋮ ⋮ ⋱ ⋮ 1 x m 1 x m 2 ⋯ x m n ) X=\begin{pmatrix} 1 & x_{11} & x_{12}& \cdots & x_{1n} \\ 1 & x_{21} & x_{22}& \cdots & x_{2n} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & x_{m1} & x_{m2}& \cdots & x_{mn} \\ \end{pmatrix} X=⎝⎜⎜⎜⎛11⋮1x11x21⋮xm1x12x22⋮xm2⋯⋯⋱⋯x1nx2n⋮xmn⎠⎟⎟⎟⎞

最后我们对w进行求导，等于0，即求出最优解。在求导之前，先补充一下线性代数中矩阵的知识：
1.左分配率： A ( B + C ) = A B + A C A(B+C) = AB+AC A(B+C)=AB+AC；右分配率： ( B + C ) A = B A + C A (B+C)A = BA + CA (B+C)A=BA+CA
2.转置和逆： ( A T ) − 1 = ( A − 1 ) T (A^T)^{-1}=(A^{-1})^T (AT)−1=(A−1)T， ( A T ) T = A (A^T)^T=A (AT)T=A
3.矩阵转置的运算规律： ( A + B ) T = A T + B T (A+B)^T=A^T+B^T (A+B)T=AT+BT；
( A B ) T = B T A T (AB)^T=B^TA^T (AB)T=BTAT

然后介绍一下常用的矩阵求导公式：
1. δ X T A X δ X = ( A + A T ) X \frac{\delta X^TAX}{\delta X}=(A+A^T)X δXδXTAX=(A+AT)X

2. δ A X δ X = A T \frac{\delta AX}{\delta X}=A^T δXδAX=AT

3. δ X T A δ X = A \frac{\delta X^TA}{\delta X}=A δXδXTA=A

然后我们来看一下求导的过程：
1.展开原函数，利用上面的定理
J ( w ) = ( X w − y ) T ( X w − y ) = ( ( X w ) T − y T ) ( X w − y ) = w T X T X w − w T X T y − y T X w + y T y J(w)=(Xw-y)^T(Xw-y)=((Xw)^T-y^T)(Xw-y)\\=w^TX^TXw-w^TX^Ty-y^TXw+y^Ty J(w)=(Xw−y)T(Xw−y)=((Xw)T−yT)(Xw−y)=wTXTXw−wTXTy−yTXw+yTy
2.求导，化简得，
δ J ( w ) δ w = ( X T X + ( X T X ) T ) w − X T y − ( y T X ) T = 0 ⟹ 2 X T X w − 2 X T y = 0 ⟹ X T X w = X T y ⟹ w = ( X X T ) − 1 X T y \frac{\delta J(w)}{\delta w}=(X^TX+(X^TX)^T)w-X^Ty-(y^TX)^T=0\\\implies 2X^TXw-2X^Ty=0\\\implies X^TXw=X^Ty\\\implies w=(XX^T)^{-1}X^Ty δwδJ(w)=(XTX+(XTX)T)w−XTy−(yTX)T=0⟹2XTXw−2XTy=0⟹XTXw=XTy⟹w=(XXT)−1XTy

最后补充一下关于矩阵求导的一些知识，不懂可以查阅：矩阵求导、几种重要的矩阵及常用的矩阵求导公式

线性回归——正规方程推导过程相关推荐

一元线性回归-最小二乘法推导过程
设一元线性回归方程为,数据样本点为, 要想使这n个样本点落在一元线性回归方程附近,不妨设误差为,使得没一个样本点落在一元线性回归方程上,因此有恒成立,所以回归直线应满足的条件是:实际值与回归估计值之间 ...
正规方程（含推导过程） from 吴恩达的机器学习
正规方程是通过求解下面的方程来找出使得代价函数最小的参数的: 假设我们的训练集特征矩阵为X(包含了 )并且我们的训练集结果为向量 y,则利用正规方程解出向量: ...
多元线性回归推导过程
接上篇:人工智能开篇常用算法一多元线性回归详解1 此次我们来学习人工智能的第一个算法:多元线性回归.文章会包含必要的数学知识回顾,大部分比较简单,数学功底好的朋友只需要浏览标题,简单了解需要哪 ...
线性回归正规方程详细推导过程
最近在学习吴恩达的机器学习,讲到里面了比较简单的求出的方法:正规方程. 视频里只告诉我们这个公式,但是没有具体告诉我们推到过程,对于我这种数学学渣来说实在一眼看不出来是什么意思,查了很久才稍微懂了点点 ...
机器学习——线性回归的原理，推导过程，源码，评价
https://www.toutiao.com/a6684490237105668620/ 2019-04-27 16:36:11 0.线性回归做为机器学习入门的经典模型,线性回归是绝对值得大家深入 ...
[机器学习-回归算法]一元线性回归用最小二乘法的推导过程
一元线性回归用最小二乘法的推导过程在数据的统计分析中,数据之间即变量x与Y之间的相关性研究非常重要,通过在直角坐标系中做散点图的方式我们会发现很多统计数据近似一条直线,它们之间或者正相关或者负相关. ...
sklearn - 线性回归(正规方程与梯度下降)
一: 线性回归方程线性回归(英语:linear regression)是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析.这种函数是一个或多个称为回归 ...
机器学习——线性回归数学推导
文章目录线性回归数学推导基础知识线性回归的计算利用矩阵知识对线性公式进行整合误差项的分析似然函数的理解矩阵求偏导线性回归的最终求解实验 1 二维直线实验 2 三维平面实验 3 利用最 ...
13_线性回归分析、线性模型、损失函数、最小二乘法之梯度下降、回归性能评估、sklearn回归评估API、线性回归正规方程，梯度下降API、梯度下降和正规方程对比
1.线性回归 1.1 线性模型试图学得一个通过属性的线性组合来进行预测的函数: 1.2 定义定义:线性回归通过一个或者多个自变量与因变量之间进行建模的回归分析.其中特点为一个或多个称为回归系数的模 ...

线性回归——正规方程推导过程

线性回归——正规方程推导过程

线性回归——正规方程推导过程相关推荐

最新文章

热门文章