线性最小二乘法原理推导

给定多组特征值与其对应的观测量情况下，求解系数A使式1值最小。
f(x)=∑j=0n−1ajxj(0)f(x) = \sum_{j=0}^{n-1}a_jx^{j} \tag0f(x)=j=0∑n−1ajxj(0)

ELS=∑i∣∑j=0n−1ajxij−yi∣2=∑i∣Axi−yi∣2=∥XA−Y∥2(1)E_{LS} = \sum_{i}|\sum_{j=0}^{n-1}a_jx_i^{j} - y_i|^{2} = \sum_{i}|Ax_i - y_i|^{2} = \|XA - Y\|^{2} \tag1ELS=i∑∣j=0∑n−1ajxij−yi∣2=i∑∣Axi−yi∣2=∥XA−Y∥2(1)
其中A表示未知参数，向量模平方等价于向量內积，即
ELS=(XA−Y)T(XA−Y)(2)E_{LS} = (XA - Y)^T(XA - Y) \tag2 ELS=(XA−Y)T(XA−Y)(2)
方式一：
对A求微分，并根据微分与导数关系可得式3，式4，如下：
dE=(XdA)T(XA−Y)+(XA−Y)T(XdA)=2(XA−Y)T(XdA)(3)dE = (XdA)^T(XA - Y) + (XA - Y)^T(XdA) \\=2(XA - Y)^T(XdA)\tag3 dE=(XdA)T(XA−Y)+(XA−Y)T(XdA)=2(XA−Y)T(XdA)(3)
dE=δETδAdA(4)dE = \frac{\delta E^T}{\delta A}dA \tag4dE=δAδETdA(4)
综合式3与式4，可得对A偏导如式5
δEδA=2((XA−Y)TX)T(5)\frac{\delta E}{\delta A} = 2((XA - Y)^TX)^T\tag5δAδE=2((XA−Y)TX)T(5)
最后，由于最小平方差和对应着偏导数为0，由式5可得系数A
A=(XTX)−1XTY(6)A = (X^TX)^{-1}X^TY\tag6A=(XTX)−1XTY(6)

方式二：
ELS=ATXTXA−YTXA−ATXTY+YTY=ATXTXA−2ATXTY+YTY(7)E_{LS} = A^{T}X^{T}XA - Y^{T}XA - A^{T}X^{T}Y + Y^{T}Y \\= A^{T}X^{T}XA - 2A^{T}X^{T}Y + Y^{T}Y \tag7 ELS=ATXTXA−YTXA−ATXTY+YTY=ATXTXA−2ATXTY+YTY(7)
δEδA=2XTXA−2XTY=0(8)\frac{\delta E}{\delta A} = 2X^{T}XA - 2X^{T}Y = 0\tag8δAδE=2XTXA−2XTY=0(8)
A=(XTX)−1XTY(9)A = (X^{T}X)^{-1}X^{T}Y\tag9A=(XTX)−1XTY(9)

线性最小二乘法原理推导相关推荐

14 最小二乘估计原理推导和线性回归的外推等
14 最小二乘估计原理推导和线性回归的外推等标签:机器学习与数据挖掘 (此篇R代码对应本博客系列<12 R语言手册(第五站多元回归>) 1.简单最小二乘估计的推导先说个历史:最小 ...
数学建模十大算法02—插值与拟合（拉格朗日插值、三次样条插值、线性最小二乘法……）
文章目录引入一.插值 1.1 分段线性插值 1.2 牛顿插值法 1.3 拉格朗日插值多项式 1.4 样条插值 1.4.1 三次样条插值 1.5 二维插值 1.5.1 插值节点为网格节点 1.5.2 ...
非线性最小二乘法原理
一.一些基础概念[1] 1.最小二乘法定义找到一个x∗{x^*}x∗,使得下面的式子到达局部最小值, F(x)=12∑i=1m(fi(x))2(1-1)F(x) = \frac{1}{2}\sum\ ...
拉格朗日插值最小二乘法原理简述
最小二乘法简述及推导,转自:点击打开链接经常做物理实验的同学应该会有这样的体会,我们经常需要将实验收集得来的数据标注在一个坐标平面之上,形成一系列离散的点,然后用一条平滑的曲线近似地将这些点连在一起 ...
深入理解XGBoost，优缺点分析，原理推导及工程实现
本文的主要内容概览: 1. XGBoost简介 XGBoost的全称是eXtreme Gradient Boosting,它是经过优化的分布式梯度提升库,旨在高效.灵活且可移植.XGBoost是大规模 ...
最小二乘法(多元)推导
最小二乘法(多元)推导 1 声明本文的数据来自网络,部分代码也有所参照,这里做了注释和延伸,旨在技术交流,如有冒犯之处请联系博主及时处理. 2 最小二乘法简介最小二乘法是一种优化的方法,它主要是通 ...
算法#03--详解最小二乘法原理和代码
最小二乘法原理最小二乘法的目标:求误差的最小平方和,对应有两种:线性和非线性.线性最小二乘的解是closed-form(如下文),而非线性最小二乘没有closed-form,通常用迭代法求解(如高斯 ...
SVM原理推导和SMO算法
第三次培训笔记一.svm原理推导 svm原理用来解决二分类问题,使离超平面最近的点到该平面的距离最大化. 超平面是针对二分类问题,通过超平面将样本分为正类和负类,正类和负类的标签为yi,yi的取值只 ...
(各种均衡算法在MIMO中的应用对比试验)最小均方误差（MMSE）原理推导以及在MIMO系统中对性能的改善。
文档和程序地址:下载地址各种均衡算法在MIMO中的应用对比试验,内附原理推导,对比实验说明和结果等.包括MMSE,ZF,ZF-SIC等.代码附有原理推导小论文.仅供参考

线性最小二乘法原理推导

线性最小二乘法原理推导相关推荐

最新文章

热门文章