线性方程求解之二范数类型

求解线性系统
在线性代数中我们经常需要求解具有m个方程，n 个未知量的问题。这个问题可以以简洁的形式表示为
Ax=bAx=b
其中 AA 是一个m×nm\times n ， xx是一个长度为n的向量（如不特别强调，都是列向量），bb是一个长度为m 的向量。如果m=nm = n ，并且满秩（各行向量或列向量线性无关），则这个线性方程的解为 x=A−1bx=A^{-1} b
那如果m>nm> n ?这意味着什么？
事实上，实际问题中常常碰到的是 m>nm> n 的情况，这时我们方程的数量大于未知数的数量，这样我们面对的是一个over-determined 系统的求解问题。每个方程典型上包含噪声，或者是不正确的观察。在这样的情形下，我们尝试求解的是下面的最优化问题。
minx∥Ax−b∥2=minx[xTATAx−2xTATb+bTb]\min \limits_{x} \lVert Ax-b \rVert^2= \min \limits_{x} \left[ x^TA^TAx-2x^TA^Tb+b^Tb\right]
（这个优化问题看起来有二次项，是非线性问题，但幸运的是，这个方程对其求偏导后可以得到线性方程）
使用矩阵微分的规则，我们对这个方程求偏导，得到下面的结果
ATAx−ATb=0A^TAx-A^Tb=0
→AT(Ax−b)=0\rightarrow A^T (Ax-b)=0
→ATAX=ATb(3.11)\rightarrow A^TAX=A^Tb\qquad(3.11)

因为ATAA^TA 是n×nn\times n 方阵，并且是满秩的，因此这个方程的解为
x=(ATA)−1ATbx=(A^TA)^{-1}A^Tb
那么这个解跟(Ax−b)=0(Ax-b)=0 的解有什么关系吗？
我的理解， x=(ATA)−1ATbx=(A^TA)^{-1}A^Tb是这个方程(Ax−b)=0(Ax-b)=0 的近似解。事实上， (Ax−b)=0(Ax-b)=0 中如果 AA不是方阵，则这个方程本身是不能求解的，因为A−1A^{-1} 不存在，你不能求解出x=A−1bx=A^{-1}b .但通过引入 (ATA)−1(A^TA)^{-1}，你可以求出解x=(ATA)−1ATbx=(A^TA)^{-1}A^Tb 。这个解与 x=A−1bx=A^{-1}b一般是不同的（除非 AA存在逆。所以x=(ATA)−1ATbx=(A^TA)^{-1}A^Tb 应该是(Ax−b)=0(Ax-b)=0的近似解。

线性方程求解之二范数类型相关推荐

SLAM总结(二)-数学基础之求导和线性方程求解
SLAM总结(二)-数学基础之求导和线性方程求解 1.求导:高数中常见的是一个函数对一个自变量求导,属于标量对标量求导.在SLAM问题中,函数是目标函数(残差项,约束项),一般包含多个函数,用多维列向 ...
线性代数：线性方程求解、矩阵的逆、线性组合、线性独立
本文参考www.deeplearningbook.org一书第二章2.3 Identity and Inverse Matrices 2.4 Linear Dependence and Span 本文 ...
MATLAB线性方程求解器（GUI+9种方法）
线性方程求解器一.线性方程求解二.求解方法克莱姆法则高斯消元主元素法 LU分解法平方根法(A必须为正定矩阵) 三角追赶法雅阁比迭代法高斯赛德尔迭代法松弛法三.测试及GUI 测试 G ...
P3项目全球模板狗血设置之二 --- 移动类型523收货不能自动创建批次号
P3项目全球模板狗血设置之二 --- 移动类型523收货不能自动创建批次号在P3项目中,因项目实施范围限制等诸多原因,对于工厂的自制品,在SAP系统上使用MIGO + 523 移动类型组合来完成收货 ...
matlab二维谐振子,基于有限差分法求解的二维谐振子的MATLAB程序如下。哪位大神能帮我做个注明啊，完全看不懂啊，，急...
基于有限差分法求解的二维谐振子的MATLAB程序如下.哪位大神能帮我做个注明啊,完全看不懂啊,,急0 ____丿呆呆丶2017.04.15浏览20次分享举报 tic clc clear L=20; W ...
C++11/14学习（二）类型推导
C++11/14学习(二)类型推导 C++11 引入了 auto 和 decltype 这两个关键字实现了类型推导,让编译器来操心变量的类型. 这使得 C++ 也具有了和其他现代编程语言一样,某种意义 ...
常见的二范数是什么意思？有什么用？
#记录一下: 参考博文写的很清楚了,忘了一定要看参考博文! 在优化一个变换矩阵T时,常常用到这样的公式: 意思是:现在总共有N个三维点p和相机观测值z,那么我们的目标就是寻找一个最佳的位姿T,使得整体 ...
数字IC-1.10 手撕代码之整数乘法和二范数(Verilog HDL数字加减法练习好帮手)
目录 1.数字加减法运算 .绝对值.被乘数或被除数为2^n的乘除运算-归纳 2.二范数开根号代码实战 out = (a*a + b*b)^1/2 : JPL近似法 3.整数乘法代码实战 out = ...
N圆最密堆积、最小外接正方形的matlab求解（二维、三维等圆Packing 问题）
圆形最密堆积.最小外接正方形的matlab求解(二维.三维等圆Packing 问题) 0 前言 1 N个圆的最小外接正方形求解 2 N个球的最小外接立方体求解惯例声明:本人没有相关的工程应用经验,只 ...

线性方程求解之二范数类型