欠定线性系统与正则化

文章目录

1、欠定线性系统
2、正则化

1、欠定线性系统

考虑方程组Ax=b{\bf Ax}={\bf b}Ax=b，这里x∈Rm{\bf x}\in{\mathbb R}^{m}x∈Rm，A∈Rn×m{\bf A}\in {\mathbb R}^{n\times m}A∈Rn×m，b∈Rn{\bf b}\in{\mathbb R}^{n}b∈Rn，如果n<mn<mn<m，则该方程组描述了欠定线性系统。
若将A\bf AA表示为列向量的形式，A=[a1,a2,…,am]{\bf A}=[{\bf a}_1,{\bf a}_2,\ldots,{\bf a}_m]A=[a1,a2,…,am]，则A\bf AA的列空间为
col(A)=span{a1,a2,…,am}={y∈Rn;y=Σj=1mαjaj,αj∈R}.{\rm col}({\bf A})={\rm span\{{\bf a}_1,{\bf a}_2,\ldots,{\bf a}_m\}}=\{{\bf y}\in {\mathbb R}^n;{\bf y}=\Sigma_{j=1}^{m}\alpha_j{\bf a}_j,\alpha_j\in {\mathbb R}\}. col(A)=span{a1,a2,…,am}={y∈Rn;y=Σj=1mαjaj,αj∈R}.此外，我们有
Ax=Σj=1majxj=b.{\bf Ax}=\Sigma_{j=1}^{m}{\bf a}_jx_j=\bf b.Ax=Σj=1majxj=b.显然，如果b{\bf b}b不在A{\bf A}A的列空间中，则该系统无解；反之则有无穷多解。所以我们假定，A\bf AA的列向量张成整个Rn{\mathbb R}^nRn空间，也就是说A\bf AA为列满秩。
下面我们要讨论的是，对于这样的欠定线性系统，我们会得到无穷多的x\bf xx，但如何找到最好的，或者至少是比较好的x\bf xx呢？

2、正则化

对于上一节的问题，其根本问题是因为我们的约束条件不够，所以得到的是无穷多解。所以如果想要得到一个解（最优解或者满意解），就得增加条件。
正则化(regularization)是一种常用的增加条件的方法，也就是引入一个函数J(x)J(\bf x)J(x)，用来对x\bf xx的候选解进行评价，并且如果J(x)J(\bf x)J(x)的值越小，我们就认为解越好。

【定义】常规优化问题(PJP_JPJ）
(PJ):min⁡xJ(x)s.t.b=Ax.(P_J):\min \limits_{\bf x} J({\bf x})\quad {\rm s.t.} \quad{\bf b=Ax}. (PJ):xminJ(x)s.t.b=Ax.

最常见的J(x)J(\bf x)J(x)函数是欧几里德范数的平方∣∣x∣∣2||{\bf x}||^2∣∣x∣∣2，由此对应了最小范数解。

【定义】最小范数解（唯一解）
(P2):min⁡x∣∣x∣∣2s.t.b=Ax.(P_2):\min \limits_{\bf x} ||{\bf x}||^2\quad {\rm s.t.} \quad{\bf b=Ax}. (P2):xmin∣∣x∣∣2s.t.b=Ax.
使用拉格朗日算子法，可以得到最优解为
x^opt=−12ATλ=A+b,{\bf \hat x}_{\rm opt}=-\frac{1}{2}{\bf A}^{\rm T}{\lambda}={\bf A}^{+}{\bf b}, x^opt=−21ATλ=A+b,这里A+{\bf A}^{+}A+为A\bf AA的伪逆。

【参考文献】
[1] Michael Lead, Sparse and Redundant Representations, From Theory to Applications in Signal and Image Processing.