6.2最小范数问题

最小范数问题具有如下形式：

$minimize \, \, \begin{Vmatrix}x \end{Vmatrix}\\ subject \, \, to \, \, Ax=b$

其中 $A \in R^{m\times n},b\in R^{m},x \in R^n$ ， $\begin{Vmatrix} \cdot \end{Vmatrix}$ 为 $R^n$ 上一种范数，A的行向量相互独立， $m \leq n$ ，m=n时唯一可行解是 $x=A^{-1}b$ ，无意义，所以只有当 $m<n$ 时，方程Ax=b不定时，最小范数问题才有意义。

即 $x^*=argmin_{Ax=b}\begin{Vmatrix} x \end{Vmatrix}$

解释：

（1）几何解释：可行集是 $\left \{x|Ax=b \right \}$ 是仿射集合，目标函数是在 $\begin{Vmatrix} \cdot \end{Vmatrix}$ 下x和0的距离。即在仿射集合中找到距离0最近的点。

（2）估计解释：假设x为待估计的变量，有m<n个很好地线性测量值，由Ax=b给出，但是测量值少于待估计的参数，所以会有很多的满足测量值得估计向量，在这些估计向量中找到一个在范数下最小的。

（3）设计解释：x是要设计的变量。b是期望得到的结果，设计中有m个是要求，是一定要达到的，而x的维度是n，所以欧n-m个自由度，允许自由发挥的，所以最小范数问题即在满足m个要求的前提下，可以自由发挥，在这些基础上找到一个最好的设计，即用最小的可能值满足Ax=b。

线性方程组的最小二乘解

$minimize \,\, \begin{Vmatrix}x \end{Vmatrix}_2^2 \\ subject \, \, to \, \, Ax=b$

其对偶函数：

$L(x,v)=\begin{Vmatrix} x \end{Vmatrix}_2^2+v^T(Ax-b)=x^Tx+v^T(Ax-b)$

原问题的KKT条件：

$Ax^*=b\\ \bigtriangledown _xL(x,v)=2x^*+A^Tv^*=0$

由方程二解得 $x^*=-(1/2)A^Tv^*$ ，带入方程一 $-(1/2)AA^Tv^*=b$ ，得到 $v^*=-2(AA^T)^{-1}b,x^*=A^T(AA^T)^{-1}b$

最小罚问题

$minimize \, \, \phi (r_1)+\phi (r_2)+\cdots +\phi(r_m)\\ subject \, \, to \,\, Ax=b$

$\phi:R\rightarrow R$ 称为残差罚函数， $\phi$ 是凸函数且非负的。

凸优化第六章逼近与拟合 6.2最小范数问题相关推荐

最优化方法(学习笔记)-第六章逼近与拟合
文章目录范数逼近和最小范数观测m≥\geq≥未知n 范数逼近的定义及解释罚函数逼近观测m≤\leq≤未知n 最小范数问题最小罚函数问题正则化逼近正则化理解标量化问题 Tikhonov ...
凸优化 matlab-cvx-第十一章ADVANCED TOPICS
注意:在本节中,我们描述了CVX的一些更高级的功能.我们建议你先跳过这一节,直到你对上面描述的基本能力感到满意为止. 11.1消除二次型我们强烈建议的一个特殊的改写是消除二次型- -即像sum _ ...
凸优化第四章凸优化问题 4.2凸优化
4.2凸优化标准形式的凸优化问题局部最优解与全局最优解可微函数的最优性准则等价的凸问题拟凸优化标准形式的凸优化问题是凸函数,等式约束是仿射函数.则此优化问题是凸优化问题. 也可以写成重 ...
凸优化第五章对偶 5.1 Lagrange对偶函数
5.1 Lagrange对偶函数 Lagrange Lagrange对偶函数最优值的下界例子 Lagrange对偶函数和共轭函数 Lagrange 标准形式的优化问题: 其中,问题的定义域,注意这 ...
凸优化第五章对偶 5.1Lagrange对偶函数
5.1Lagrange对偶函数 Lagrange Lagrange对偶函数最优值的下界例子 Lagrange对偶函数和共轭函数 Lagrange 标准形式的优化问题: 其中,问题的定义域,注意这里 ...
凸优化第三章凸函数 3.1基本性质和例子
3.1基本性质和例子定义扩展值延伸一阶条件二阶条件例子下水平集上境图 Jensen不等式及其扩展不等式定义函数f是凸函数,当f的定义域S是凸集,且严格凸函数: 从几何上来看,如下 ...
凸优化第三章凸函数 3.5 对数-凹函数和对数-凸函数
3.5 对数-凹函数和对数-凸函数定义相关性质定义称函数对数凹,如果是凹函数. 称函数对数凸,如果是凸函数. 函数f是对数凸的当且仅当1/f是对数凹的. 当时,,相当于对log(f)进行扩展值 ...
凸优化第三章凸函数 3.3 共轭函数
3.3 共轭函数定义基本性质定义设函数,定义函数为: 此函数称为f(x)的共轭函数.从3.2节逐点上确界的内容也可以看出,此函数也是的逐点上确界函数,而是关于y的仿射函数,可以将其看成是凸函数 ...
凸优化第三章凸函数 3.3共轭函数
3.3共轭函数定义基本性质定义设函数,定义函数为: 此函数称为f(x)的共轭函数.从3.2节逐点上确界的内容也可以看出,此函数也是的逐点上确界函数,而是关于y的仿射函数,可以将其看成是凸函数, ...
吴恩达机器学习（第六章）——正则化
第六章-正则化文章目录第六章-正则化过拟合问题代价函数线性回归的正则化 Logistic回归的正则化过拟合问题如果我们有非常多的特征,我们通过学习得到的假设可能能够非常好地适应训练集(代 ...

凸优化第六章逼近与拟合 6.2最小范数问题

6.2最小范数问题

线性方程组的最小二乘解

最小罚问题

凸优化第六章逼近与拟合 6.2最小范数问题相关推荐

最新文章

热门文章