5.6扰动及灵敏度分析

扰动的问题
全局不等式
局部灵敏度分析

扰动的问题

原问题和对偶问题

$\begin{matrix} minimize \, \, f_0(x)\\subject \, \, to \, \, f_i(x)\leq 0,i=1,\cdots m\\h_i(x)=0,i=1,\cdots p \end{matrix}$ $&maximize \, \, g(\lambda,v) \\subject \, \, to \, \, \lambda \succeq 0$

扰动的问题：

$\begin{matrix} minimize \, \, f_0(x)\\subject \, \, to \, \, f_i(x)\leq u_i,i=1,\cdots m\\h_i(x)=l_i,i=1,\cdots p \end{matrix}$

$u_i> 0$ 表示放宽约束， $u_i<0$ 表示加紧约束。记 $P^*(u,l)$ 为扰动后问题的最优值。

扰动后的对偶问题：

$&maximize \, \, g(\lambda,v)-u ^T\lambda-l^Tv \\subject \, \, to \, \, \lambda \succeq 0$

全局不等式

假设强对偶性成立，且对偶问题可以达到最优值，且 $\lambda^*,v^*$ 是未扰动的对偶问题的最优解，有如下结论：

$p^*(u,l)\geq p^*(0,0)-(\lambda^*)^T u-(v^*)^Tl$

证明：

根据强对偶性： $p^*(0,0)=g(\lambda^*,v^*)$ ，假设x是扰动问题的任意可行解，根据定义，可知 $g(\lambda^*,v^*)\leq f_0(x)+\sum_{i=1}^m\lambda^*_if_i(x)+\sum_{i=1}^pu^*_ih_i(x)$

又因为扰动后的约束条件变成： $f_i(x)\leq u_i,i=1,\cdots m \\ h_i(x)=l_i,i=1,\cdots p$

所以

$g(\lambda^*,v^*)\leq f_0(x)+\sum_{i=1}^m\lambda^*_if_i(x)+\sum_{i=1}^pu^*_ih_i(x)\\ \leq f_0(x)+\sum_{i=1}^m\lambda^*_iu_i+\sum_{i=1}^pu^*_il_i=f_0(x)+(\lambda^*)^Tu+(v^*)^Tl$

$\Rightarrow$ $f_0(x)\geq p^*(0,0)-(\lambda^*)^T u-(v^*)^Tl$

$\Rightarrow p^*(u,l)\geq p^*(0,0)-(\lambda^*)^T u-(v^*)^Tl$

灵敏度解释

如果 $\lambda_i^*$ 比较大，加强第i个约束，即 $u_i< 0$ ，则最优值 $P^*(u,l)$ 会大幅增加。
如果 $\lambda_i^*$ 比较小，放松第i个约束，即 $u_i> 0$ ，则最优值 $P^*(u,l)$ 不会减小太多。
如果 $v_i^*$ 比较大且大于0， $l_i< 0$ ，或者如果 $v_i^*$ 比较大且小于0， $l_i> 0$ ，则最优值 $P^*(u,l)$ 会大幅增加。
如果 $v_i^*$ 比较小且大于0， $l_i> 0$ ，或者如果 $v_i^*$ 比较大且小于0， $l_i< 0$ ，则最优值 $P^*(u,l)$ 不会减少太多。

局部灵敏度分析

假设 $p^*(u,l)$ 在u=0,l=0处可微，假设强对偶性成立，最优对偶变量 $\lambda^*,v^*$ 可以和 $p^*$ 在u=0,v=0处的梯度联系起来：

$\lambda_i^*=-\frac{\partial P^*(0,0) }{\partial u_i},v_i^*=-\frac{\partial P^*(0,0) }{\partial l_i}$

证明：

假设 $p^*$ 可微，且强对偶性成立，扰动 $u=te_i,l=0$ ，其中 $e_i$ 是单位向量，第i个分量是1，

$\lim_{t\rightarrow 0}\frac{P^*(te_i,0)-P^*(0,0)}{t}=\frac{\partial P^*(0,0) }{\partial u_i}$

根据 $p^*(u,l)\geq p^*(0,0)-(\lambda^*)^T u-(v^*)^Tl$

当 $t>0$ 时，

$\frac{P^*(te_i,0)-P^*(0,0)}{t}\geq -(\lambda ^*)^T(te_i)/t=-\lambda_i^*$

取极限 $t\rightarrow 0$ 时，得到

$\lim_{t\rightarrow 0}\frac{P^*(te_i,0)-P^*(0,0)}{t}=\frac{\partial P^*(0,0) }{\partial u_i}\geq -\lambda_i^*$

当 $t<0$ 时，

$\frac{P^*(te_i,0)-P^*(0,0)}{t}\leq -(\lambda ^*)^T(te_i)/t=-\lambda_i^*$

取极限 $t\rightarrow 0$ 时，得到

$\lim_{t\rightarrow 0}\frac{P^*(te_i,0)-P^*(0,0)}{t}=\frac{\partial P^*(0,0) }{\partial u_i}\leq -\lambda_i^*$

所以 $\lambda_i^*=-\frac{\partial P^*(0,0) }{\partial u_i}$

同理 $v_i^*=-\frac{\partial P^*(0,0) }{\partial l_i}$

解释：稍稍加强第i个不等式约束，即选择一个数值较小且小于零的 $u_i$ ，会使得 $P^*$ 增加大约 $-\lambda_i^*u_i$ ，稍稍放松第i个约束，即选择一个数值较小且大于零的 $u_i$ ，会使得 $P^*$ 减小大约 $\lambda_i^*u_i$ 。

凸优化第五章对偶 5.6扰动及灵敏度分析相关推荐

凸优化第五章对偶 5.1 Lagrange对偶函数
5.1 Lagrange对偶函数 Lagrange Lagrange对偶函数最优值的下界例子 Lagrange对偶函数和共轭函数 Lagrange 标准形式的优化问题: 其中,问题的定义域,注意这 ...
凸优化第五章对偶 5.1Lagrange对偶函数
5.1Lagrange对偶函数 Lagrange Lagrange对偶函数最优值的下界例子 Lagrange对偶函数和共轭函数 Lagrange 标准形式的优化问题: 其中,问题的定义域,注意这里 ...
《C++应用程序性能优化::第五章动态内存管理》学习和理解
<C++应用程序性能优化::第五章动态内存管理>学习和理解说明:<C++应用程序性能优化> 作者:冯宏华等 2007年版. 2010.8.29 cs_wuyg@126.com ...
凸优化 matlab-cvx-第十一章ADVANCED TOPICS
注意:在本节中,我们描述了CVX的一些更高级的功能.我们建议你先跳过这一节,直到你对上面描述的基本能力感到满意为止. 11.1消除二次型我们强烈建议的一个特殊的改写是消除二次型- -即像sum _ ...
凸优化第四章凸优化问题 4.2凸优化
4.2凸优化标准形式的凸优化问题局部最优解与全局最优解可微函数的最优性准则等价的凸问题拟凸优化标准形式的凸优化问题是凸函数,等式约束是仿射函数.则此优化问题是凸优化问题. 也可以写成重 ...
精通安卓性能优化-第五章（三）
Concurrency 在java.util.concurrent.atomic和java.util.concurrent.locks包中定义了更多的类.java.util.concurrent.at ...
凸优化第三章凸函数 3.1基本性质和例子
3.1基本性质和例子定义扩展值延伸一阶条件二阶条件例子下水平集上境图 Jensen不等式及其扩展不等式定义函数f是凸函数,当f的定义域S是凸集,且严格凸函数: 从几何上来看,如下 ...
凸优化第三章凸函数 3.5 对数-凹函数和对数-凸函数
3.5 对数-凹函数和对数-凸函数定义相关性质定义称函数对数凹,如果是凹函数. 称函数对数凸,如果是凸函数. 函数f是对数凸的当且仅当1/f是对数凹的. 当时,,相当于对log(f)进行扩展值 ...
凸优化第三章凸函数 3.3 共轭函数
3.3 共轭函数定义基本性质定义设函数,定义函数为: 此函数称为f(x)的共轭函数.从3.2节逐点上确界的内容也可以看出,此函数也是的逐点上确界函数,而是关于y的仿射函数,可以将其看成是凸函数 ...
凸优化第三章凸函数 3.3共轭函数
3.3共轭函数定义基本性质定义设函数,定义函数为: 此函数称为f(x)的共轭函数.从3.2节逐点上确界的内容也可以看出,此函数也是的逐点上确界函数,而是关于y的仿射函数,可以将其看成是凸函数, ...

凸优化第五章对偶 5.6扰动及灵敏度分析