漫步最优化五—

我不介意你慢慢的到来，\textbf{我不介意你慢慢的到来，}
我也不介意我们多少次擦肩而过，\textbf{我也不介意我们多少次擦肩而过，}
因为我一直相信我们都在相遇的路上马不停蹄。\textbf{因为我一直相信我们都在相遇的路上马不停蹄。}
——畅宝宝的傻逼哥哥\qquad\qquad\qquad\qquad\quad\textbf{——畅宝宝的傻逼哥哥}

任何满足等式以及不等式约束的点 x\textbf{x}称为优化问题的可行点，满足约束条件的点集构成了 f(x)f(\textbf{x})的可行定义域，显然，约束定义了一个 EnE^n的子集，因此可行域可以定义为：

R={x:ai(x)=0 for i=1,2,…,p and cj(x)≥0 for j=1,2,…,q}

R=\{\textbf{x}:a_i(\textbf{x})=0\ for\ i=1,2,\ldots,p\ and\ c_j(\textbf{x})\geq 0\ for\ j=1,2,\ldots,q\}

其中R⊂EnR\subset E^n

最优点x∗\textbf{x}^*必须位于可行域中，因此一般的约束优化问题可以写成：

minimize f(x)for x∈R

minimize\ f(\textbf{x})\quad for\ \textbf{x}\in R

任何不在RR中的点x\textbf{x}称为不可行点。

如果优化问题的约束都是不等式，那么约束将EnE^n空间中的点分成三种类型，如下所示：

内点
边界点
外点

内点就是对所有j,cj(x)>0j,c_j(\textbf{x})>0的点，边界点就是至少有一个cj(x)=0c_j(\textbf{x})=0的点，外点就是至少有一个cj(x)<0c_j(\textbf{x})的点。内点是可行点，边界点可能是也可能不是可行点，而外点是不可行点。

如果约束cm(x)c_m(\textbf{x})在某次迭代中等于零，那么我们能说这个约束是活跃的，如果达到收敛条件，cm(x∗)c_m(\textbf{x}^*)等于零，那么最优点x∗\textbf{x}^*在边界上。对于这样的情况，我们称最优点是有约束的，如果约束都是等式，那么可行点一定位于ai(x)=0a_i(\textbf{x})=0超平面的交集上，其中i=1,2,…,pi=1,2,\ldots,p，下面用例子说明上面的定义与概念。

例1：\textbf{例1：}用作图法，求解下面的优化问题：

minimize subject to: f(x)=x21+x22−4x1+4c1(x)=x1−2x2+6≥0c2(x)=−x21+x2−1≥0c3(x)=x1≥0c4(x)=x2≥0

\begin{align*} minimize\ &f(\textbf{x})=x_1^2+x_2^2-4x_1+4\\ subject\ to:\ &c_1(\textbf{x})=x_1-2x_2+6\geq 0\\ &c_2(\textbf{x})=-x_1^2+x_2-1\geq 0\\ &c_3(\textbf{x})=x_1\geq 0\\ &c_4(\textbf{x})=x_2\geq 0 \end{align*}

解：\textbf{解：}目标函数可以写成：

(x1−2)2+x22=f(x)

(x_1-2)^2+x_2^2=f(\textbf{x})

因此f(x)f(\textbf{x})在(x1,x2)(x_1,x_2)平面上的轮廓为圆心x1=2,x2=0x_1=2,x_2=0，半径f(x)‾‾‾‾√\sqrt{f(\textbf{x})}的同心圆，约束c1(x),c2(x)c_1(\textbf{x}),c_2(\textbf{x})表明

x2≤12x1+3

x_2\leq\frac{1}{2}x_1+3

且

x2≥x21+1

x_2\geq x_1^2+1

而约束c3(x),c4(x)c_3(\textbf{x}),c_4(\textbf{x})表明x1,x2x_1,x_2为正，f(x)f(\textbf{x})的轮廓与约束边界如图1所示。

图1中的可行域就是阴影部分，问题的解位于点AA处，在约束c2(x)c_2(\textbf{x})的边界上。实际上，这个解是约束最优点，所以如果这个问题用数学规划求解，当达到问题的解时，约束c2(x)c_2(\textbf{x})将是活跃的。

图1

在没有约束的情况下，f(x)f(\textbf{x})的最小值发生在点BB处。

例2：\textbf{例2：}用作图法求解下面的优化问题：

minimize f(x)=x21+x22+2x2subject to: a1(x)=x21+x22−1=0c1(x)=x1+x2−0.5≥0c2(x)=x1≥0c3(x)=x2≥0

\begin{align*} minimize\ f(\textbf{x})=x_1^2+x_2^2+2x_2\\ subject\ to:\ a_1(\textbf{x})=x_1^2+x_2^2-1=0\\ c_1(\textbf{x})=x_1+x_2-0.5\geq 0\\ c_2(\textbf{x})=x_1\geq 0\\ c_3(\textbf{x})=x_2\geq 0 \end{align*}

解：\textbf{解：}目标函数可以写成：

x21+(x2+1)2=f(x)+1

x_1^2+(x_2+1)^2=f(\textbf{x})+1

因此f(x)f(\textbf{x})在(x1,x2)(x_1,x_2)平面上的轮廓为圆心x1=0,x2=−1x_1=0,x_2=-1，半径f(x)+1‾‾‾‾‾‾‾‾√\sqrt{f(\textbf{x})+1}的同心圆，约束a1(x)a_1(\textbf{x})是圆心在原点半径为1的圆。另一方 main，约束c1(x)c_1(\textbf{x})是一条直线，因为它要求

x2≥−x1+0.5

x_2\geq -x_1+0.5

最后两个约束表面x1,x2x_1,x_2是负的，因此得到的图像如图2所示。

图2

这时候，可行域在 a1(x)=0a_1(\textbf{x})=0第一象限的弧上，满足约束的最优解在点 AA处，这个例子中有两个活跃的约束，a1(x),c3(x)a_1(\textbf{x}),c_3(\textbf{x})。

没有约束的情况下，解在点BB处。

在上面的实例中，构成可行域的点集合如图3(a)所示是在一起的，但有时候可行域由两个或多个不联通的部分组成，如图3(b)所示。如果是后者，那么会产生下面的困难。一般而言优化过程都是从初始估计值开始，然后不断迭代产生一系列值，那么如果可行域由两部分组成，A,BA,B，如果初始值位于AA中，那么最优解就会落到AA中，那么就可能错过B<script type="math/tex" id="MathJax-Element-6786">B</script>中更好的解。然而幸运的是，实际生活中的大部分问题，通过仔细的表示问题，是可以避免这个困难的。

图3

漫步最优化五——可行域相关推荐

漫步最优化四十五——矩阵S的生成
想赖着你每一天,\textbf{想赖着你每一天,} 耽误多一秒都不愿意.\textbf{耽误多一秒都不愿意.} 想把你捧在手心,\textbf{想把你捧在手心,} 给你我最奢侈的温柔.\textbf{ ...
漫步最优化三十五——共轭
我对你的喜欢像玻璃,\textbf{我对你的喜欢像玻璃,} 透明的能被你看穿.\textbf{透明的能被你看穿.} 我对你的思念像影子,\textbf{我对你的思念像影子,} 傍晚时分就被拉长.\te ...
漫步最优化二十五——斐波那契搜索
白天与黑夜,\textbf{白天与黑夜,} 希望陪你共同走过.\textbf{希望陪你共同走过.} 整夜的美梦,\textbf{整夜的美梦,} 希望抱你一起回味.\textbf{希望抱你一起回味.} ...
漫步最优化十五——凸函数优化
你在穿山越岭的另一边,\textbf{你在穿山越岭的另一边,} 而我也在没有尽头的孤独路上前行.\textbf{而我也在没有尽头的孤独路上前行.} 试着体会错误,试着忍住眼泪,\textbf{试着体会 ...
漫步最优化十三——驻点
从遇见你的那刻起,\textbf{从遇见你的那刻起,} 我的世界开始改变.\textbf{我的世界开始改变.} 从听到你的那句话,\textbf{从听到你的那句话,} 我的信心开始萌芽.\textbf ...
漫步最优化四十二——Partan法
漆黑的冷空中有你,\textbf{漆黑的冷空中有你,} 惺忪的眼睛中有你,\textbf{惺忪的眼睛中有你,} 心底的记忆中有你,\textbf{心底的记忆中有你,} 你留在我的脑海中,\textbf ...
漫步最优化二十三——一维优化
你的每一句话,回荡在耳边:\textbf{你的每一句话,回荡在耳边:} 你闪动的双眼,徘徊在脑海.\textbf{你闪动的双眼,徘徊在脑海.} 好像告诉你,\textbf{好像告诉你,} 天天在想你. ...
漫步最优化十二——局部极小与极大的充分必要条件(下)
我心里有个小小的愿望,\textbf{我心里有个小小的愿望,} 就是在接下来漫长的路途中,\textbf{就是在接下来漫长的路途中,} 把我们爱的点点滴滴装进行囊.\textbf{把我们爱的点点滴滴装 ...
漫步最优化十——极值类型
深夜里,你不断徘徊在我的心田,\textbf{深夜里,你不断徘徊在我的心田,} 你的每一句誓言都在耳边回荡,\textbf{你的每一句誓言都在耳边回荡,} 你闪动的双眼隐藏着你的羞涩.\textbf{ ...

漫步最优化五——可行域

漫步最优化五——可行域相关推荐

最新文章

热门文章