漫步最优化十——极值类型

深夜里，你不断徘徊在我的心田，\textbf{深夜里，你不断徘徊在我的心田，}
你的每一句誓言都在耳边回荡，\textbf{你的每一句誓言都在耳边回荡，}
你闪动的双眼隐藏着你的羞涩。\textbf{你闪动的双眼隐藏着你的羞涩。}
天天想你，\textbf{天天想你，}
天天守住一颗心，\textbf{天天守住一颗心，}
我会把最好的爱留给你。\textbf{我会把最好的爱留给你。}
——畅宝宝的傻逼哥哥\qquad\qquad\quad\textbf{——畅宝宝的傻逼哥哥}

函数的极值是它的极大值与极小值，函数取极小值(极大值)的点称为极小值(极大值)点，有几种不同类型的极小值点(极大值点)，即局部或全局，弱或强。

定义1：\textbf{定义1：}对点x∗∈R\textbf{x}^*\in R，其中RR是可行域，如果存在ϵ>0\epsilon>0使得如果

x∈R,∥x−x∗∥<ϵ

\textbf{x}\in R,\Vert\textbf{x}-\textbf{x}^*\Vert

则

f(x)≥f(x∗)

f(\textbf{x})\geq f(\textbf{x}^*)

，那么称该点为弱局部极小值点。

定义2：\textbf{定义2：}如果对所有x∈R,f(x)≥f(x∗)\textbf{x}\in R,f(\textbf{x})\geq f(\textbf{x}^*)，那么称点x∗∈R\textbf{x}^*\in R为f(x)f(\textbf{x})的弱全局极小值点。

如果点x∗\textbf{x}^*满足定义2，那么自然满足定义1，所以全局极小值点也是局部极小值点。

定义3：\textbf{定义3：}如果定义1或定义2中的大于等于改成大于

f(x)>f(x∗)

f(\textbf{x})>f(\textbf{x}^*)

，那么称x∗\textbf{x}^*为强局部(或全局)极小值点。

E2E^2中的强全局极小如图1所示。

弱或强与局部或全局极大值点通过反转一下上面的符号即可。

例1：\textbf{例1：}图2中函数的可行域定义为集合

R={x:x1≤x≤x2}

R=\{x:x_1\leq x\leq x_2\}

，求出最小值点。

解：\textbf{解：}函数在点BB有弱局部极小值，在A,C,DA,C,D有强局部极小值，在CC有强全局极小值。

图1

对于一般的最优化问题，我们原则上是找f(x)f(\textbf{x})的全局极小值。实践中，优化问题可能有两个或更多的局部极小值，因为优化算法一般都是从解的估计值开始，不断迭代，最后会收敛到一个值，那么其他的局部极小就会错过。如果错过了全局极小，那么我们得到的是次最优解，当然也可能得不到。这个问题通过多运行几次优化算法且从不同的初始值开始，可能会找出几个不同的局部极小，如果该方法成功，那我们找出里面最小的值作为最佳极小值点，虽然从实际角度可以接受这样的街，但是无法保证达到全局极小值，因此处于简便，一般优化问题中的最小化f(x)f(\textbf{x})解释为找f(x)f(\textbf{x})的局部极小值。

对于某些特殊问题，也就是f(x),Rf(\textbf{x}),R满足一些凸的性质，f(x)f(\textbf{x})的任何局部极小也是f(x)f(\textbf{x})的全局极小。对这类问题可以保证最优解。

图2

漫步最优化十——极值类型相关推荐

漫步最优化十六——优化的一般问题
一直没有说我爱你,\textbf{一直没有说我爱你,} 一直没有拥抱你,\textbf{一直没有拥抱你,} 道路上虽然会留下伤口,\textbf{道路上虽然会留下伤口,} 可是随着时间总会愈合.\te ...
漫步最优化十九——封闭算法
想你的夜晚,\textbf{想你的夜晚,} 我在屋顶做着一个梦.\textbf{我在屋顶做着一个梦.} 我和你拥抱在明亮的月光下,\textbf{我和你拥抱在明亮的月光下,} 动人的旋律环绕在我俩身边 ...
漫步最优化十八——点到集合的映射
疲倦的时候,有个人会陪你:\textbf{疲倦的时候,有个人会陪你:} 孤单的时候,有个人会想你.\textbf{孤单的时候,有个人会想你.} 我的小宝贝啊,\textbf{我的小宝贝啊,} 好想捏捏 ...
漫步最优化十五——凸函数优化
你在穿山越岭的另一边,\textbf{你在穿山越岭的另一边,} 而我也在没有尽头的孤独路上前行.\textbf{而我也在没有尽头的孤独路上前行.} 试着体会错误,试着忍住眼泪,\textbf{试着体会 ...
漫步最优化十二——局部极小与极大的充分必要条件(下)
我心里有个小小的愿望,\textbf{我心里有个小小的愿望,} 就是在接下来漫长的路途中,\textbf{就是在接下来漫长的路途中,} 把我们爱的点点滴滴装进行囊.\textbf{把我们爱的点点滴滴装 ...
如何管理二十八类型的员工
如何管理二十八类型的员工一.如何管理不得力型员工用宽容之心对待不得力的员工. 用关爱之心激励不得力的员工. 用真诚之心感化不得力的员工. 以公平而严格的竞争和淘汰机制鞭策工作不得力的员工. 二.如 ...
漫步最优化四十二——Partan法
漆黑的冷空中有你,\textbf{漆黑的冷空中有你,} 惺忪的眼睛中有你,\textbf{惺忪的眼睛中有你,} 心底的记忆中有你,\textbf{心底的记忆中有你,} 你留在我的脑海中,\textbf ...
漫步最优化三十五——共轭
我对你的喜欢像玻璃,\textbf{我对你的喜欢像玻璃,} 透明的能被你看穿.\textbf{透明的能被你看穿.} 我对你的思念像影子,\textbf{我对你的思念像影子,} 傍晚时分就被拉长.\te ...
漫步最优化四十五——矩阵S的生成
想赖着你每一天,\textbf{想赖着你每一天,} 耽误多一秒都不愿意.\textbf{耽误多一秒都不愿意.} 想把你捧在手心,\textbf{想把你捧在手心,} 给你我最奢侈的温柔.\textbf{ ...

漫步最优化十——极值类型

漫步最优化十——极值类型相关推荐

最新文章

热门文章