凸优化——详解对偶和鞍点
对偶
原问题的最优解（最小解）p∗p^*p∗一定是大于等于其对偶问题的最优解（最大值）d∗d^*d∗的：
p∗>=d∗p^*>=d^*p∗>=d∗
这是对偶问题最重要的一条性质
弱对偶
满足p∗>=d∗p^*>=d^*p∗>=d∗，这就是弱对偶性，无论原函数是不是凸的，只要有解就一定满足前述不等式，也就是说一定都是弱对偶的。
强对偶
如果一个问题p∗=d∗p^*=d^*p∗=d∗，那原问题和对偶问题就是强对偶的。也就是最优对偶间隙p∗−d∗p^*-d^*p∗−d∗为0；（）
相对内部
数学家总是把很简单的问题复杂化。其实你了解含义之后再读公式就不复杂了，两个公式唯一区别就是不等号是严格成立还是非严格，也就是说相对可行内点集就是去掉边界的可行集。（“相对内部”这个概念还有另一种牵涉到仿射包和圆的解释，就不介绍了）
强对偶一般情况下都是成立的，不过作为数学推导，你还是需要用斯莱特条件去验证一下
我们最想要的一定是强对偶情况，因为这样我们就可以把原问题最优解改为求对偶问题的最优解。所以最重要的问题就变成了什么问题是强对偶问题???
slater条件or约束：
要使用Slater条件的先决条件是原问题必须是凸问题（凸的目标函数和不等式约束+仿射的等式约束），然后，Slater条件如下：
- 满足等式约束
- 满足不等式约束但除去等号（注意：这里是把约束增强了）
也就是x∈relint(D)x\in relint(D)x∈relint(D)，
有些问题反过来想可能比较容易想出来，什么是不满足slater条件的凸问题？就是凸问题如果把它不等式约束换成绝对不等式，定义域就是空集了
满足Slater条件的凸问题==>强对偶成立，该问题对偶问题最优解等于原问题最优解。
看到一个新的定义、定理，我们来反思一下它是什么意思，
看着好像很复杂，但其实很容易对吧，其实就是给不等式条件剥了层皮！
注意等号是单向的，反过来未必成立。也就是一般问题、非凸问题也可能是强对偶问题，凸问题，不满足这些条件也可能强对偶成立。
//
//
上面的暂且称为严格的Slater条件，因为对不等式的要求是严格成立，下面介绍改进的，也是放宽松的Slater约束：
我还是喜欢用文字描述，否则跟数学书没区别了。
不等式约束中有些是仿射函数，这些仿射函数我们就不要求它严格遵守不等式了，他们的不等式被允许带等号。这就成为了宽松的Slater条件。**也就是Slater条件主要约束了不等式约束中非仿射/线性的那部分约束。**当问题只有线性/仿射不等式约束那Slater约束对这个问题就没意义了。
例子
书里介绍两个例子，证明过程看着都十分十分痛苦。直接给结论：
原问题是：
- 线性规划：无论是标准形式还是不等式形式，只要原问题可行，强对偶一定成立，所以遇到线性规划不容易求我们求其对偶问题也可以。‘
- QCQP 问题：即二次约束二次 规划问题，当二次约束严格成立时，强对偶成立。
几何解释
经济学解释
原问题的解释
minimizef0(x)minimize f_0(x)minimizef0(x)
s.t.s.t.s.t. fi(x)≤0f_i(x) \leq 0fi(x)≤0_______i=1…m
（注意该问题没有等式约束）
x是公司的经营策略，f0（x）f_0（x）f0（x）是该策略下产生的成本，我们的目的是最小化成本
fi(x)f_i(x)fi(x)是该策略下i项资源的需求，咱们问题就假设成“iii号厂房所租用的面积”（可能要求面积大于某个值bib_ibi，但通过变号移项我们都能得到上式subject to的不等式，所以从实际意义上我们暂时把约束理解成比较容易理解的———厂房面积）
对偶问题
- 咱们先说拉格朗日问题：假设原问题的约束是能打破的，i厂房的面积不够咱们可以再买
鞍点解释
先介绍一个性质：
函数f(w,z)f(w,z)f(w,z)，w∈Sw,z∈Szw \in S_w,z \in S_zw∈Sw,z∈Sz
一定有：subz∈Sz(infw∈S(f(w,z)))≤infw(subz(f(w,z)))sub_{z \in S_z} (inf_{w \in S}(f(w,z))) \leq inf_{w}(sub_{z}(f(w,z)))subz∈Sz(infw∈S(f(w,z)))≤infw(subz(f(w,z)))
理解：假设w一个班级的行，z就是列，原函数得到的是最高的那个同学，sub(inf())sub(inf())sub(inf())相当于在最矮的里面找最高的，inf(sub())inf(sub())inf(sub())就是在最高的里面找最矮的，如此一来就知道这个式子肯定是成立的。就是min(max)不等式
鞍点
就是subz∈Sz(infw∈S(f(w,z)))≤infw(subz(f(w,z)))sub_{z \in S_z} (inf_{w \in S}(f(w,z))) \leq inf_{w}(sub_{z}(f(w,z)))subz∈Sz(infw∈S(f(w,z)))≤infw(subz(f(w,z)))
取等号的时候，
且，两边对应的w、zw、zw、z取值也对应相等，即满足
- subz∈Sz(infw∈S(f(w,z)))=infw(subz(f(w,z)))sub_{z \in S_z} (\inf_{w \in S}(f(w,z))) = inf_{w}(sub_{z}(f(w,z)))subz∈Sz(infw∈S(f(w,z)))=infw(subz(f(w,z)))
- argsubz∈Sz(infw∈S(f(w,z)))=arg(infw(subz(f(w,z))))arg{ sub_{z \in S_z} (\inf_{w \in S}(f(w,z))) } =arg( inf_{w}(sub_{z}(f(w,z))))argsubz∈Sz(infw∈S(f(w,z)))=arg(infw(subz(f(w,z))))
看上面的图形，网格化更容易看一些，我们假设横着的方向是x轴方向，从屏幕内伸到外的方向为y方向。
- 延x轴方向取y的最大，意思就是平行于y轴且垂直于xoy面的平面，延x轴滑动，跟图像相交的肯定是一条曲线，曲线求最大就是最高的那条曲线。上述操作后得到的是一条关于y的曲线，跟x无关因为这条曲线跟x轴是垂直的。最后，我们求曲线的最低点。
- 再延y轴方向取x的最小曲线，即平行于x轴垂直于y轴的平面延y轴移动求最低的那条曲线，再求曲线最高点。
上述两次操作后得到的点汇聚于同一点的情况下，这个点就是鞍点。
鞍点和对偶的关系
说了那么多鞍点那到底他跟原函数（无论凸或非凸）什么关系呢？
它们都有很多的sub或者inf对吧，那我们想着能不能从其中找出它们的联系。
p∗=min{f0(x)∣fi(x)≤0}p^*=min\{f_0(x)|f_i(x)\leq 0\}p∗=min{f0(x)∣fi(x)≤0}
我们只是把它原问题写成了这么一种形式，肯定是成立的。
最后一个新知识点
拉格朗日问题L(x,λ)=f0(x)+∑i=1mfi(x)L(x,\lambda)=f_0(x)+\sum_{i=1}^m f_i(x)L(x,λ)=f0(x)+∑i=1mfi(x)
对他求最大
supλ≥0{L(x,λ)}sup_{\lambda \geq 0}\{L(x,\lambda)\}supλ≥0{L(x,λ)}=
鞍点定理
如果x∗和λ∗x^*和\lambda ^*x∗和λ∗分别是原问题和对偶问题的最优解，且对偶强对偶成立，可以得到结论：
（x∗，λ∗x^*，\lambda ^*x∗，λ∗）是原问题拉格朗日函数的鞍点
反过来也成立，即：原问题拉格朗日函数的某点（x，λx，\lambdax，λ）为鞍点，那么这一点就是原问题和对偶问题的最优解，且强对偶成立
如果我们找到对偶函数的鞍点，就找到了原函数和对偶函数的最优解，然而找鞍点的问题是一个min(max)的问题，并不是一个容易解的问题。故这里只是给出鞍点这么一个解释，并不是真的让大家找原问题拉格朗日函数的鞍点。
凸优化——详解对偶和鞍点相关推荐
- 凸优化——详解原函数的对偶函数、对偶问题和共轭函数之间的关系（我尽力了）
一. 原函数的对偶函数和共轭函数 对偶函数 原函数 ==> 拉格朗日函数 ==> 对偶函数(拉格朗日对偶函数) f0f_0f0 ==>L(x,λ\lambdaλ,v) ==> ...
- MySQL之SQL优化详解（二）
目录 MySQL之SQL优化详解(二) 1. SQL的执行顺序 1.1 手写顺序 1.2 机读顺序 2. 七种join 3. 索引 3.1 索引初探 3.2 索引分类 3.3 建与不建 4. 性能分析 ...
- lucene.NET详细使用与优化详解
lucene.NET详细使用与优化详解 http://www.cnblogs.com/qq4004229/archive/2010/05/21/1741025.html http://www.shan ...
- python实现单例模式的几种方式_基于Python中单例模式的几种实现方式及优化详解...
单例模式 单例模式(Singleton Pattern)是一种常用的软件设计模式,该模式的主要目的是确保某一个类只有一个实例存在.当你希望在整个系统中,某个类只能出现一个实例时,单例对象就能派上用场. ...
- 高效并发：Synchornized的锁优化详解
高效并发:Synchornized的锁优化详解 1. HotSpot虚拟机的对象头的内存布局 2. 偏向锁 举一反三:当锁进入偏向状态时,存储hash码的位置被覆盖了,那对象的hash码存储到哪儿的? ...
- MySQL-5.5.32 配置文件优化详解
目录 MySQL-5.5.32 配置文件优化详解 一.配置文件说明 2.my-medium.cnf 3.my-large.cnf 4.my-huge.cnf 5.my-innodb-heavy-4G. ...
- 网易考拉海购Dubbok框架优化详解
网易考拉海购Dubbok框架优化详解 摘要:微服务化是当前电商产品演化的必然趋势,网易考拉海购通过微服务化打破了业务爆发增长的架构瓶颈.本文结合网易考拉海购引用的开源Dubbo框架,分享支持考拉微服务 ...
- 快速排序深度优化详解
正如它的名字所体现,快速排序是在实践中最快的已知排序算法,平均运行时间为O(NlogN),最坏的运行时间为O(N^2).算法的基本思想很简单,然而想要写出一个高效的快速排序算法并不是那么简单.基准的选 ...
- mysql索引linke和等于_MySQL之SQL优化详解（三）
摘要: 致索引失效而转向全表扫描存储引擎不能使用索引中范围条件右边的列mysql在使用不等于(!=或者<>)的时候无法使用索引会导致全表扫描isnull,isnotnull也无法使用索引l ...
最新文章
- Python怎么利用多核cpu
- 适应安装程序用的TreeView控件
- Mysql -- SQL常用命令实例
- 软件系统开发中的数据交换协议
- 轻松实现全国高校地理位置数据爬取（文末附源码和数据集）
- 利用python绘制雪景图_用AI绘制冬季雪景森林场景插画图片
- CSRF和SSRF漏洞
- EMCC Vmware 安装82%出错
- php苹果笔记本编程,Mac端软件推荐，让你成为编程高富帅！
- c/c++/linux精确定时器
- vue 点击打开pdf
- 生存曲线 p值 python_scikit学习线性回归中的p值（显著性）
- 测试用例(功能用例)——登录、首页、个人信息
- 我用Python抓取了自如上所有的租房信息，随心所欲的选房
- MySQL学习（一）
- MS5607 气压计调试记录
- 计算机相关专业术语中英文对照
- 亲测无限坐席在线客服系统源码，基于ThinkPHP的一款在线客服系统源码
- VR元宇宙展会，带来全新线上展厅沉浸式体验
- 优测云服务平台告诉你软件测试的工作内容主要有哪些？