[机器学习] 凸优化的总结

在机器学习中，很多情况下我们想要优化一个函数。举个例子：给定一个函数 f：Rn−>R f ： R n − > R f：R^n ->R，我们要找到一个 x∈Rn x ∈ R n x\in R^n使得 f(x) f ( x ) f(x)取得最大值/最小值。

通常来说，找到一个全局最优解是困难的。但是，对于凸优化问题，局部最优解便是全局最优解。

凸集

在进行凸优化之前，首先我们要知道什么是凸集。

定义：如果集合C是一个凸集，那么对于 ∀x,y∈C ∀ x , y ∈ C \forall x, y \in C， θ∈R(θ≤θ≤1) θ ∈ R ( θ ≤ θ ≤ 1 ) \theta\in R(\theta\le\theta\le 1)，总有

θx+(1−θ)y∈C θ x + ( 1 − θ ) y ∈ C

\theta x+(1-\theta )y\in C

几何含义：如果我们对于C中任意两个元素进行连接形成一条直线，那么直线上的任意一个点都在C中，我们称之为凸集。

例如上图，左侧是凸集，右侧是非凸集。

凸函数

定义：对于一个函数 f:Rn−>R f : R n − > R f:R^n->R，它的定义域是一个凸集 D(f) D ( f ) D(f)，且对于 ∀x,y∈D(f) ∀ x , y ∈ D ( f ) \forall x, y \in D(f)， 0≤θ≤1 0 ≤ θ ≤ 1 0\le \theta \le 1 ，有

f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y) f ( θ x + ( 1 − θ ) y ) ≤ θ f ( x ) + ( 1 − θ ) f ( y )

f(\theta x + (1-\theta)y) \le \theta f(x) + (1-\theta)f(y)

几何含义：我们在凸函数的图上任取两个点连成一条直线，在这条直线的范围内，凹函数图上的值小于这个直线上的值。

注意：同济高等数学上凸函数，凹函数的定义和国外凹凸函数的定义是相反的。

凸函数的一阶充要条件：

f(y)≥f(x)+∇xf(x)T(y−x) f ( y ) ≥ f ( x ) + ∇ x f ( x ) T ( y − x )

f(y) \ge f(x) + \nabla_x f(x)^T(y-x)
其中要求 f f f可微

凸函数的二阶充要条件：

∇x2f(x)≥0" role="presentation">∇2xf(x)≥0∇x2f(x)≥0

\nabla_x^2 f(x) \ge 0

其中要求 f f f的二阶可微。

凸优化问题

我们已经知道啦什么是凸函数、凸集，现在可以考虑凸优化问题。通常一个凸优化问题的形式是：

minimizef(x)st.x∈C" role="presentation">minimizef(x)st.x∈Cminimizef(x)st.x∈C

minimize \quad f(x)\\st. \quad x\in C

st为subject_to缩写。其中 f f f是一个凸函数，C是一个凸集，x是需要优化的变量。然而，上面的式子表达不够清楚，我们通常写成下面的：

minimizef(x)st.gi(x)≤0,i=1,2,...,mhi(x)=0,i=1,2,...,p" role="presentation">minimizef(x)st.gi(x)≤0,i=1,2,...,mhi(x)=0,i=1,2,...,pminimizef(x)st.gi(x)≤0,i=1,2,...,mhi(x)=0,i=1,2,...,p

minimize \quad f(x)\\st. \begin{aligned}&\quad g_i(x)\le 0,\quad i=1, 2,...,m\\&\quad h_i(x)=0,\quad i=1,2,...,p\end{aligned}

其中 f f f是一个凸函数，gi" role="presentation">gigig_i是凸函数， hi h i h_i是仿射函数，x是需要优化的变量。

对于凸优化问题来说，局部最优解就是全局最优解。

常见的凸优化问题

线性规划（Linear Programming）
如果目标函数 f f f和约束g" role="presentation">ggg都是仿射函数，那这种凸优化问题被称为线性规划问题。

minimizecTx+dsubject toGx≤hAx=b m i n i m i z e c T x + d s u b j e c t t o G x ≤ h A x = b

minimize \quad c^Tx + d\\\begin{aligned}subject \ to \quad &Gx \le h\\&Ax=b\end{aligned}
其中 x∈Rn x ∈ R n x \in R^n是需要优化的变量， c∈Rn,d∈R,G∈Rm∗n,h∈Rm,A∈Rp∗n,b∈Rp c ∈ R n , d ∈ R , G ∈ R m ∗ n , h ∈ R m , A ∈ R p ∗ n , b ∈ R p c \in R^n, d\in R,G\in R^{m*n},h\in R^m, A\in R^{p*n},b\in R^p
二次规划（QP）
如果目标函数 f f f是凸二次函数，约束g是不等式的形式，那么这种凸优化问题被称为二次规划问题。

minimize12xTPx+cTx+dsubject toGx≤hAx=b" role="presentation">minimize12xTPx+cTx+dsubject toGx≤hAx=bminimize12xTPx+cTx+dsubject toGx≤hAx=b

minimize \quad \frac{1}{2}x^TPx +c^Tx + d\\\begin{aligned}subject \ to \quad &Gx \le h\\&Ax=b\end{aligned}
其中 x∈Rn x ∈ R n x \in R^n是需要优化的变量， c∈Rn,d∈R,G∈Rm∗n,h∈Rm,A∈Rp∗n,b∈Rp,p∈Sn+ c ∈ R n , d ∈ R , G ∈ R m ∗ n , h ∈ R m , A ∈ R p ∗ n , b ∈ R p , p ∈ S + n c \in R^n, d\in R,G\in R^{m*n},h\in R^m, A\in R^{p*n},b\in R^p, p\in S^n_+
二次约束的二次规划（QCQP）
如果目标函数 f f f和g" role="presentation">ggg都是凸二次函数，那么这种凸优化问题被称为二次约束的二次规划问题。

minimize12xTPx+cTx+dsubject to12xTQix+rTix+si≤0i=1,2,...mAx=b m i n i m i z e 1 2 x T P x + c T x + d s u b j e c t t o 1 2 x T Q i x + r i T x + s i ≤ 0 i = 1 , 2 , . . . m A x = b

minimize \quad \frac{1}{2}x^TPx +c^Tx + d\\\begin{aligned}subject \ to \quad &\frac{1}{2}x^TQ_ix+r_i^Tx+s_i \le 0 \quad i=1, 2,...m\\&Ax=b\end{aligned}
其中 x∈Rn x ∈ R n x \in R^n是需要优化的变量， c∈Rn,d∈R,G∈Rm∗n,A∈Rp∗n,b∈Rp,p∈Sn+,Q∈Sni c ∈ R n , d ∈ R , G ∈ R m ∗ n , A ∈ R p ∗ n , b ∈ R p , p ∈ S + n , Q ∈ S i n c \in R^n, d\in R,G\in R^{m*n}, A\in R^{p*n},b\in R^p, p\in S^n_+, Q \in S^n_i

参考资料

http://www.cnblogs.com/fuleying/p/4481334.html
http://cs229.stanford.edu/section/cs229-cvxopt.pdf