凸优化之共轭函数（二）

定理3.3

假设f是闭凸函数，则
y∈∂f(x)⟺x∈∂f∗(y)⟺xTy=f(x)+f∗(y)y\in \partial f(x)\iff x\in \partial f^*(y)\iff x^Ty=f(x)+f^*(y) y∈∂f(x)⟺x∈∂f∗(y)⟺xTy=f(x)+f∗(y)

证明：若y∈∂f(x)y\in \partial f(x)y∈∂f(x)，则有f∗(y)=sup⁡u(yTu−f(u))=yTx−f(x)f^*(y)=\sup_u(y^Tu-f(u))=y^Tx-f(x)f∗(y)=supu(yTu−f(u))=yTx−f(x)，因此我们有：
f∗(v)=sup⁡u(vTu−f(u))≥vTx−f(x)=xT(v−y)+xTy−f(x)=f∗(y)+xT(v−y)\begin{aligned} f^*(v)&=\sup_u(v^Tu-f(u)) \\&\ge v^Tx-f(x) \\&=x^T(v-y)+x^Ty-f(x) \\&=f^*(y)+x^T(v-y) \end{aligned} f∗(v)=usup(vTu−f(u))≥vTx−f(x)=xT(v−y)+xTy−f(x)=f∗(y)+xT(v−y)这对于任意vvv均成立，因此x∈∂f∗(y)x\in \partial f^*(y)x∈∂f∗(y)，同理，f∗(y)f^*(y)f∗(y)也是闭凸的，由x∈∂f∗(y)x\in \partial f^*(y)x∈∂f∗(y)我们可以推出y∈∂f∗∗(x)y\in\partial f^{**}(x)y∈∂f∗∗(x)，但由于fff是闭凸函数，由定理3.2知f∗∗=ff^{**}=ff∗∗=f，即y∈∂f(x)y\in \partial f(x)y∈∂f(x)

定义3.5（强凸函数）

fff是μ\muμ-强凸函数如果domfdom\,fdomf是凸的对于任意x,y∈domf,θ∈[0,1]x,y\in dom\,f, \theta\in [0,1]x,y∈domf,θ∈[0,1]，有
f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)−μ2θ(1−θ)∣∣x−y∣∣2f(\theta x+(1-\theta)y)\le \theta f(x)+(1-\theta)f(y)-\frac{\mu}{2}\theta (1-\theta)||x-y||^2 f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)−2μθ(1−θ)∣∣x−y∣∣2

定理3.4（一阶条件）

如果fff是μ\muμ-强凸函数，则对于任意x,y∈domf,g∈∂f(x)x,y\in dom\,f,g\in \partial f(x)x,y∈domf,g∈∂f(x)，我们有：
f(y)≥f(x)+gT(y−x)+μ2∣∣x−y∣∣2f(y)\ge f(x)+g^T(y-x)+\frac{\mu}{2}||x-y||^2 f(y)≥f(x)+gT(y−x)+2μ∣∣x−y∣∣2证明：有次梯度的定义，我们有：
gT(y−x)≤inf⁡θ>0f(x+θ(y−x))−f(x)θ≤inf⁡θ∈(0,1](1−θ)f(x)+θf(y)−(μ/2)θ(1−θ)∣∣y−x∣∣2−f(x)θ≤f(y)−f(x)−μ2∣∣y−x∣∣2\begin{aligned} g^T(y-x)&\le \inf_{\theta>0}\frac{f(x+\theta(y-x))-f(x)}{\theta} \\&\le \inf_{\theta\in (0,1]}\frac{(1-\theta)f(x)+\theta f(y)-(\mu/2)\theta (1-\theta)||y-x||^2-f(x)}{\theta} \\&\le f(y)-f(x)-\frac{\mu}{2}||y-x||^2 \end{aligned} gT(y−x)≤θ>0infθf(x+θ(y−x))−f(x)≤θ∈(0,1]infθ(1−θ)f(x)+θf(y)−(μ/2)θ(1−θ)∣∣y−x∣∣2−f(x)≤f(y)−f(x)−2μ∣∣y−x∣∣2则结论成立。