凹凸性和Jensen不等式

参照：

凹凸性:https://blog.csdn.net/hqh131360239/article/details/82751791
Jensen不等式:https://blog.csdn.net/phoenix198425/article/details/78388597

1、凹凸性

1.1、同济大学高等数学定义

\qquad凹凸函数在同济大学高等数学中的定义符合人们的思维定式。在国际上的定义恰好与同济大学高等数学中的定义相反。

1.2、国际上的定义：

\qquad国际上的定义刚好与国内的凹凸函数的定义相反。二阶导数大于0，则为凸函数，有极小值；二阶导数小于0，则为凹函数，有极大值（后面涉及到的凹凸函数，均为国际上的定义）；

\qquad例如：exe^xex的二阶导数大于0，为凸函数；logxlog\ xlog x的二阶导数小于0，为凹函数；

\qquad一元函数可以很容易的判断凹凸性，二元函数如何判断凹凸性？用到了海塞矩阵，根据海塞矩阵的正定性，判断凹凸性。

\qquad a）海塞矩阵
A=[∂2Z∂x2∂2Z∂x∂y∂2Z∂y∂x∂2Z∂y2]A=\left[\begin{matrix} \dfrac{\partial^2Z}{\partial x^2} & \dfrac{\partial^2Z}{\partial x\partial y}\\ \\ \dfrac{\partial^2Z}{\partial y\partial x} & \dfrac{\partial^2Z}{\partial y^2} \end{matrix}\right] A=⎣⎢⎢⎢⎢⎡∂x2∂2Z∂y∂x∂2Z∂x∂y∂2Z∂y2∂2Z⎦⎥⎥⎥⎥⎤

\qquad b）正定矩阵
\qquad判断海塞矩阵是否为正定矩阵；若所有特征值均不小于零，则称为半正定。若所有特征值均大于零，则称为正定。特征值怎么求？∣λE−A∣=0|\lambda E-A|=0∣λE−A∣=0，可以求出特征值。若除主对角线上的元素都为0，则主对角线上的值为特征值。detA=∣A∣=detA=|A|=detA=∣A∣=对角线元素积。

\qquad c）凹凸性判断（正定矩阵为凸函数）:

\qquad例题1：f(x,y)=x2+5y2−6x+10y+6f(x,y)=x^2+5y^2-6x+10y+6f(x,y)=x2+5y2−6x+10y+6

\qquad海塞矩阵A:
A=[20010]A=\left[\begin{matrix} 2 & 0 \\ \\ 0 & 10 \end{matrix}\right] A=⎣⎡20010⎦⎤
\qquad所有的特征值均大于0，海塞矩阵为正定矩阵，函数为凸函数。

\qquad例题2：f(x,y)=10(y2+4x)2+(1−4y)2f(x,y)=10(y^2+4x)^2+(1-4y)^2f(x,y)=10(y2+4x)2+(1−4y)2
\qquad海塞矩阵A:
A=[320−160y−160y120y2−160x+32]A=\left[\begin{matrix} 320 & -160y \\ \\ -160y & 120y^2-160x+32 \end{matrix}\right] A=⎣⎡320−160y−160y120y2−160x+32⎦⎤
\qquad根据特征值，决定函数的凹凸性。

2、Jensen不等式

2.1、特殊形式

\qquad针对于上述的凸函数，直观意义上的凸函数，有特殊形式：
f(a+b2)≥12(f(a)+f(b))=12f(a)+12f(b)f(\dfrac{a+b}{2}) \ge \dfrac{1}{2}(f(a) + f(b)) = \dfrac{1}{2} f(a) + \dfrac{1}{2} f(b) f(2a+b)≥21(f(a)+f(b))=21f(a)+21f(b)

2.2、简单引申

\qquad针对于上述的凸函数，λ\lambdaλ相当于x1x_1x1的概率，1−λ1-\lambda1−λ相当于x2x_2x2的概率，则有:
f(λx1+(1−λ)x2)≥λf(x1)+(1−λ)f(x2)f(\lambda x_1 + (1-\lambda) x_2) \ge \lambda f(x_1) + (1-\lambda)f(x_2) f(λx1+(1−λ)x2)≥λf(x1)+(1−λ)f(x2)

2.3、延申拓展

\qquad针对于上述的凸函数，λj\lambda_jλj为yjy_jyj概率，且有∑jλj=1,λj≥0\sum\limits_j\lambda_j=1,\lambda_j \ge 0j∑λj=1,λj≥0，则有：
f(∑jλjyj)≥∑jλjf(yj)f(\sum_j \lambda_jy_j) \ge \sum_j\lambda_jf(y_j) f(j∑λjyj)≥j∑λjf(yj)

2.4、推论

\qquad若 f(x)f(x)f(x) 为区间RRR上的凸函数，g(x):R→Rg(x):R→Rg(x):R→R 为一任意函数，XXX 为一取值范围有限的离散变量， E[f(g(X))]E[f(g(X))]E[f(g(X))] 与 E[g(X)]E[g(X)]E[g(X)] 都存在，则：
f(E[g(X)])≥E[f(g(X))]f(E[g(X)]) \ge E[f(g(X))] f(E[g(X)])≥E[f(g(X))]

\qquad证明：
f(E[g(X)])=f(∑i=1npig(xi))≥∑i=1npif(g(xi))=E[f(g(X))]f(E[g(X)]) =f(\sum_{i=1}^np_ig(x_i))\ge \sum_{i=1}^np_if(g(x_i)) = E[f(g(X))] f(E[g(X)])=f(i=1∑npig(xi))≥i=1∑npif(g(xi))=E[f(g(X))]