霍夫丁------霍夫丁不等式

形式
凸函数
- 关于凸函数的不等式
引理
证明
描述

形式

一组相互独立的随机变量X1,X2,X3......XnX_1,X_2,X_3......X_nX1,X2,X3......Xn，定义随机变量X=∑i=1nXiX=\sum_{i=1}^nX_iX=∑i=1nXi，对应的XXX的期望E(X)=μE(X)=\muE(X)=μ，所有的a≤Xi≤ba\le X_i\le ba≤Xi≤b，于是对于任意的ξ>0\xi>0ξ>0有：

Pr(X>μ+ξ)≤exp⁡(−2ξ2(b−a)2)Pr(X>\mu+\xi)\le \exp(\frac{-2\xi^2}{(b-a)^2})Pr(X>μ+ξ)≤exp((b−a)2−2ξ2)

Pr(X<μ−ξ)≤exp⁡(−2ξ2(b−a)2)Pr(X<\mu-\xi)\le \exp(\frac{-2\xi^2}{(b-a)^2})Pr(X<μ−ξ)≤exp((b−a)2−2ξ2)

凸函数

从图上来看，凸函数是向下凹的，但是就是这么称呼，图上勾勒出了一个相似梯形，于是很容易得到如下关系：

tf(x1)+(1−t)f(x2)>f(tx1+(1−t)x2)tf(x_1)+(1-t)f(x_2)>f(tx_1+(1-t)x_2)tf(x1)+(1−t)f(x2)>f(tx1+(1−t)x2)

或者从平滑性来看，如果一个二次可导的函数，其二阶导数大于等于0，则对应的为凸函数。

关于凸函数的不等式

f(x)≤b−xb−af(a)+x−ab−af(b)f(x)\le \frac{b-x}{b-a}f(a)+\frac{x-a}{b-a}f(b)f(x)≤b−ab−xf(a)+b−ax−af(b)

证明如下：

图中直线上的点表示为：

y=f(a)+f(b)−f(a)b−a(x−a)y=f(a)+\frac{f(b)-f(a)}{b-a}(x-a)y=f(a)+b−af(b)−f(a)(x−a)

转化一下为：

y=(x−a)b−af(b)+(1−(x−a)b−a)f(a)=b−xb−af(a)+x−ab−af(b)y=\frac{(x-a)}{b-a}f(b)+(1-\frac{(x-a)}{b-a})f(a)=\frac{b-x}{b-a}f(a)+\frac{x-a}{b-a}f(b)y=b−a(x−a)f(b)+(1−b−a(x−a))f(a)=b−ab−xf(a)+b−ax−af(b)

显然该直线上的点大于下方曲线上对应的点

f(x)≤b−xb−af(a)+x−ab−af(b)f(x)\le \frac{b-x}{b-a}f(a)+\frac{x-a}{b-a}f(b)f(x)≤b−ab−xf(a)+b−ax−af(b)，证毕。

引理

在正式说明不等式之前先需要证明如下引理：

随机变量X，其期望E(X)=0E(X)=0E(X)=0，X取值在[a,b][a,b][a,b]上，其矩母函数为MX(s)=E(esX)M_X(s)=E(e^{sX})MX(s)=E(esX)，有：

MX(s)≤exp(s2(b−a)28)M_X(s)\le exp(\frac{s^2(b-a)^2}{8})MX(s)≤exp(8s2(b−a)2)

证明如下：

E(esX)≤E(b−xb−aesa+x−ab−aesb)=b−E(x)b−aesa+E(x)−ab−aesbE(e^{sX})\le E(\frac{b-x}{b-a}e^{sa}+\frac{x-a}{b-a}e^{sb})=\frac{b-E(x)}{b-a}e^{sa}+\frac{E(x)-a}{b-a}e^{sb}E(esX)≤E(b−ab−xesa+b−ax−aesb)=b−ab−E(x)esa+b−aE(x)−aesb

对应的E(X)=0E(X)=0E(X)=0，于是有：

E(esX)≤bb−aesa−ab−aesbE(e^{sX})\le \frac{b}{b-a}e^{sa}-\frac{a}{b-a}e^{sb}E(esX)≤b−abesa−b−aaesb

bb−aesa−ab−aesb=esa(1+ab−a−ab−aes(b−a))\frac{b}{b-a}e^{sa}-\frac{a}{b-a}e^{sb}=e^{sa}(1+\frac{a}{b-a}-\frac{a}{b-a}e^{s(b-a)})b−abesa−b−aaesb=esa(1+b−aa−b−aaes(b−a))

令t=s(b−a),h=−ab−at=s(b-a),h=-\frac{a}{b-a}t=s(b−a),h=−b−aa，于是：

sa=−thsa=-thsa=−th，1+ab−a−ab−aes(b−a)=1−h+het1+\frac{a}{b-a}-\frac{a}{b-a}e^{s(b-a)}=1-h+he^t1+b−aa−b−aaes(b−a)=1−h+het

原式为exp⁡(−th+ln⁡(1−h+het))\exp(-th+\ln(1-h+he^t))exp(−th+ln(1−h+het))，h为常数，该式变为关于t的函数m(t)=−th+ln⁡(1−h+het)m(t)=-th+\ln(1-h+he^t)m(t)=−th+ln(1−h+het)

于是即证：m(t)≤18t2m(t)\le\frac{1}{8}t^2m(t)≤81t2

对m(t)m(t)m(t)进行泰勒展开：

m(t)=m(0)+m′(0)t+t22m′′(ξ)m(t)=m(0)+m'(0)t+\frac{t^2}{2}m''(\xi)m(t)=m(0)+m′(0)t+2t2m′′(ξ)

m′(t)=1−h−1−h1−h+hetm'(t)=1-h-\frac{1-h}{1-h+he^t}m′(t)=1−h−1−h+het1−h

m′′(t)=(1−h)het(1−h+het)2m''(t)=\frac{(1-h)he^t}{(1-h+he^t)^2}m′′(t)=(1−h+het)2(1−h)het，并且14−(1−h)het(1−h+het)2=[1−h−het2(1−h+het)]2≥0\frac{1}{4}-\frac{(1-h)he^t}{(1-h+he^t)^2}=[\frac{1-h-he^t}{2(1-h+he^t)}]^2\ge041−(1−h+het)2(1−h)het=[2(1−h+het)1−h−het]2≥0

于是可以得到m(0)=m′(0)=0m(0)=m'(0)=0m(0)=m′(0)=0，m′′(t)<14m''(t)<\frac{1}{4}m′′(t)<41，因此，m(t)≤18t2m(t)\le\frac{1}{8}t^2m(t)≤81t2，证毕。

证明

由切尔诺夫界推导中使用矩母函数构造马尔可夫不等式：

Pr(X−μ≥ξ)=Pr(es(X−μ)≥esξ)≤E(es(X−μ))esξPr(X-\mu\ge\xi)=Pr(e^{s(X-\mu)}\ge e^{s\xi} )\le \frac{E(e^{s(X-\mu)})}{e^{s\xi}}Pr(X−μ≥ξ)=Pr(es(X−μ)≥esξ)≤esξE(es(X−μ))

一组相互独立的随机变量X1,X2,X3......XnX_1,X_2,X_3......X_nX1,X2,X3......Xn，定义随机变量X=∑i=1nXiX=\sum_{i=1}^nX_iX=∑i=1nXi，对应的XXX的期望E(X)=μE(X)=\muE(X)=μ。因此X−μX-\muX−μ对应的期望E(X−μ)=0E(X-\mu)=0E(X−μ)=0，通过引理得到：

E(es(X−μ))esξ≤exp⁡(s2(b−a)28)exp⁡(−sξ)\frac{E(e^{s(X-\mu)})}{e^{s\xi}}\le \exp(\frac{s^2(b-a)^2}{8}) \exp(-s\xi)esξE(es(X−μ))≤exp(8s2(b−a)2)exp(−sξ)

其小于exp⁡(s2(b−a)28)exp⁡(−sξ)\exp(\frac{s^2(b-a)^2}{8}) \exp(-s\xi)exp(8s2(b−a)2)exp(−sξ)必然小于其最小值，当s=4ξ(b−a)2s=\frac{4\xi}{(b-a)^2}s=(b−a)24ξ时，取最小值为exp⁡(−2ξ2(b−a)2)\exp(\frac{-2\xi^2}{(b-a)^2})exp((b−a)2−2ξ2)。证毕。

同理对于：

Pr(X−μ≤−ξ)=Pr(e−s(X−μ)≥e−s(−ξ))≤E(es(μ−X))esξPr(X-\mu\le-\xi)=Pr(e^{-s(X-\mu)}\ge e^{-s(-\xi)} )\le \frac{E(e^{s(\mu-X)})}{e^{s\xi}}Pr(X−μ≤−ξ)=Pr(e−s(X−μ)≥e−s(−ξ))≤esξE(es(μ−X))

E(es(μ−X))esξ≤exp⁡(s2(b−a)28)exp⁡(−sξ)\frac{E(e^{s(\mu-X)})}{e^{s\xi}}\le \exp(\frac{s^2(b-a)^2}{8}) \exp(-s\xi)esξE(es(μ−X))≤exp(8s2(b−a)2)exp(−sξ)

其余和上述一致，不再赘述。

描述

切尔诺夫界描述了相互独立的随机变量的和与其期望和之间的偏差，其使用了乘积的形式，以一种比例的状态描述，可以称作相对误差，霍夫丁不等式也描述了相互独立的随机变量的和于其期望之间的偏差，但是其使用了加法的形式，是一种直接的描述，其称为绝对误差。其通过引理来对不等式进行放缩，最终使用与切尔诺夫界相似的方式，通过马尔可夫不等式与矩母函数进行推导。其约束条件上也要求一组随机变量是相互独立的。