大数定律(2)：切比雪夫不等式

Markov不等式有一个很简洁的结果，但是它有一个不近人情的前提条件。它要求随机变量取正值。这通常是没法满足的。为此，我们需要对现有的随机变量进行一些改造，构造一个随机变量的函数。那么什么函数必取正值呢？最常用的是偶次数幂函数，以及指数函数。这就分别得到了切比雪夫不等式和切诺夫界。本文介绍切比雪夫不等式。

定理2. 对任意的期望有界的随机变量，都有

Pr{|X−E[X]|>c}≤var(X)c2

\Pr\{|X-E[X]| > c\} \leq \frac{var(X)}{c^2}
对所有的 c>0c>0成立，其中

var(X)=E[X−E[X]]2

var(X)=E[X-E[X]]^2
是随机变量 XX的方差。

证明： 我们注意到

Pr{|X−E[X]|>c}=Pr{|X−E[X]|2>c2}.

\Pr\{|X-E[X]| > c\} = \Pr\{|X-E[X]|^2 > c^2\}.
而 |X−E[X]|2|X-E[X]|^2只取正值，因此利用定理1便有定理2成立。

由切比雪夫不等式，我们可以得到第1个大数定律。

推论3. 设X1,X2,...,XNX_1,X_2,...,X_N是N个i.i.d.的随机变量，它们的概率分布于随机变量XX的概率分布相同。那么对任意的c>0c>0有

Pr{|1N∑i=1NXi−E[X]|>c}<var(X)nc2.

\Pr\{|\frac{1}{N}\sum_{i=1}^NX_i-E[X]|>c\}

证明如果把Y=1N∑Ni=1XiY=\frac{1}{N}\sum_{i=1}^NX_i看做是一个随机变量，其期望

E[Y]=E[1N∑i=1NXi]=1N∑i=1NE[Xi]=1N∑i=1NE[X]=E[X],

E[Y]=E[\frac{1}{N}\sum_{i=1}^NX_i]=\frac{1}{N}\sum_{i=1}^NE[X_i]=\frac{1}{N}\sum_{i=1}^NE[X]=E[X],
其方差

var(Y)====var[1N∑i=1NXi]1N2∑i=1Nvar[Xi]1N2∑i=1Nvar[X]var[X]N.

\begin{array}{lll} var(Y)&=&var[\frac{1}{N}\sum_{i=1}^NX_i]\\ &=&\frac{1}{N^2}\sum_{i=1}^N var[X_i]\\ &=&\frac{1}{N^2}\sum_{i=1}^Nvar[X]\\ &=&\frac{var[X]}{N}. \end{array}
结合定理2，便有推论成立。

推论3告诉我们，如果随机变量XX的方差有界，并且我们依随机变量XX i.i.d.地生成NN个样本。那么当NN充分大时，有很大的概率，这N个样本的均值落在XX的期望附近。这也是依概率收敛的意义。

注意：切比雪夫不等式考虑的是随机变量的二阶中心距，也即方差。事实上我们还可以考虑任意偶次阶中心距。更确切地

Pr{|X−E[X]|>c}≤E[X−E[X]]2kc2k

\Pr\{|X-E[X]| > c\} \leq \frac{E[X-E[X]]^{2k}}{c^{2k}}
对任意的正整数k<script type="math/tex" id="MathJax-Element-6115">k</script>成立。

大数定律(2)：切比雪夫不等式相关推荐

R大数定律(Python切比雪夫不等式验证大数定律)模拟圆周率
大数定律在概率论中,大数定律 (LLN) 是描述大量执行相同实验的结果的定理. 根据规律,大量试验所得结果的平均值应接近预期值,并随着试验次数的增加而趋于接近预期值. LLN 很重要,因为它保证了一 ...
概率论与数理统计学习笔记——第14讲——大数定律（1.切比雪夫不等式及切比雪夫大数定律）
1. 问题引入 2. 依概率收敛 3. 大数定律 4. 切比雪夫大数定律 5. 切比雪夫不等式
【概率论与数理统计】猴博士笔记 p38-40 切比雪夫不等式、大数定律、中心极限定理
文章目录切比雪夫不等式大数定律中心极限定理切比雪夫不等式题干特征: 求的P里面有不等式求的概率的事件是某个绝对值求的P里面的不等式符号与外面的不等式符号相反满足以上特征就要用到切比雪夫 ...
切比雪夫不等式，大数定律及极限定理。
一.切比雪夫不等式 1.定理若随机变量X的期望EX和方差DX存在,则对任意ε > 0,有 P{ |X - EX| >= ε } <= DX/ε2 或 P{ |X - EX| & ...
切比雪夫不等式大数定律中心极限定理
本篇为<深度学习>系列博客的第五篇,该系列博客主要记录深度学习相关知识的学习过程和自己的理解,方便以后查阅. 上篇博客说道"均值和期望的联系是大数定理联系起来的',这里这里看到一 ...
基本极限定理（切比雪夫不等式，大数定律，中心极限定理）
人们在长期的实践中发现,虽然个别事件在某次试验中可能发生也可能不发生,但在大量重复实验中却呈现明显的规律性,即一个随机事件发生的频率在某个固定数的附近摇摆,这就是所谓"频率的稳定性" ...
第四章切比雪夫不等式、大数定理、中心极限定理
切比雪夫不等式设随机变量X具有数学期望E(X)=μE(X)=\mu,方差D(X)=σ2D(X)=\sigma ^2,对于任意ε>0\varepsilon >0,都有 P{|X−μ|≥ε} ...
倒序排序_排序不等式，切比雪夫不等式及伯努利不等式
我们比较熟悉的不等式可能就是下面的这个不等式链以及柯西不等式了: 对于不等式链的证明我们可以看下面这张图,非常直观形象: 不太懂得也可以看这个视频讲解: 知乎视频www.zhihu.com 对于柯西 ...
从切比雪夫不等式到大数定理
1. 切比雪夫不等式设随机变量 XX 的期望和方差都存在,则对任意常数(任意小) ϵ\epsilon,有: P(|X−EX|≥ϵ)≤DXϵ2 P\left(|X-EX|\geq \epsilon\r ...

大数定律(2)：切比雪夫不等式

大数定律(2)：切比雪夫不等式相关推荐

最新文章

热门文章