概率论的一些基本问题

hit2015spring晨凫追风\frac{hit2015spring}{晨凫追风}

欢迎关注我的博客：http://blog.csdn.NET/hit2015spring

条件概率

设AA和BB是任意两个事件，且P(B)>0P(B)>0，则称P(AB)P(B)\frac {P(AB)}{P(B)}为事件AA在事件BB发生的条件下发生的条件概率。记作：

P(A|B)=P(AB)P(B)

\begin{equation} P(A|B)=\frac{P(AB)}{P(B)} \end{equation}
这里可以理解是，在事件 BB发生的情况里面去寻找事件AA也在的例子，就是条件概率，有一种归一化的感觉，也有一种找出全局，再去挑局部的概念。

引入一个定理：
（两个事件的积的概率）=（其中一个事件的概率）×\times(另一个事件在前面一个事件发生条件下的条件概率)即：

P(AB)=P(A|B)P(B)=P(B|A)P(A)

\begin{equation} \qquad P(AB)=P(A|B)P(B)=P(B|A)P(A) \end{equation}

推广：

P(A1A2⋯An)=P(A1)P(A2|A1)P(A3|A1A2)P(A4|A1A2A3)⋯P(An|A1A2A3⋯,An)

\begin{equation} P(A_1A_2 \cdots A_n)=\\ \qquad \qquad \qquad \qquad P(A_1)P(A_2|A_1)P(A_3|A_1A_2)P(A_4|A_1A_2A_3)\cdots P(A_n|A_1A_2A_3\cdots,A_n) \end{equation}

例子：

全概率公式

贝叶斯公式

P(Ai|B)=P(AiB)P(B)=P(B|Ai)P(Ai)P(B)=P(B|Ai)P(Ai)∑i=1nP(B|Ai)P(Ai)

\begin{equation} P(A_i|B)=\frac{P(A_iB)}{P(B)}=\frac{P(B|A_i)P(A_i)}{P(B)}=\frac{P(B|A_i)P(A_i)}{\sum\limits_{i=1}^{n}P(B|A_i)P(A_i)} \end{equation}

其中用一个条件概率的公式

P(B|Ai)=P(AiB)P(Ai)

\begin{equation} P(B|A_i)=\frac{P(A_iB)}{P(A_i)} \end{equation}

P(Ai)P(A_i)是先验概率，一般是经验的总结。P(Ai|B)P(A_i|B)是后验概率，表示实验之后各种原因发生的可能性

重复独立实验、二项概率公式

一个实验里面有两个结果，AA和A¯\bar{A},这个实验称为伯努利实验。它的重复n次的独立实验就叫做：n重伯努利实验。
设在每次实验中成功的概率是p(0<p<1)p(0

,则在nn重伯努利实验中，成功恰好发生kk次的概率是

Pn(k)=Cknpk(1−p)n−k

\begin{equation} P_n(k)=C_n^kp^k(1-p)^{n-k} \end{equation}

例子：

当实验次数很大的时候n→∞,p→0n \to \infty ,p \to 0的时候，公式可变为np=λnp=\lambda，这时为二项泊松分布

Cknpk(1−p)n−k→λkk!e−λ

\begin{equation} C_n^k p^k(1-p)^{n-k}\to \frac{\lambda^k}{k!}e^{-\lambda} \end{equation}

数学期望和方差

几个结论

0-1分布	泊松分布	几何分布
期望	pp	λ\lambda	1p\frac 1 p
方差	p(1−p)p(1-p)	λ\lambda	1−pp2\frac {1-p} {p^2}

切比雪夫不等式

P[|X−E(X)|≥ε]≤D(X)ε2

\begin{equation} P[|X-E(X)| \geq \varepsilon ]\leq \frac{D(X)}{\varepsilon^2} \end{equation}

一个随机变量偏移它中心的概率是与距离和它的方差有关的不等式

伯努利大数定律

在nn重伯努利实验中，成功的次数为YnY_n,而每次成功的概率为p(0<p<1)p(0

,则对任意的ε>0\varepsilon>0有

limn→∞P(|Ynn−p|≥ε)=0

\begin{equation} \lim\limits_{n \to \infty} P(|\frac{Y_n}{n}-p|\geq \varepsilon)=0 \end{equation}

当实验次数nn足够大的时候，成功的频率与成功的概率之差的绝对值不小于任意一个指定的正数ε\varepsilon的概率可以小于任意一个预先指定的正数，这就是频率稳定性的一种确切的解释。根据伯努利大数定律在实际应用中，当实验次数nn很大时，可以用事件的频率来近似得代替事件的概率。

辛钦大数定律

设随机变量序列 X1,X2,⋯XnX_1, X_2,\cdots X_n是独立同分布的随机变量，具有有限的数学期望和方差E(Xi)=μ,D(Xi)=σ2E(X_i)=\mu,D(X_i)=\sigma^2则对任意的ε>0\varepsilon>0有

limn→∞P(|1n∑i=1nXi−μ|≥ε)=0

\begin{equation} \lim\limits_{n \to \infty} P(|\frac{1}{n}\sum\limits_{i=1}^{n}X_i-\mu|\geq \varepsilon)=0 \end{equation}

1n∑i=1nXi\frac{ 1 }{ n }\sum\limits_{ i=1 }^{ n } X_i 是随机变量XX的nn个观测值的算术平均值，而μ=E(X)\mu=E(X),当实验次数足够大的时候平均值与数学期望之差的绝对值不小于任一指定的正数ε\varepsilon的概率小于任意一个预先指定的正数，这就是算术平均值稳定性的解释

中心极限定理

被研究的随机变量是大量独立随机变量的和，其中每一个随机变量对于总和只起微小的作用，则可以认为这个随机变量近似服从于正态分布。

Lindeberg-levi 中心极限定理
如果随机变量序列X1,X2,⋯Xn,X_1 ,X_2, \cdots X_n,独立同分布，并且具有有限的数学期望和方差E(Xi)=μ,D(Xi)=σ2E(X_i)=\mu,D(X_i)=\sigma^2则对一切的x∈Rx\in R

limn→∞P(1n√σ(∑i=1mXi−nμ)≥0)=∫x−∞12π−−√e−t22dt

\begin{equation} \lim\limits_{n \to \infty} P(\frac{1}{\sqrt n \sigma}(\sum \limits_{i=1}^{m}X_i-n\mu)\geq 0)=\int _{- \infty}^{x} \frac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}dt \end{equation}

在nn重伯努利实验中，成功的次数为YnY_n而在每次实验中成功的概率是pp则对一切的xx有

limn→∞P(Yn−npnpq−−−√≥x)=∫x−∞12π−−√e−t22dt=Φ(x)

\begin{equation} \lim\limits_{n \to \infty} P(\frac{Y_n-np}{\sqrt{npq}} \geq x)=\int _{- \infty}^{x} \frac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}dt=\Phi(x) \end{equation}