概率质量函数(Probability Mass Function)和期望课程笔记

随机变量的数学定义

从样本空间到实数值的映射函数。

一个样本空间可以定义多个随机变量

一个或几个随机变量的函数构成一个新的随机变量

概率质量函数的定义

pX(x)=P(X=x)=P({ω∈Ω s.t.X(ω)=x})p_X(x) = P(X = x) = P(\{\omega \in \Omega \ s.t. X(\omega) = x\})

上面公式的含义为在随机变量X的映射函数下，所有样本空间中的结果在此映射下输出结果为x的概率。

属性如下：

pX(x)≥0p_X(x) \ge 0
∑xpX(x)=1\sum_xp_X(x) = 1

Bernoulli和指示器随机变量

Bernoulli随机变量定义：

X={1,0,w.p.(with probability) pw.p.(with probability) 1 - pX = \begin{cases} 1, & \text{w.p.(with probability) p} \\ 0, & \text{w.p.(with probability) 1 - p} \end{cases}

参数p的取值为：p∈[0,1]p \in [0, 1]

PX(0)=1−pP_X(0) = 1 - p
PX(1)=pP_X(1) = p

它适合对结果只有成功或失败、正面或背面、等等来进行建模。

指示器随机变量定义：

事件A的指示器随机变量：IA=1当且仅当(iff)A发生I_A = 1 当且仅当(iff) A 发生

因此：PIA(1)=P(IA=1)=P(A)P_{I_A}(1) = P(I_A = 1) = P(A)

指示器随机变量是非常有用的，因为它把对事件的操作转换成了对随机变量的操作。有时，对随机变量计算比对事件更加容易。

离散均匀随机变量

例子如下：

二项随机变量

例子如下：

二项随机变量的PMF图像如下：

几何随机变量

例子如下：

随机变量的期望值/平均值

定义：E[X]=∑xxPX(x)E[X] = \sum\limits_xxP_X(x)

上面的定义可以解释成大量独立实验的平均值。

注意：如果我们有无穷的求和项，那么我们需要将此式定义明确。所以，我们假设∑x|x|PX(x)<∞\sum\limits_x|x|P_X(x) \lt \infty

Bernoulli和指示器随机变量的期望值

X={1,0,w.p.(with probability) pw.p.(with probability) 1 - pX = \begin{cases} 1, & \text{w.p.(with probability) p} \\ 0, & \text{w.p.(with probability) 1 - p} \end{cases}

E[X] = 1 * p + 0 * (1 - p) = p

指示器随机变量的期望值:

E[IA]=P(A)E[I_A] = P(A)

均匀随机变量的期望值

期望的基本属性

用于计算E[g(X)]的期望值规则

设X为随机变量，令Y = g(X).

则E[Y]=E[g(X)]=∑xg(x)pX(x)E[Y] = E[g(X)] = \sum\limits_xg(x)p_X(x)

注意：通常情况下，E[g(X)]≠g(E[X])E[g(X)] \neq g(E[X])

期望的线性

E[aX + b] = aE[X] + b.

基于期望值规则的推导：

令g(x) = ax + b.

E[g(x)] = E[ax + b] = ∑x(ax+b)PX(x)=a∑xxPX(x)+b∑xPX(x)=aE[x]+b\sum\limits_x(ax + b)P_X(x) = a\sum\limits_xxP_X(x) + b\sum\limits_xP_X(x) = aE[x] + b

在这个例子中，E[g(x)] = g(E[x])。当g(x)是线性函数时，这个等式成立。当其为非线性函数时，通常情况下是不成立的。