《多维随机变量》_2021秋季《概率论与数理统计》笔记

1024快乐！

边缘分布

相关概念

形式

边缘分布函数

F X ( x ) = F ( x , ∞ ) , F Y ( y ) = F ( ∞ , y ) F_X(x)=F(x,\infin),\quad F_Y(y)=F(\infin,y) FX(x)=F(x,∞),FY(y)=F(∞,y)

边缘分布律

p i ⋅ = ∑ j = 1 ∞ p i j = P { X = x i } , p ⋅ j = ∑ i = 1 ∞ p i j = P { Y = y j } p_{i\cdot}=\sum_{j=1}^\infin p_{ij}=P\{X=x_i\},\quad p_{\cdot j}=\sum_{i=1}^{\infin}p_{ij}=P\{Y=y_j\} pi⋅=j=1∑∞pij=P{X=xi},p⋅j=i=1∑∞pij=P{Y=yj}

由于我们经常将边缘分布律写在联合分布律表格的边缘上，这就是“边缘分布律”这个词的来源。

边缘概率密度函数

f X ( x ) = ∫ − ∞ ∞ f ( x , y ) d y , f Y ( y ) = ∫ − ∞ ∞ f ( x , y ) d x f_X(x)=\int_{-\infin}^{\infin}f(x,y){\rm d}y,f_Y(y)=\int_{-\infin}^{\infin}f(x,y){\rm d}x fX(x)=∫−∞∞f(x,y)dy,fY(y)=∫−∞∞f(x,y)dx

推导

F X ( x ) = P { X ≤ x } = P { X ≤ x , Y < ∞ } = F ( x , ∞ ) F_X(x)=P\{X\leq x\}=P\{X\leq x,Y<\infin\}=F(x,\infin) FX(x)=P{X≤x}=P{X≤x,Y<∞}=F(x,∞)

f X ( x ) = d d x F ( x , ∞ ) = d d x ∫ − ∞ x [ ∫ − ∞ ∞ f ( x , y ) d y ] d x = ∫ − ∞ ∞ f ( x , y ) d y \begin{aligned} f_X(x) &=\frac{\rm d}{{\rm d}x}F(x,\infin) =\frac{\rm d}{{\rm d}x}\int_{-\infin}^x[\int_{-\infin}^{\infin}f(x,y){\rm d}y]{\rm d}x \\ &=\int_{-\infin}^{\infin}f(x,y){\rm d}y \end{aligned} fX(x)=dxdF(x,∞)=dxd∫−∞x[∫−∞∞f(x,y)dy]dx=∫−∞∞f(x,y)dy

注意

求解关于某个随机变量的概率分布函数时，例如 f X ( x ) f_X(x) fX(x)，需要注意是按 x x x划分分类函数的区间，而不是看积 y y y就用 y y y划。
边缘分布不能确定联合分布

特殊的边缘分布

二维联合正态分布的边缘分布是一维正态分布；
多项分布的边缘分布是二项分布；
多维超几何分布的边缘分布是超几何分布；
二维均匀分布的边缘分布不一定是均匀分布。

证明

( X , Y ) (X,Y) (X,Y)的联合概率密度函数为

p ( x , y ) = 1 2 π σ 1 σ 2 c e x p [ − 1 2 c 2 ( a 2 + b 2 − 2 ρ a b ) ] p(x,y)=\frac{1}{2\pi \sigma_1\sigma_2 c}{\rm exp}[-\frac{1}{2c^2}(a^2+b^2-2\rho ab)] p(x,y)=2πσ1σ2c1exp[−2c21(a2+b2−2ρab)]

其中 a = x − μ 1 σ 1 , b = y − μ 2 σ 2 , c = 1 − ρ 2 a=\frac{x-\mu_1}{\sigma_1},b=\frac{y-\mu_2}{\sigma_2},c=\sqrt{1-\rho^2} a=σ1x−μ1,b=σ2y−μ2,c=1−ρ2 .

于是，
p X ( x ) = ∫ − ∞ ∞ p ( x , y ) d y = ∫ − ∞ ∞ 1 2 π σ 1 σ 2 c e x p [ − 1 2 c 2 ( a 2 + b 2 − 2 ρ a b ) ] d y = 1 2 π σ 1 e x p ( − a 2 2 ) ∫ − ∞ ∞ 1 2 π c e x p ( − ( b − ρ a ) 2 2 c 2 ) d b = 1 2 π σ 1 e x p ( − a 2 2 ) = 1 2 π σ 1 e x p ( − ( x − μ 1 ) 2 2 σ 1 2 ) \begin{aligned} p_X(x) &=\int_{-\infin}^{\infin}p(x,y){\rm d}y =\int_{-\infin}^{\infin}\frac{1}{2\pi \sigma_1\sigma_2 c}{\rm exp}[-\frac{1}{2c^2}(a^2+b^2-2\rho ab)]{\rm d}y \\ &=\frac{1}{\sqrt{2\pi}\sigma_1}{\rm exp}({-\frac{a^2}{2}})\int_{-\infin}^{\infin}\frac{1}{\sqrt{2\pi}c}{\rm exp}(-\frac{(b-\rho a)^2}{2c^2}){\rm d}b \\ &=\frac{1}{\sqrt{2\pi}\sigma_1}{\rm exp}({-\frac{a^2}{2}}) \\ &=\frac{1}{\sqrt{2\pi}\sigma_1}{\rm exp}({-\frac{(x-\mu_1)^2}{2\sigma_1^2}}) \end{aligned} pX(x)=∫−∞∞p(x,y)dy=∫−∞∞2πσ1σ2c1exp[−2c21(a2+b2−2ρab)]dy=2π σ11exp(−2a2)∫−∞∞2π c1exp(−2c2(b−ρa)2)db=2π σ11exp(−2a2)=2π σ11exp(−2σ12(x−μ1)2)
大体思路是构造关于 b b b的正态分布，这一思想在很多题目中适用。

随机变量函数的分布

Z = X + Y Z=X+Y Z=X+Y

离散型

卷积公式

p i j = P ( X = x 1 , Y = y j ) p_{ij}=P(X=x_1,Y=y_j) pij=P(X=x1,Y=yj)

P ( Z = z k ) = ∑ i P ( X = x i , Y = z k − x i ) = ∑ j P ( X = z k − y j , Y = y j ) P(Z=z_k)=\sum_i P(X=x_i,Y=z_k-x_i)=\sum_j P(X=z_k-y_j,Y=y_j) P(Z=zk)=i∑P(X=xi,Y=zk−xi)=j∑P(X=zk−yj,Y=yj)

若 X , Y X,Y X,Y相互独立，上式可化为
P ( Z = z k ) = ∑ i P ( X = x i ) P ( Y = z k − x i ) = ∑ j P ( X = z k − y j ) P ( Y = y j ) P(Z=z_k)=\sum_i P(X=x_i)P(Y=z_k-x_i)=\sum_j P(X=z_k-y_j)P(Y=y_j) P(Z=zk)=i∑P(X=xi)P(Y=zk−xi)=j∑P(X=zk−yj)P(Y=yj)

可加性

二项分布

泊松分布

连续型

特殊的均匀分布

设随机变量 X X X的分布函数 F ( x ) F(x) F(x)是严格单调递增的连续函数，则随机变量 Y = F ( X ) Y=F(X) Y=F(X)服从均匀分布 U ( 0 , 1 ) U(0,1) U(0,1).

证明

严格单调递增：确保存在反函数
F Y ( y ) = P ( F ( X ) ≤ y ) = { 0 , y < 0 P ( X ≤ F − 1 ( y ) ) , 0 ≤ y < 1 1 , y ≥ 1 = { 0 , y < 0 F ( F − 1 ( y ) ) , 0 ≤ y < 1 1 , y ≥ 1 = { 0 , y < 0 y , 0 ≤ y < 1 1 , y ≥ 1 \begin{aligned} F_Y(y)&=P(F(X)\leq y)= \begin{cases} 0, & y<0 \\ P(X\leq F^{-1}(y)), & 0\leq y<1\\ 1, & y\geq 1 \end{cases} \\ &= \begin{cases} 0, & y<0 \\ F(F^{-1}(y)),& 0\leq y<1\\ 1, & y\geq 1 \end{cases} \\ &= \begin{cases} 0, & y<0 \\ y,& 0\leq y<1\\ 1, & y\geq 1 \end{cases} \end{aligned} FY(y)=P(F(X)≤y)=⎩⎪⎨⎪⎧0,P(X≤F−1(y)),1,y<00≤y<1y≥1=⎩⎪⎨⎪⎧0,F(F−1(y)),1,y<00≤y<1y≥1=⎩⎪⎨⎪⎧0,y,1,y<00≤y<1y≥1

意义

任何一个连续随机变量可以通过分布函数与均匀分布建立联系。

可以先生成均匀分布的随机数 y 1 , ⋯ , y n y_1,\cdots,y_n y1,⋯,yn，再通过 F ( x i ) = y i F(x_i)=y_i F(xi)=yi求得 x 1 , ⋯ , x n x_1,\cdots, x_n x1,⋯,xn，从而获得满足给定分布函数的连续随机变量取值。

卷积公式

p X + Y ( z ) = ∫ − ∞ ∞ p ( z − y , y ) d y = ∫ − ∞ ∞ p ( x , z − x ) d x p_{X+Y}(z)=\int_{-\infin}^{\infin}p(z-y,y){\rm d}y=\int_{-\infin}^{\infin}p(x,z-x){\rm d}x pX+Y(z)=∫−∞∞p(z−y,y)dy=∫−∞∞p(x,z−x)dx

若 X , Y X,Y X,Y相互独立，上式可化为
p X + Y ( z ) = ∫ − ∞ ∞ p X ( z − y ) p Y ( y ) d y = ∫ − ∞ ∞ p X ( x ) p Y ( z − x ) d x p_{X+Y}(z)=\int_{-\infin}^{\infin}p_X(z-y)p_Y(y){\rm d}y=\int_{-\infin}^{\infin}p_X(x)p_Y(z-x){\rm d}x pX+Y(z)=∫−∞∞pX(z−y)pY(y)dy=∫−∞∞pX(x)pY(z−x)dx
记 f X f_X fX和 f Y f_Y fY为的卷积公式
f X ∗ f Y f_X * f_Y fX∗fY

推导

F Z ( z ) = ∬ x + y ≤ z p ( x , y ) d x d y = ∫ − ∞ ∞ d y ∫ − ∞ z − y p ( x , y ) d x = ∫ − ∞ ∞ d y ∫ − ∞ z p ( u − y , y ) d u = ∫ − ∞ z d u ∫ − ∞ ∞ p ( u − y , y ) d y \begin{aligned} F_Z(z) &=\iint_{x+y\leq z}p(x,y){\rm d}x{\rm d}y =\int_{-\infin}^{\infin}{\rm d}y\int_{-\infin}^{z-y}p(x,y){\rm d}x \\ &=\int_{-\infin}^{\infin}{\rm d}y\int_{-\infin}^zp(u-y,y){\rm d}u =\int_{-\infin}^{z}{\rm d}u\int_{-\infin}^{\infin}p(u-y,y){\rm d}y \end{aligned} FZ(z)=∬x+y≤zp(x,y)dxdy=∫−∞∞dy∫−∞z−yp(x,y)dx=∫−∞∞dy∫−∞zp(u−y,y)du=∫−∞zdu∫−∞∞p(u−y,y)dy

对 z z z求导可得。

可加性

正态分布

若 X i ∼ N ( μ i , σ i 2 ) , i = 1 , 2 , ⋯ , n X_i\sim N(\mu_i,\sigma_i^2),i=1,2,\cdots,n Xi∼N(μi,σi2),i=1,2,⋯,n，且它们相互独立，则 Z = X 1 + X 2 + ⋅ X n Z=X_1+X_2+\cdot X_n Z=X1+X2+⋅Xn也满足正态分布，且 Z ∼ N ( μ 1 + μ 2 + ⋯ + μ n , σ 1 2 + σ 2 2 + ⋯ + σ n 2 ) Z\sim N(\mu_1+\mu_2+\cdots +\mu_n,\sigma_1^2+\sigma_2^2+\cdots +\sigma_n^2) Z∼N(μ1+μ2+⋯+μn,σ12+σ22+⋯+σn2)。
有限个相互独立的正态随机变量的线性组合仍然服从正态分布。

G a m m a {\rm Gamma} Gamma分布

Z = Y X , Z = X Y Z=\frac{Y}{X},Z=XY Z=XY,Z=XY

p Y / X ( z ) = ∫ − ∞ ∞ ∣ x ∣ p ( x , x z ) d x p_{Y/X}(z)=\int_{-\infin}^{\infin}|x|p(x,xz){\rm d}x pY/X(z)=∫−∞∞∣x∣p(x,xz)dx

p X Y ( z ) = ∫ − ∞ ∞ 1 ∣ x ∣ p ( x , z x ) d x p_{XY}(z)=\int_{-\infin}^{\infin}\frac{1}{|x|}p(x,\frac{z}{x}){\rm d}x pXY(z)=∫−∞∞∣x∣1p(x,xz)dx

若 X , Y X,Y X,Y相互独立，上式可化为
p Y / X ( z ) = ∫ − ∞ ∞ ∣ x ∣ p X ( x ) p Y ( x z ) d x p_{Y/X}(z)=\int_{-\infin}^{\infin}|x|p_X(x)p_Y(xz){\rm d}x pY/X(z)=∫−∞∞∣x∣pX(x)pY(xz)dx

p X Y ( z ) = ∫ − ∞ ∞ 1 ∣ x ∣ p X ( x ) p Y ( z x ) d x p_{XY}(z)=\int_{-\infin}^{\infin}\frac{1}{|x|}p_X(x)p_Y(\frac{z}{x}){\rm d}x pXY(z)=∫−∞∞∣x∣1pX(x)pY(xz)dx

推导

需要注意 x < 0 x<0 x<0部分的符号变化。
F Y / X ( z ) = P ( Y / X ≤ z ) = ∬ y / x ≤ z , x < 0 p ( x , y ) d x d y + ∬ y / x ≤ z , x > 0 p ( x , y ) d x d y = ∫ − ∞ 0 d x ∫ z x ∞ p ( x , y ) d y + ∫ 0 ∞ d x ∫ − ∞ z x p ( x , y ) d y = y = x u ∫ − ∞ 0 d x ∫ z − ∞ x p ( x , x u ) d u + ∫ 0 ∞ d x ∫ − ∞ z x p ( x , x u ) d u = ∫ − ∞ 0 d x ∫ z − ∞ ( − x ) p ( x , x u ) d u + ∫ 0 ∞ d x ∫ − ∞ z x p ( x , x u ) d u = ∫ − ∞ ∞ d x ∫ − ∞ z ∣ x ∣ p ( x , x u ) d u = ∫ − ∞ z d u ∫ − ∞ ∞ ∣ x ∣ p ( x , x u ) d x \begin{aligned} F_{Y/X}(z) &= P(Y/X\leq z) =\iint_{y/x\leq z,x<0}p(x,y){\rm d}x{\rm d}y+\iint_{y/x\leq z,x>0}p(x,y){\rm d}x{\rm d}y \\ &=\int_{-\infin}^0{\rm d}x\int_{zx}^{\infin}p(x,y){\rm d}y+\int_0^{\infin}{\rm d}x\int_{-\infin}^{zx}p(x,y){\rm d}y \\ &\stackrel{y=xu}=\int_{-\infin}^0{\rm d}x\int_{z}^{-\infin}xp(x,xu){\rm d}u+\int_0^{\infin}{\rm d}x\int_{-\infin}^{z}xp(x,xu){\rm d}u \\ &=\int_{-\infin}^0{\rm d}x\int_{z}^{-\infin}(-x)p(x,xu){\rm d}u+\int_0^{\infin}{\rm d}x\int_{-\infin}^{z}xp(x,xu){\rm d}u \\ &=\int_{-\infin}^{\infin}{\rm d}x\int_{-\infin}^{z}|x|p(x,xu){\rm d}u \\ &=\int_{-\infin}^{z}{\rm d}u\int_{-\infin}^{\infin}|x|p(x,xu){\rm d}x \end{aligned} FY/X(z)=P(Y/X≤z)=∬y/x≤z,x<0p(x,y)dxdy+∬y/x≤z,x>0p(x,y)dxdy=∫−∞0dx∫zx∞p(x,y)dy+∫0∞dx∫−∞zxp(x,y)dy=y=xu∫−∞0dx∫z−∞xp(x,xu)du+∫0∞dx∫−∞zxp(x,xu)du=∫−∞0dx∫z−∞(−x)p(x,xu)du+∫0∞dx∫−∞zxp(x,xu)du=∫−∞∞dx∫−∞z∣x∣p(x,xu)du=∫−∞zdu∫−∞∞∣x∣p(x,xu)dx
对 z z z求导即可。

M = m a x { X , Y } ， N = m i n { X , Y } M={\rm max}\{X,Y\}，N={\rm min}\{X,Y\} M=max{X,Y}，N=min{X,Y}

若== X , Y X,Y X,Y相互独立==，则
F m a x ( z ) = F X ( z ) F Y ( z ) F_{\rm max}(z)=F_X(z)F_Y(z) Fmax(z)=FX(z)FY(z)

F m i n ( z ) = 1 − [ 1 − F X ( z ) ] [ 1 − F Y ( z ) ] F_{\rm min}(z)=1-[1-F_X(z)][1-F_Y(z)] Fmin(z)=1−[1−FX(z)][1−FY(z)]

推广到 n n n个相互独立的随机变量情况，
F m a x ( z ) = ∏ i F X i ( z ) F_{\rm max}(z)=\prod_{i}F_{X_i}(z) Fmax(z)=i∏FXi(z)

F m i n ( z ) = 1 − ∏ i ( 1 − F X i ( z ) ) F_{\rm min}(z)=1-\prod_{i}(1-F_{X_i}(z)) Fmin(z)=1−i∏(1−FXi(z))

推导

F m a x ( z ) = P { M ≤ z } = P { X ≤ z , Y ≤ z } = P { X ≤ z } P { Y ≤ z } = F X ( z ) F Y ( z ) \begin{aligned} F_{\rm max}(z) &=P\{M\leq z\} =P\{X\leq z,Y\leq z\} \\ &= P\{X\leq z\}P\{Y\leq z\} \\ &=F_X(z)F_Y(z) \end{aligned} Fmax(z)=P{M≤z}=P{X≤z,Y≤z}=P{X≤z}P{Y≤z}=FX(z)FY(z)

F m i n ( z ) = P { N ≤ z } = 1 − P { N > z } = 1 − P { X > z , Y > z } = 1 − P { X > z } P { Y > z } = 1 − [ 1 − F X ( z ) ] [ 1 − F Y ( z ) ] \begin{aligned} F_{\rm min}(z) &=P\{N\leq z\} =1-P\{N>z\} \\ &=1-P\{X>z,Y>z\} \\ &=1-P\{X>z\}P\{Y>z\} \\ &=1-[1-F_X(z)][1-F_Y(z)] \end{aligned} Fmin(z)=P{N≤z}=1−P{N>z}=1−P{X>z,Y>z}=1−P{X>z}P{Y>z}=1−[1−FX(z)][1−FY(z)]