漫步数理统计二十六——多元正态分布

本片博文介绍多元正态分布，我们以nn维随机变量为主，但给出n=2n=2时二元情况的一些实例。与上篇文章一样，我们首先介绍标准情况然后扩展到一般情况，当然这里会用到向量与矩阵符号。

考虑随机向量Z=(Z1,…,Zn)′\mathbf{Z}=(Z_1,\ldots,Z_n)^\prime，其中Z1,…,ZnZ_1,\ldots,Z_n是独立同分布的N(0,1)N(0,1)随机变量，那么对z∈Rn,Z\mathbf{z}\in R^n,\mathbf{Z}的密度为

fZ(z)=∏i=1n12π‾‾‾√exp{−12z2i}=(12π)n/2exp{−12∑i=1nz2i}=(12π)n/2exp{−12z′z}(1)

\begin{align} f_{\mathbf{Z}}(\mathbf{z}) &=\prod_{i=1}^n\frac{1}{\sqrt{2\pi}}\exp\left\{-\frac{1}{2}z_i^2\right\}=\left(\frac{1}{2\pi}\right)^{n/2}\exp\left\{-\frac{1}{2}\sum_{i=1}^nz_i^2\right\}\nonumber\\ &=\left(\frac{1}{2\pi}\right)^{n/2}\exp\left\{-\frac{1}{2}\mathbf{z}^\prime\mathbf{z}\right\}\tag1 \end{align}

因为ZiZ_i的均值为0，方差为1且不相关，所以Z\mathbf{Z}的均值与协方差矩阵为

E[Z]=0,Cov[Z]=In(2)

\begin{equation} E[\mathbf{Z}]=\mathbf{0},Cov[\mathbf{Z}]=\mathbf{I_n}\tag2 \end{equation}

其中In\mathbf{I_n}表示nn阶单位矩阵。回忆一下ZiZ_i为expt2i/2\exp{t_i^2/2}，因为ZiZ_i是独立的，所以对于所有的t∈Rn,Z\mathbf{t}\in R^n,\mathbf{Z}的mgf为

MZ(t)=E[exp{t′Z}]=E[∏i=1nexp{tiZi}]=∏i=1nE[exp{tiZi}]=exp{12∑i=1nt2i}=exp{12t′t}(3)

\begin{align} M_{\mathbf{Z}}(\mathbf{t})=E[\exp\{\mathbf{t}^\prime\mathbf{Z}\}] &=E\left[\prod_{i=1}^n\exp\{t_iZ_i\}\right]=\prod_{i=1}^nE[\exp\{t_iZ_i\}]\nonumber\\ &=\exp\left\{\frac{1}{2}\sum_{i=1}^nt_i^2\right\}=\exp\left\{\frac{1}{2}\mathbf{t}^\prime\mathbf{t}\right\}\tag3 \end{align}

我们称Z\mathbf{Z}是均值为0\mathbf{0}协方差矩阵为In\mathbf{I}_n的多元正态分布，简写成Z\mathbf{Z}满足Nn(0,In)N_n(\mathbf{0},\mathbf{I}_n)分布。

对于一般情况，假设Σ\boldsymbol{\Sigma}是n×nn\times n的对称，半正定矩阵(psd)，那么根据线性代数的知识，我们总能将Σ\boldsymbol{\Sigma}分解为

Σ=Γ′ΛΓ(4)

\begin{equation} \boldsymbol{\Sigma=\Gamma^\prime\Lambda\Gamma}\tag4 \end{equation}

其中Λ\boldsymbol{\Lambda}是对角矩阵，Λ=diag(λ1,λ2,…,λn),λ1≥λ2≥⋯λn≥0\boldsymbol{\Lambda}=diag(\lambda_1,\lambda_2,\ldots,\lambda_n),\lambda_1\geq\lambda_2\geq\cdots\lambda_n\geq0是Σ\boldsymbol{\Sigma}的特征值，Γ′\boldsymbol{\Gamma^\prime}的列v1,v2,…,vn\boldsymbol{v_1,v_2,\ldots,v_n}是相应的特征向量，这个分解叫做Σ\boldsymbol{\Sigma}的谱分解，矩阵Γ\boldsymbol{\Gamma}是正交矩阵，即Γ−1=Γ′\boldsymbol{\Gamma^{-1}=\Gamma^\prime}因此ΓΓ′=I\boldsymbol{\Gamma\Gamma^\prime}=\mathbf{I}。另外还可以将谱分解写成如下形式：

Σ=Γ′ΛΓ=∑i=1nλiviv′i(5)

\begin{equation} \boldsymbol{\Sigma=\Gamma^\prime\Lambda\Gamma}=\sum_{i=1}^n\lambda_i\mathbf{v_iv_i^\prime}\tag5 \end{equation}

因为λi\lambda_i是非负的，所以我们能定义对角矩阵Λ1/2=(λ1‾‾‾√,…,λn‾‾‾√)\boldsymbol{\Lambda^{1/2}}=(\sqrt{\lambda_1},\ldots,\sqrt{\lambda_n})，那么Γ\boldsymbol{\Gamma}的正交性就意味着

Σ=Γ′Λ1/2ΓΓ′Λ1/2Γ

\boldsymbol{\Sigma=\Gamma^\prime\Lambda^{1/2}\Gamma\Gamma^\prime\Lambda^{1/2}\Gamma}

定义矩阵Σ\boldsymbol{\Sigma}的平方根为

Σ1/2=Γ′Λ1/2Γ(6)

\begin{equation} \boldsymbol{\Sigma^{1/2}=\Gamma^\prime\Lambda^{1/2}\Gamma}\tag6 \end{equation}

其中Λ1/2=diag(λ1‾‾‾√,…,λn‾‾‾√)\boldsymbol{\Lambda^{1/2}}=diag(\sqrt{\lambda_1},\ldots,\sqrt{\lambda_n})，注意Σ1/2\boldsymbol{\Sigma^{1/2}}是对称psd矩阵，假设Σ\boldsymbol{\Sigma}是正定的(pd)(pd)；即它的特征值都为正，那么很容易说明

(Σ1/2)−1=Γ′Λ−1/2Γ(7)

\begin{equation} (\boldsymbol{\Sigma^{1/2}})^{-1}=\boldsymbol{\Gamma^\prime\Lambda^{-1/2}\Gamma}\tag7 \end{equation}

我们可以将等式左边写成Σ−1/2\boldsymbol{\Sigma^{-1/2}}。

Z\mathbf{Z}满足N(0,In)N(\mathbf{0,I}_n)分布，令Σ\boldsymbol{\Sigma}是对称半正定矩阵且μ\boldsymbol{\mu}是n×1n\times 1的常向量，随机向量X\mathbf{X}定义为

X=Σ1/2Z+μ(8)

\begin{equation} \mathbf{X}=\boldsymbol{\Sigma^{1/2}}\mathbf{Z+}\boldsymbol{\mu}\tag8 \end{equation}

根据(2)(2)可得

E[X]=μ,Cov[X]=Σ1/2Σ1/2=Σ(9)

\begin{equation} E[\mathbf{X}]=\boldsymbol{\mu},Cov[\mathbf{X}]=\boldsymbol{\Sigma^{1/2}}\boldsymbol{\Sigma^{1/2}}=\boldsymbol{\Sigma}\tag9\end{equation}

进一步X\mathbf{X}的mgf为

MX(t)=E[exp{t′X}]=E[exp{t′Σ1/2Z+t′μ}]=exp{t′μ}E[exp{(Σ1/2t)′Z}]=exp{t′exp{(1/2)(Σ1/2t)′Σ1/2t}=exp{t′exp{(1/2)t′Σt}(10)

\begin{align}M_{\mathbf{X}}(\mathbf{t})=E[\exp\{\mathbf{t^\prime X}\}]&=E[\exp\{\mathbf{t^\prime}\boldsymbol{\Sigma^{1/2}}\mathbf{Z}+\mathbf{t^\prime}\boldsymbol{\mu}\}]\nonumber\\&=\exp\{\mathbf{t^\prime}\boldsymbol{\mu}\}E[\exp\{(\boldsymbol{\Sigma^{1/2}}\mathbf{t})^\prime\mathbf{Z}\}]\nonumber\\&=\exp\{\mathbf{t^\prime}\exp\{(1/2)(\boldsymbol{\Sigma^{1/2}}\mathbf{t})^\prime\boldsymbol{\Sigma^{1/2}}\mathbf{t}\}\nonumber\\&=\exp\{\mathbf{t^\prime}\exp\{(1/2)\mathbf{t^\prime}\boldsymbol{\Sigma}\mathbf{t}\}\tag{10}\end{align}

这就产生了下面的定义：

定义1：\textbf{定义1：}我们称nn维随机变量X\mathbf{X}是多元正态分布，当且仅当对所有的t∈Rn\mathbf{t}\in R^n，它的mgf为

MX(t)=exp{t′μ+(1/2)t′Σt}(11)

\begin{equation}M_{\mathbf{X}}(\mathbf{t})=\exp\{\mathbf{t}^\prime\mathbf{\mu}+(1/2)\mathbf{t}^\prime\boldsymbol{\Sigma}\mathbf{t}\}\tag{11}\end{equation}

其中Σ\boldsymbol{\Sigma}是对称半正定矩阵且μ∈Rn\boldsymbol{\mu}\in R^n，我们简单称X\mathbf{X}满足Nn(μ,Σ)N_n(\boldsymbol{\mu},\boldsymbol{\Sigma})分布。

注意这里我们是对半正定矩阵进行定义，一般情况Σ\boldsymbol{\Sigma}是正定的，这种情况下我们可以进一步得到X\mathbf{X}的密度。如果Σ\boldsymbol{\Sigma}是正定的，那么Σ1/2\boldsymbol{\Sigma}^{1/2}也是正定的，它的逆就是(7)(7)，所以X,Z\mathbf{X,Z}之间的变换(8)(8)是一对一的变换，它的逆变换为

Z=Σ−1/2(X−μ)

\mathbf{Z}=\boldsymbol{\Sigma}^{-1/2}(\mathbf{X}-\boldsymbol{\mu})

雅可比为|Σ−1/2|=|Σ|−1/2\boldsymbol{|\Sigma^{-1/2}|=|\Sigma|^{-1/2}}，因此通过化简得到X\mathbf{X}的pdf为

fX(x)=1(2π)n/2|Σ|1/2exp{−12(x−μ)′Σ(x−μ)}(12)

\begin{equation} f_{\mathbf{X}}(\mathbf{x})=\frac{1}{(2\pi)^{n/2}|\boldsymbol{\Sigma}|^{1/2}}\exp\left\{-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^\prime\boldsymbol{\Sigma}(\mathbf{x}-\boldsymbol{\mu})\right\}\tag{12} \end{equation}

下面的两个定理非常有用，第一个是说多元正态随机向量的线性变换满足多元正态分布。

定理1：\textbf{定理1：}假设X\mathbf{X}满足Nn(μ,Σ)N_n(\boldsymbol{\mu},\boldsymbol{\Sigma})分布，令Y=AX+b\mathbf{Y=AX+b}，其中A\mathbf{A}是m×nm\times n矩阵且b∈Rmb\in R^m，那么Y\mathbf{Y}满足Nm(Aμ+b,AΣA′)N_m(\mathbf{A}\boldsymbol{\mu}+\mathbf{b},\mathbf{A}\boldsymbol{\Sigma}\mathbf{A}^\prime)。

证明：\textbf{证明：}根据(11)(11)，对所有的t∈Rm\mathbf{t}\in R^m，Y\mathbf{Y}的mgf为

MY(t)=E[exp{t′Y}]=E[exp{t′(AX+b)}]=exp{t′b}E[exp{(A′t)′X}]=exp{t′b}exp{(A′t)′μ+(1/2)(A′t)′Σ(A′t)}=exp{t′(Aμ+b)+(1/2)t′AΣA′t}

\begin{align*} M_{\mathbf{Y}}(\mathbf{t}) &=E[\exp\{\mathbf{t}^\prime\mathbf{Y}\}]\\ &=E[\exp\{\mathbf{t}^\prime(\mathbf{AX+b})\}]\\ &=\exp\{\mathbf{t^\prime b}\}E[\exp\{(\mathbf{A^\prime t})^\prime\mathbf{X}\}]\\ &=\exp\{\mathbf{t^\prime b}\}\exp\{\mathbf{(A^\prime t)^\prime}\boldsymbol{\mu}+(1/2)(\mathbf{A^\prime t})^\prime\boldsymbol{\Sigma}(\mathbf{A^\prime t})\}\\ &=\exp\{\mathbf{t^\prime}(\mathbf{A}\boldsymbol{\mu}+\mathbf{b})+(1/2)\mathbf{t^\prime A}\boldsymbol{\Sigma}\mathbf{A^\prime t}\} \end{align*}

这是Nm(Aμ+b,AΣA′)N_m(\mathbf{A}\boldsymbol{\mu}+\mathbf{b},\mathbf{A}\boldsymbol{\Sigma}\mathbf{A}^\prime)分布的mgf。||||

该定理简单的推论给出了多元正态随机变量的边缘分布，令X1\mathbf{X_1}是X\mathbf{X}的任意子向量，维数m<nm，因为我们能够重排均值与相关性，不失一般性，X\mathbf{X}可以写成

X=[X1X2](13)

\begin{equation} \mathbf{X}= \begin{bmatrix} \mathbf{X_1}\\ \mathbf{X_2} \end{bmatrix}\tag{13} \end{equation}

其中X2\mathbf{X_2}的维数为p=n−mp=n-m，利用同样的方法拆分X\mathbf{X}的均值与协方差矩阵得：

μ=[μ1μ2]Σ=[Σ11Σ21Σ12Σ22](14)

\begin{equation} \boldsymbol{\mu}= \begin{bmatrix} \boldsymbol{\mu_1}\\ \boldsymbol{\mu_2} \end{bmatrix} \quad \boldsymbol{\Sigma}= \begin{bmatrix} \boldsymbol{\Sigma_{11}}&\boldsymbol{\Sigma_{12}}\\ \boldsymbol{\Sigma_{21}}&\boldsymbol{\Sigma_{22}} \end{bmatrix}\tag{14} \end{equation}

注意Σ11\boldsymbol{\Sigma_{11}}是X1\mathbf{X_1}得协方差矩阵，Σ12\boldsymbol{\Sigma_{12}}包含X1,X2\mathbf{X_1,X_2}元素之间的所有协方差，现在定义A\mathbf{A}为矩阵

A=[Im⋮Omp]

\mathbf{A}=[\mathbf{I}_m\vdots\mathbf{O}_{mp}]

其中Omp\mathbf{O}_{mp}是一个m×pm\times p的零矩阵，那么X1=AX\mathbf{X_1=AX}。因此在这个变换上应用定理1可以得到下面的推论：

推论1：\textbf{推论1：}假设X\mathbf{X}满足Nn(μ,Σ)N_n(\boldsymbol{\mu},\boldsymbol{\Sigma})分布，将其分成(13),(14)(13),(14)的形式，那么X1\mathbf{X_1}满足Nm(μ1,Σ11)N_m(\boldsymbol{\mu}_1,\boldsymbol{\Sigma_{11}})分布。

这是个非常有用的结论，因为它说明X\mathbf{X}的任何边缘分布也是正态分布，进一步它的均值与协方差矩阵与其部分向量的均值与方差有关。

例1：\textbf{例1：}本例展示n=2n=2的多元正态情况，这种情况的分布称为二元正态，我们使用常用的符号(X,Y)(X,Y)而不是(X1,X2)(X_1,X_2)，所以假设(X,Y)(X,Y)满足N2(μ,Σ)N_2(\boldsymbol{\mu},\boldsymbol{\Sigma})分布，其中

μ=[μ1μ2]Σ=[σ21σ12σ12σ22](15)

\begin{equation} \boldsymbol{\mu}= \begin{bmatrix} \mu_1\\ \mu_2 \end{bmatrix} \quad \boldsymbol{\Sigma}= \begin{bmatrix} \sigma_1^2&\sigma_{12}\\ \sigma_{12}&\sigma_2^2 \end{bmatrix}\tag{15} \end{equation}

这里μ1,σ21\mu_1,\sigma_1^2分别是XX的均值与方差；μ2,σ22\mu_2,\sigma_2^2分别是YY的均值与方差；σ12\sigma_{12}是X,YX,Y之间的协方差，回顾一下σ12=ρσ1σ2\sigma_{12}=\rho\sigma_1\sigma_2，其中ρ\rho是X,YX,Y之间的相关系数。将ρσ1σ2\rho\sigma_1\sigma_2代入Σ\boldsymbol{\Sigma}中的σ12\sigma_{12}，很容易看出Σ\boldsymbol{\Sigma}的行列式为σ21σ22(1−ρ2)\sigma_1^2\sigma_2^2(1-\rho^2)。另外ρ2≤1\rho^2\leq 1，接下里我们假设ρ2<1\rho^2，这时候Σ\boldsymbol{\Sigma}是可逆的(也是正定的)，进一步因为Σ\boldsymbol{\Sigma}是一个2×22\times 2矩阵，所以它的逆很容易定义为

Σ−1=1σ21σ22(1−ρ2)[σ22−ρσ1σ2−ρσ1σ2σ21](16)

\begin{equation} \boldsymbol{\Sigma^{-1}}=\frac{1}{\sigma_1^2\sigma_2^2(1-\rho^2)} \begin{bmatrix} \sigma_2^2&-\rho\sigma_1\sigma_2\\ -\rho\sigma_1\sigma_2&\sigma_1^2 \end{bmatrix}\tag{16} \end{equation}

利用这个表达式，(X,Y)(X,Y)的pdf可以写成

f(x,y)=12πσ1σ21−ρ2‾‾‾‾‾‾√e−q/2, −∞<x<∞, −∞<y<∞(17)

\begin{equation} f(x,y)=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}e^{-q/2},\ -\infty

其中，

q=11−ρ2[(x−μ1σ1)2−2ρ(x−μ1σ1)(y−μ2σ2)+(y−μ2σ2)2](18)

\begin{equation} q=\frac{1}{1-\rho^2}\left[\left(\frac{x-\mu_1}{\sigma_1}\right)^2-2\rho\left(\frac{x-\mu_1}{\sigma_1}\right)\left(\frac{y-\mu_2}{\sigma_2}\right)+\left(\frac{y-\mu_2}{\sigma_2}\right)^2\right]\tag{18} \end{equation}

如果X,YX,Y是独立的随机变量，那么它们的相关系数为0。如果它们是正态的，根据推论1，XX满足N(μ1,σ21)N(\mu_1,\sigma_1^2)分布，YY满足N(μ2,σ22)N(\mu_2,\sigma_2^2)分布。进一步，基于(17)(17)，对于(X,Y)(X,Y)的联合pdf，如果相关系数为0，那么X,YX,Y是独立的。即对于二元正态情况，独立等价于ρ=0\rho=0，多元正态情况同样成立。

一般而言，如果两个随机变量是独立的，那么它们的协方差为0，但是反过来不一定对。然而对于正态情况却为真。

定理2：\textbf{定理2：}假设X\mathbf{X}满足Nn(μ,Σ)N_n(\boldsymbol{\mu},\boldsymbol{\Sigma})分布，且如(13),(14)(13),(14)那样划分，那么X1,X2\mathbf{X_1,X_2}是独立的，当且仅当Σ12=O\boldsymbol{\Sigma_{12}}=\mathbf{O}。

证明：\textbf{证明：}首先注意到Σ21=Σ12′\boldsymbol{\Sigma_{21}=\Sigma{12}^\prime}，X1,X2\mathbf{X_1,X_2}的联合mgf为

MX1,X2(t1,t2)=exp{t1′μ1+t2′μ2+12(t′1Σ11t1+t′2Σ22t2+t′2Σ21t1+t′1Σ12t2)}(19)

\begin{equation} M_{\mathbf{X_1,X_2}}(\mathbf{t_1,t_2})=\exp\left\{\mathbf{t_1}^\prime\boldsymbol{\mu_1}+\mathbf{t_2}^\prime\boldsymbol{\mu_2}+\frac{1}{2}(\mathbf{t_1^\prime}\boldsymbol{\Sigma_{11}}\mathbf{t_1}+\mathbf{t_2^\prime}\boldsymbol{\Sigma_{22}}\mathbf{t_2}+\mathbf{t_2^\prime}\boldsymbol{\Sigma_{21}}\mathbf{t_1}+\mathbf{t_1^\prime}\boldsymbol{\Sigma_{12}}\mathbf{t_2})\right\}\tag{19} \end{equation}

其中t=(t′1,t′2)\mathbf{t=(t_1^\prime,t_2^\prime)}是与μ\boldsymbol{\mu}一样的划分，根据推论1，X1\mathbf{X_1}满足Nm(μ1,Σ11)N_m(\boldsymbol{\mu_1},\boldsymbol{\Sigma_{11}})分布，X2\mathbf{X_2}满足Np(μ2,Σ22)N_p(\boldsymbol{\mu_2},\boldsymbol{\Sigma_{22}})分布，因此它们边缘mgf的乘积为：

MX1(t1)MX2(t2)=exp{t′1μ1+t′2μ2+12(t′1Σ11t1+t′2Σ22t2)}(20)

\begin{equation} M_{\mathbf{X_1}}(\mathbf{t_1})M_{\mathbf{X_2}}(\mathbf{t_2})=\exp\left\{\mathbf{t_1^\prime}\boldsymbol{\mu_1}+\mathbf{t_2^\prime}\boldsymbol{\mu_2}+\frac{1}{2}(\mathbf{t_1^\prime}\boldsymbol{\Sigma_{11}}\mathbf{t_1}+\mathbf{t_2^\prime}\boldsymbol{\Sigma_{22}\mathbf{t_2}})\right\}\tag{20} \end{equation}

X1,X2\mathbf{X_1,X_2}是独立的，当且仅当(19),(20)(19),(20)想等。如果Σ12=O\boldsymbol{\Sigma_{12}}=\mathbf{O}，那么表达式想等且X1,X2\mathbf{X_1,X_2}独立。如果X1,X2\mathbf{X_1,X_2}独立，那么它们元素之间的协方差为0；即Σ12=O,Σ21=O\boldsymbol{\Sigma_{12}}=\mathbf{O},\boldsymbol{\Sigma_{21}}=\mathbf{O}。

推论1说明多元正态的边缘分布是正态分布，条件分布同样如此。结合定理1与定理2可以得出下面的定理。

定理3：\textbf{定理3：}假设X\mathbf{X}满足Nn(μ,Σ)N_n(\boldsymbol{\mu,\Sigma})分布，划分成(13),(14)(13),(14)，假设Σ\boldsymbol{\Sigma}是正定的，那么X1|X2\mathbf{X_1|X_2}的条件分布为

Nm(μ1+Σ12Σ−122(X2−μ2),Σ11−Σ12Σ−122Σ21)(21)

\begin{equation} N_m(\boldsymbol{\mu_1+\Sigma_{12}\Sigma_{22}^{-1}(\mathbf{X_2}-\boldsymbol{\mu_2}}),\boldsymbol{\Sigma_{11}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}})\tag{21} \end{equation}

证明：\textbf{证明：}考虑随机变量W=X1−Σ12Σ−122X2\mathbf{W=X_1-}\boldsymbol{\Sigma_{12}\Sigma_{22}^{-1}}\mathbf{X_2}与X2\mathbf{X_2}的联合分布，这个分布是通过下面的变换得到的

[WX2]=[ImO−Σ12Σ−122Ip][X1X2]

\begin{bmatrix} \mathbf{W}\\ \mathbf{X_2} \end{bmatrix}= \begin{bmatrix} \mathbf{I}_m&-\boldsymbol{\Sigma_{12}\Sigma_{22}^{-1}}\\ \mathbf{O}&\mathbf{I}_p \end{bmatrix} \begin{bmatrix} \mathbf{X_1}\\ \mathbf{X_2} \end{bmatrix}

因为这是一个线性变换，所以根据定理1可知联合分布为多元正态，且E[W]=μ1−Σ12Σ−122μ2,E[X2]=μ2E[\mathbf{W}]=\boldsymbol{\mu_1-\Sigma_{12}\Sigma_{22}^{-1}\mu_2},E[\mathbf{X_2}]=\boldsymbol{\mu_2}，协方差矩阵为

[ImO−Σ12Σ−122Ip][Σ11Σ21Σ12Σ22][Im−Σ−122Σ21OIp]=[Σ11−Σ12Σ−122Σ21OOΣ22]

\begin{align*} &\begin{bmatrix} \mathbf{I}_m&-\boldsymbol{\Sigma_{12}\Sigma_{22}^{-1}}\\ \mathbf{O}&\mathbf{I}_p \end{bmatrix} \begin{bmatrix} \boldsymbol{\Sigma_{11}}&\boldsymbol{\Sigma_{12}}\\ \boldsymbol{\Sigma_{21}}&\boldsymbol{\Sigma_{22}} \end{bmatrix} \begin{bmatrix} \mathbf{I}_m&\mathbf{O}\\ -\boldsymbol{\Sigma_{22}^{-1}\Sigma_{21}}&\mathbf{I}_p \end{bmatrix}=\\ &\begin{bmatrix} \boldsymbol{\Sigma_{11}-\boldsymbol{\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}}}&\mathbf{O}\\ \mathbf{O}&\boldsymbol{\Sigma_{22}} \end{bmatrix} \end{align*}

因此根据定理2，随机向量W,X2\mathbf{W,X_2}是独立的，故W|X2\mathbf{W|X_2}的条件分布与W\mathbf{W}的边缘分布一样；即
W|X2\mathbf{W|X_2}满足Nm(μ1−Σ12Σ−122μ2,Σ11−Σ12Σ−122Σ21)N_m(\boldsymbol{\mu_1-\Sigma_{12}\Sigma_{22}^{-1}\mu_2},\boldsymbol{\Sigma_{11}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}})，进一步因为独立性，给定X2,W+Σ12Σ−122X2\mathbf{X_2},\mathbf{W+}\boldsymbol{\Sigma_{12}\Sigma_{22}^{-1}}\mathbf{X_2}的分布为

Nm(μ1−Σ12Σ−122μ2+Σ12Σ−122X2,Σ11−Σ12Σ−122Σ21)(22)

\begin{equation} N_m(\boldsymbol{\mu_1-\Sigma_{12}\Sigma_{22}^{-1}\mu_2}+\boldsymbol{\Sigma_{12}\Sigma_{22}^{-1}}\mathbf{X_2},\boldsymbol{\Sigma_{11}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}})\tag{22} \end{equation}

得证。||||

例2：\textbf{例2：}依然考虑例1的二元情况，我们反转下变量，使得Y=X1,X=X2\mathbf{Y=X_1,X=X_2}，给定X=x,YX=x,Y的条件分布根据(21)(21)可知为

N[μ2+ρσ2σ1(x−μ1),σ22(1−ρ2)](23)

\begin{equation} N[\mu_2+\rho\frac{\sigma_2}{\sigma_1}(x-\mu_1),\sigma_2^2(1-\rho^2)]\tag{23} \end{equation}

因此而与二元正态分布，给定X=xX=x，YY的条件均值是xx的线性函数

E(Y|x)=μ2+ρσ2σ1(x−μ1)

E(Y|x)=\mu_2+\rho\frac{\sigma_2}{\sigma_1}(x-\mu_1)

线性条件均值E(Y|x)E(Y|x)中xx的系数为ρσ2/σ1\rho\sigma_2/\sigma_1。在一般线性条件均值E(Y|x)E(Y|x)中xx的系数为相关系数与σ2/σ1\sigma_2/\sigma_1的乘积。

虽然给定X=x,YX=x,Y的条件分布均值依赖xx(除非ρ=0\rho=0)，但是方差σ22(1−ρ2)\sigma_2^2(1-\rho^2)对所有xx值都是一样的，同样的方式我们可以给出Y=y,XY=y,X的条件分布为

N[μ1+ρσ1σ2(y−μ2),σ21(1−ρ2)]

N[\mu_1+\rho\frac{\sigma_1}{\sigma_2}(y-\mu_2),\sigma_1^2(1-\rho^2)]

回忆一下，如果随机变量XX满足N(μ,σ2)N(\mu,\sigma_2)分布，那么随机变量[(X−μ)/σ]2[(X-\mu)/\sigma]^2满足χ2(1)\chi^2(1)分布，多元情况类似，如下定理所述。

定理4：\textbf{定理4：}假设X\mathbf{X}满足Nn(μ,Σ)N_n(\boldsymbol{\mu,\Sigma})分布，其中Σ\boldsymbol{\Sigma}是正定矩阵，那么随机变量W=(X−μ)′Σ−1(X−μ)W=(\mathbf{X-}\boldsymbol{\mu})^\prime\boldsymbol{\Sigma}^{-1}(\mathbf{X}-\boldsymbol{\mu})满足χ2(n)\chi^2(n)分布。

证明：\textbf{证明：}将Σ\boldsymbol{\Sigma}写成Σ1/2Σ1/2\boldsymbol{\Sigma}^{1/2}\boldsymbol{\Sigma}^{1/2}，其中Σ1/2\boldsymbol{\Sigma}^{1/2}定义为(6)(6)，那么Z=Σ−1/2(X−μ)\mathbf{Z=}\boldsymbol{\Sigma^{-1/2}}(\mathbf{X-\boldsymbol{\mu}})满足Nn(0,In)N_n(\mathbf{0,I}_n)，令W=Z′Z=∑ni=1Z2iW=\mathbf{Z^\prime Z}=\sum_{i=1}^nZ_i^2，因为对于i=1,2,…,n,Zii=1,2,\ldots,n,Z_i满足N(0,1)N(0,1)分布，所以Z2iZ_i^2满足χ2(1)\chi^2(1)分布，因为Z1,…,ZnZ_1,\ldots,Z_n是独立的标准正态分布，所以∑i=1Z2i=W\sum_{i=1}Z_i^2=W满足χ2(n)\chi^2(n)分布。

漫步数理统计二十六——多元正态分布相关推荐

漫步数理统计二十五——正态分布
正态分布的动机源于中心极限定理(我们后面会介绍这个定理),这个定理说明正态分布为应用于统计推断提供了重要的一族分布,我们首先从标准正态分布开始. 考虑积分 I=∫∞−∞12π‾‾‾√exp(−z22) ...
漫步数理统计二十——多元随机变量
两个随机变量的概念立即可以扩展到nn个随机变量,下面就是nn个随机变量空间的定义. 定义1:\textbf{定义1:}考虑一个随机试验,其样本空间为C\textbf{C},随机变量XiX_i给每个元素 ...
漫步数理统计二十八——混合分布
假设有kk个分布,它们的pdf分别为f1(x),f2(x),-,fk(x)f_1(x),f_2(x),\ldots,f_k(x),支撑为1,2,-,k\mathcal{S_1,S_2,\ldot ...
漫步数理统计二十二——二项及相关分布
之前我们介绍了均匀分布与超几何分布,这篇文章我们讨论一些其他在统计中经常使用的分布,首先从二项与相关分布开始. 伯努利试验是一个随机试验,输出为两个相互独立且有穷中的一个,例如成功或失败(男或女,生或 ...
漫步数理统计二十九——函数期望
令X=(X1,-,Xn)′\mathbf{X}=(X_1,\ldots,X_n)^\prime表示某试验的随机变量,我们一般对X\mathbf{X}的函数感兴趣,表示为T=T(X)T=T(\mathb ...
漫步数学分析二十六——积分方程与不动点
在许多物理问题中,我们会遇到积分方程:他们的形式如下 f(x)=a+∫x0k(x,y)f(y)dy(1) \begin{equation} f(x)=a+\int_0^x k(x,y)f(y)dy\t ...
漫步线性代数二十六——特征值和特征向量（续）
上面展示了当求解du/dt=Audu/dt=Au时,如何自然而然的引出特征值λ\lambda和特征向量xx,这样的一个方程有纯指数解u=eλtxu=e^{\lambda t}x:特征值给出了增长或衰减 ...
漫步微积分二十六——Sigma符号和一些特殊和
为了理清定积分,我们首先介绍一个标准的数学符号,它用于缩写长的求和公式.这就所谓sigma符号,用希腊字母Σ\Sigma表示.在希腊字母表中,字母Σ\Sigma对应于英语字母的SS,也就是sum的第一 ...
漫步数理统计二十四——伽玛、卡方与贝塔分布
本篇博文我们讲介绍伽玛(Γ\Gamma),卡方(χ2\chi^2)与贝塔(β\beta)分布.在高等微积分中已经证明过,对于α>0\alpha>0,积分 ∫∞0yα−1e−ydy \int ...

漫步数理统计二十六——多元正态分布

漫步数理统计二十六——多元正态分布相关推荐

最新文章

热门文章