关于正态总体的样本均值与样本方差的重要结论

概要

这些结论为参数的假设检验提供了理论基础，非常重要。参考《概率论与数理统计》记录一下。

重要定理

设 $x_1,\cdots, x_n$ 是来自正态总体 $N(\mu, \sigma^2)$ 的样本，其样本均值和样本方差分别为
\begin{align}
\bar{x} &= \frac{1}{n} \sum_{i=1}^n x_i \\
s^2 &= \frac{1}{n-1} \sum_{i=1}^n(x_i - \bar{x})^2
\end{align}
则有

$\bar{x}$ 与 $s^2$ 相互独立
$\bar{x} \sim N(\mu, \dfrac{\sigma^2}{n})$
$\dfrac{(n-1)s^2}{\sigma^2}\sim \mathcal{X}^2(n-1)$

证明： 记 $x=(x_1,\cdots,x_n)^T$，则有
\begin{align}
E(X) = \begin{bmatrix} \mu \\ \vdots \\ \mu \end{bmatrix}, \quad Var(X) = \sigma^2 I
\end{align}
取一个 $n$ 维正交矩阵 $A$，其第一行的每一个元素均为 $1 / \sqrt{n}$，如
\begin{align}
A = \begin{bmatrix} \dfrac{1}{\sqrt{n}} & \dfrac{1}{\sqrt{n}} & \dfrac{1}{\sqrt{n}} & \cdots & \dfrac{1}{\sqrt{n}} \\
\dfrac{1}{\sqrt{2\cdot 1}} & -\dfrac{1}{\sqrt{2\cdot 1}} & 0 & \cdots & 0 \\
\dfrac{1}{\sqrt{3\cdot 2}} & \dfrac{1}{\sqrt{3 \cdot 2}} & -\dfrac{2}{\sqrt{3\cdot 2}} & \cdots & 0 \\
\vdots & \vdots & \vdots & \ddots & \vdots \\
\dfrac{1}{\sqrt{n(n-1)}} & \dfrac{1}{\sqrt{n(n-1)}} & \dfrac{1}{\sqrt{n(n-1)}} & \cdots & -\dfrac{n-1}{\sqrt{n(n-1)}} \\
\end{bmatrix}
\end{align}
令 $Y=AX$，则由多维正态分布的性质知 $Y$ 仍服从 $n$ 维正态分布，其均值和方差分别为
\begin{align}
E(Y) &= A \cdot E(X) = \begin{bmatrix} \sqrt{n} \mu \\ 0 \\ \vdots \\ 0 \end{bmatrix} \\
Var(Y) &= A\cdot Var(X) \cdot A^T = A \cdot \sigma^2 I \cdot A^T = \sigma^2 AA^T = \sigma^2 I
\end{align}
所以 $Y=(y_1,\cdots,y_n)^T$ 的各个分量相互独立，且都服从正态分布，其方差均为 $\sigma^2$，而均值并不完全相同，$y_1$ 的均值为 $\sqrt{n}\mu$，而 $y_2 ,\cdots, y_n$ 的均值为 $0$。注意到 $\bar{x}=\dfrac{1}{\sqrt{n}}y_1$，这就证明了结论 2.

由于 $\sum_{i=1}^n y_i^2 = Y^TY = X^TA^TAX=\sum_{i=1}^n x_i^2$，故而
\begin{align}
(n-1)\cdot s^2 &= \sum_{i=1}^n (x_i-\bar{x})^2 = \sum_{i=1}^n x_i^2 - (\sqrt{n}\bar{x})^2 \\
&=\sum_{i=1}^n y_i^2-y_1^2=\sum_{i=2}^n y_i^2
\end{align}
这就证明了结论 1.

由于 $y_2,\cdots, y_n$ 独立同分布于 $N(0,\sigma^2)$，于是
\begin{align}
\frac{(n-1)s^2}{\sigma^2} = \sum_{i=2}^n \left(\frac{y_i}{\sigma} \right)^2 \sim \mathcal{X}^2(n-1)
\end{align}
定理证明完成。

重要推论

推论 1： 在上述定理的记号下，有：
\begin{align} \label{e1}
t = \frac{\sqrt{n}(\bar{x}-\mu)}{s} \sim t(n-1)
\end{align}
证明：由上述定理的结论 2 知：
\begin{align}
\frac{\bar{x}-\mu}{\sigma / \sqrt{n}} = N(0,1)
\end{align}
然后将 \ref{e1} 左端改写为
\begin{align}
\frac{\sqrt{n}(\bar{x}-\mu)}{s} = \dfrac{\dfrac{\bar{x}-\mu}{\sigma / \sqrt{n}}}{\sqrt{\dfrac{(n-1)\cdot s^2 / \sigma^2}{n-1}}}
\end{align}
由于分子是标准正态变量，分母的根号里是自由度为 $n-1$ 的 $t$ 变量除以它的自由度，且分子与分母相互独立，由 $t$ 分布定义可知 $t \sim t(n-1)$，证毕。

推论 2： 设 $x_1,x_2,\cdots, x_m$ 是来自 $N(\mu_1,\sigma_1)$ 的样本，$y_1,y_2,\cdots, y_n$ 是来自 $N(\mu_2,\sigma_2)$ 的样本，且此两样本相互独立，记
\begin{align}
s_x^2 = \dfrac{1}{m-1}\sum_{i=1}^m(x_i-\bar{x})^2,\quad s_y^2 = \dfrac{1}{m-1}\sum_{i=1}^n(y_i-\bar{y})^2
\end{align}
其中
\begin{align}
\bar{x}= \frac{1}{m} \sum_{i=1}^m x_i, \quad \bar{y} = \frac{1}{n}\sum_{i=1}^n y_i
\end{align}
则有
\begin{align}
F = \frac{s_x^2 / \sigma_1^2}{s_y^2 / \sigma_2^2} \sim F(m-1, n-1)
\end{align}
特别地，若 $\sigma_1^2 = \sigma_2^2$，则 $F = s_x^2 / s_y^2 \sim F(m-1,n-1)$.

证明：由两样本独立可知，$s_x^2$ 与 $s_y^2$ 相互独立，且
\begin{align}
\dfrac{(m-1)s_x^2}{\sigma_1^2} \sim \mathcal{X}^2(m-1),\quad \dfrac{(n-1)s_y^2}{\sigma_2^2} \sim \mathcal{X}^2(n-1)
\end{align}
由 $F$ 分布定义可知 $F \sim F(m-1,n-1)$.

推论 3： 在上述记号下，设 $\sigma_1^2 = \sigma_2^2=\sigma^2$，并记
\begin{align}
s_w^2 = \dfrac{(m-1)s_x^2+(n-1)s_y^2}{m+n-2} = \dfrac{\sum_{i=1}^m(x_i-\bar{x})^2 + \sum_{i=1}^n(y_i-\bar{y})^2}{m+n-2}
\end{align}
则
\begin{align}
\dfrac{(\bar{x}-\bar{y} - (\mu_1-\mu_2))}{s_w \sqrt{\dfrac{1}{m}+ \dfrac{1}{n}}} \sim t(m+n-2)
\end{align}
证明：由 $\bar{x}\sim N(\mu_1, \sigma^2 / m)$，$\bar{y}\sim N(\mu_2, \sigma^2 / n)$，$\bar{x}$ 与 $\bar{y}$ 独立，故有
\begin{align}
\bar{x}-\bar{y} \sim N \left( \mu_1-\mu_2, \left( \dfrac{1}{m}+\dfrac{1}{n} \right) \sigma^2 \right)
\end{align}
所以
\begin{align}
\dfrac{(\bar{x}-\bar{y} - (\mu_1-\mu_2))}{\sigma \sqrt{\dfrac{1}{m}+ \dfrac{1}{n}}} \sim N(0,1)
\end{align}
由上述定理知，$\dfrac{(m-1)s_x^2}{\sigma^2}\sim \mathcal{X}^2(m-1)$，$\dfrac{(n-1)s_y^2}{\sigma^2}\sim \mathcal{X}^2(n-1)$，且它们相互独立，则由可加性知
\begin{align}
\dfrac{(m+n-2)s_w^2}{\sigma^2} = \dfrac{(m-1)s_x^2+(n-1)s_y^2}{\sigma^2} \sim \mathcal{X}^2(m+n-2)
\end{align}
由于 $\bar{x}-\bar{y}$ 与 $s_w^2$ 相互独立，根据 $t$ 分布的定义即可得到结论。

转载于:https://www.cnblogs.com/zhoukui/p/8992085.html