小样本OLS回归梳理

上一篇《小样本OLS回归的框架》讲解了小样本OLS回归的主要框架，本文沿着该框架，对小样本OLS回归做一个全面的梳理。

1 假设

这里先将所有的小样本OLS回归中可能用到的假设放到一起，方便浏览。当然，后面的每一个结论并不是要用到所有的假设，而是只用到某几个假设，这在后面讲每个结论时会具体说明。

假设1 线性性： y i = x i ′ β + ε i y_i=x_i'\beta+\varepsilon_i yi=xi′β+εi，其中 β \beta β是未知参数向量，将所有 N N N个样本放到一起，可以写成 y = X β + ε y=X\beta+\varepsilon y=Xβ+ε，其中 X X X是 N × K N\times K N×K矩阵；
假设2 严格外生性： E ( ε ∣ X ) = 0 \mathbb{E}(\varepsilon|X)=0 E(ε∣X)=0；
假设3 非奇异性： X ′ X X'X X′X是非奇异的；
假设4 球形扰动项： E ( ε ∣ X ) = σ 2 I n \mathbb{E}(\varepsilon|X)=\sigma^2I_n E(ε∣X)=σ2In；
假设5 条件正态扰动项： ε ∣ X ∼ N ( 0 , σ 2 I n ) \varepsilon|X\sim \mathcal{N}(0,\sigma^2I_n) ε∣X∼N(0,σ2In)；
假设6 无近似多重共线性：当 n → ∞ n\to \infty n→∞时， X ′ X X'X X′X的最小特征值 λ min ( X ′ X ) → ∞ \lambda_\text{min}(X'X)\to\infty λmin(X′X)→∞的概率为1。

其中，假设3等价于 rank ( X ) = K \text{rank}(X)=K rank(X)=K。假设6只在个别资料中会出现，它排除了近似多重共线性的可能。另外，假设4说明了扰动项没有自相关性并且是同方差的，假设5包含了假设4，假设5只在需要推导 β ^ \hat\beta β^的抽样分布及其相关问题时需要用到。

2 β \beta β的点估计及其性质

2.1 β \beta β的点估计

通过求解 β ^ = arg ⁡ min ⁡ SSR ( β ) \hat{\beta}=\arg\min \text{SSR}(\beta) β^=argminSSR(β)，在假设3成立时很容易得到 β ^ = ( X ′ X ) − 1 X y \hat\beta=(X'X)^{-1}Xy β^=(X′X)−1Xy，这就是点估计。

我们将线性回归的残差记为 e = y − X β ^ e=y-X\hat\beta e=y−Xβ^。

在后续的推导中，主要用到的是点估计 β ^ \hat\beta β^与真实 β \beta β的差，利用假设1，有 β ^ − β = ( X ′ X ) − 1 X ′ ε \hat\beta-\beta=(X'X)^{-1}X'\varepsilon β^−β=(X′X)−1X′ε。

2.2 β ^ \hat\beta β^的性质

首先， β ^ \hat\beta β^的条件期望就等于 β \beta β，即它是条件无偏的，利用假设4，可以得到 E ( β ^ − β ∣ X ) = 0 \mathbb{E}(\hat\beta-\beta|X)=0 E(β^−β∣X)=0。当然，在无条件下它也是无偏的。

它的条件方差很好计算，由定义和假设4， Var ( β ^ ∣ X ) = σ 2 ( X ′ X ) − 1 \text{Var}(\hat\beta|X)=\sigma^2(X'X)^{-1} Var(β^∣X)=σ2(X′X)−1。若假设6也成立，则对于任何 K × 1 K\times 1 K×1且满足 τ ′ τ = 1 \tau'\tau=1 τ′τ=1的向量 τ \tau τ，有当 n → ∞ n\to \infty n→∞时， τ ′ Var ( β ^ ∣ X ) τ → 0 \tau'\text{Var}(\hat\beta|X)\tau\to 0 τ′Var(β^∣X)τ→0。这意味着，只要不存在近似多重共线性，那么只要数据足够多， β ^ \hat\beta β^的方差就会趋近于0，反之，若出现了近似多重共线性，方差就很难靠收集数据来补救。

可以证明，在所有的线性无偏估计量中， β ^ \hat\beta β^具有最小的方差，这就是Gauss-Markov定理。它表明，对于任意一个其他的线性无偏估计量 b ^ \hat b b^， Var ( b ^ ∣ X ) − Var ( β ^ ∣ X ) \text{Var}(\hat b|X)-\text{Var}(\hat\beta|X) Var(b^∣X)−Var(β^∣X)必为半正定矩阵。

对于未知的参数 σ 2 \sigma^2 σ2，可以用残差的方差估计量 s 2 = e ′ e / ( N − K ) s^2=e'e/(N-K) s2=e′e/(N−K)来估计它。这也是一个无偏估计量，即 E ( s 2 ∣ X ) = σ 2 \mathbb{E}(s^2|X)=\sigma^2 E(s2∣X)=σ2。

3 β ^ \hat\beta β^的抽样分布及假设检验

3.1 β ^ \hat\beta β^的抽样分布

由于是小样本，因此对于扰动项分布的假设至关重要。光靠假设4是不够的，必须要用更强的假设5。

有了假设5，可以得出 β ^ \hat\beta β^也服从条件正态分布：
β ^ − β ∣ X ∼ N ( 0 , σ 2 ( X ′ X ) − 1 ) \hat\beta-\beta|X\sim \mathcal{N}\left(0,\sigma^2(X'X)^{-1}\right) β^−β∣X∼N(0,σ2(X′X)−1)

对于任意 J × K J\times K J×K的非随机矩阵 R R R，有
R ( β ^ − β ) ∣ X ∼ N ( 0 , σ 2 R ( X ′ X ) − 1 R ′ ) R(\hat\beta-\beta)|X\sim \mathcal{N}\left(0,\sigma^2R(X'X)^{-1}R'\right) R(β^−β)∣X∼N(0,σ2R(X′X)−1R′)

3.2 拟合优度

线性回归模型对数据的拟合情况怎样？可以用拟合优度来表达。下式为非中心化 R 2 R^2 R2的表达式：
R u c 2 ≡ y ^ ′ y ^ y ′ y = 1 − e ′ e y ′ y R^2_{uc}\equiv \dfrac{\hat y'\hat y}{y'y} = 1-\dfrac{e'e}{y'y} Ruc2≡y′yy^′y^=1−y′ye′e

下式是中心化 R 2 R^2 R2，又叫决定系数（Coefficient of Determination）：
R 2 ≡ 1 − e ′ e ( y − y ˉ ℓ ) ′ ( y − y ˉ ℓ ) R^2\equiv 1-\dfrac{e'e}{(y-\bar y \ell)'(y-\bar y\ell)} R2≡1−(y−yˉℓ)′(y−yˉℓ)e′e

其实， R 2 R^2 R2就是 y y y和 y ^ \hat y y^之间的相关系数平方： R 2 = ρ ^ y y ^ 2 R^2=\hat\rho^2_{y\hat y} R2=ρ^yy^2。

3.3 一些辅助结论和定理

定理1 正态随机变量的二次型 m m m维随机向量 v ∼ N ( 0 , I m ) v\sim\mathcal{N}(0,I_m) v∼N(0,Im)， Q Q Q是 m × m m\times m m×m的非随机对称幂等矩阵， rank ( Q ) = q ≤ m \text{rank}(Q)=q\le m rank(Q)=q≤m，则 v ′ Q v ∼ χ q 2 v'Qv\sim\chi^2_q v′Qv∼χq2。

定理2 q q q维随机向量 Z ∼ N ( 0 , V ) Z\sim\mathcal{N}(0,V) Z∼N(0,V)，其中 V = Var ( v ) V=\text{Var}(v) V=Var(v)是 q × q q\times q q×q的对称、非奇异的协方差矩阵，则 Z ′ V − 1 Z ∼ χ q 2 Z'V^{-1}Z\sim\chi^2_q Z′V−1Z∼χq2。

由定理1，可以得到 ( N − K ) s 2 σ 2 ∼ χ N − K 2 \dfrac{(N-K)s^2}{\sigma^2}\sim\chi^2_{N-K} σ2(N−K)s2∼χN−K2。

另外， Cov ( β ^ , e ∣ X ) = 0 \text{Cov}(\hat\beta, e|X)=0 Cov(β^,e∣X)=0，并且 e e e和 β ^ \hat\beta β^服从联合正态分布，这是因为
[ e β ^ − β ] = [ I n − X ( X ′ X ) − 1 X ′ ( X ′ X ) − 1 X ′ ] ε \left[\begin{matrix} e\\ \hat\beta-\beta \end{matrix}\right] =\left[\begin{matrix} I_n-X(X'X)^{-1}X'\\ (X'X)^{-1}X' \end{matrix}\right]\varepsilon [eβ^−β]=[In−X(X′X)−1X′(X′X)−1X′]ε
而由假设5， ε \varepsilon ε服从条件正态分布，因此上式是 ε \varepsilon ε的线性组合，也服从以 X X X为条件的联合正态分布。而对于联合正态分布来说，不相关性等价于独立性，因此， e e e和 β ^ \hat\beta β^是独立的。

3.4 假设检验

3.4.1 F F F检验

我们可以对如 R β = r R\beta=r Rβ=r这样的零假设进行假设检验，其中 R R R为 J × K J\times K J×K的矩阵。

若零假设成立，那么
R β ^ − r = R ( β ^ − β ) R\hat\beta-r=R(\hat\beta-\beta) Rβ^−r=R(β^−β)

由3.1节，我们可知
R β ^ − r ∣ X ∼ N ( 0 , σ 2 R ( X ′ X ) − 1 R ′ ) R\hat\beta-r|X\sim \mathcal{N}\left(0,\sigma^2R(X'X)^{-1}R'\right) Rβ^−r∣X∼N(0,σ2R(X′X)−1R′)

再利用定理2，可以得出
( R β ^ − r ) ′ [ σ 2 R ( X ′ X ) − 1 R ′ ] − 1 ( R β ^ − r ) ∣ X ∼ χ J 2 (R\hat\beta-r)'[\sigma^2R(X'X)^{-1}R']^{-1}(R\hat\beta-r)|X \sim \chi^2_J (Rβ^−r)′[σ2R(X′X)−1R′]−1(Rβ^−r)∣X∼χJ2

由于分布 χ J 2 \chi^2_J χJ2不依赖于 X X X，因此，上式的无条件分布也服从 χ J 2 \chi^2_J χJ2分布。

但问题在于 σ 2 \sigma^2 σ2是未知的，因此上式是无法计算的。解决办法是利用 s 2 s^2 s2替代它，这样替代后，再稍作处理（除以 J J J），我们可以推导出一个不一样的分布，也就是 F F F统计量：

F = ( R β ^ − r ) ′ [ R ( X ′ X ) − 1 R ′ ] − 1 ( R β ^ − r ) / J s 2 = ( R β ^ − r ) ′ [ σ 2 R ( X ′ X ) − 1 R ′ ] − 1 ( R β ^ − r ) / J ( N − K ) s 2 / σ 2 / ( N − K ) ∼ F J , N − K \begin{aligned} F=&\dfrac{(R\hat\beta-r)'[R(X'X)^{-1}R']^{-1}(R\hat\beta-r)/J}{s^2}\\ =& \dfrac{(R\hat\beta-r)'[\sigma^2R(X'X)^{-1}R']^{-1}(R\hat\beta-r)/J}{(N-K)s^2/\sigma^2/(N-K)}\\ \sim& F_{J, N-K} \end{aligned} F==∼s2(Rβ^−r)′[R(X′X)−1R′]−1(Rβ^−r)/J(N−K)s2/σ2/(N−K)(Rβ^−r)′[σ2R(X′X)−1R′]−1(Rβ^−r)/JFJ,N−K

为何服从 F F F分布？可以从分子为 χ J 2 \chi^2_J χJ2分布除以 J J J、分母为 χ N − K 2 \chi^2_{N-K} χN−K2分布除以 N − K N-K N−K、分子与分母中的变量 β ^ \hat\beta β^与 e e e相互独立三个条件证明。

从另一个角度，记 e e e为无约束回归的残差，记 e ~ \tilde e e~为在约束 R β = r R\beta=r Rβ=r下的回归的残差，那么 F F F统计量又可以写为
F = ( e ~ ′ e ~ − e ′ e ) / J e ′ e / ( N − K ) F=\dfrac{(\tilde e'\tilde e-e'e)/J}{e'e/(N-K)} F=e′e/(N−K)(e~′e~−e′e)/J

3.4.2 t t t检验

当 J = 1 J=1 J=1时， R β ^ − r R\hat\beta-r Rβ^−r和 σ 2 R ( X ′ X ) − 1 R ′ \sigma^2R(X'X)^{-1}R' σ2R(X′X)−1R′变成了标量，不必再用二次型的形式构造出 χ 1 2 \chi^2_1 χ12分布，而是可以直接构造正态分布形式：
[ σ 2 R ( X ′ X ) − 1 R ′ ] − 1 / 2 ( R β ^ − r ) ∼ N ( 0 , 1 ) [\sigma^2R(X'X)^{-1}R']^{-1/2}(R\hat\beta-r)\sim \mathcal{N}(0,1) [σ2R(X′X)−1R′]−1/2(Rβ^−r)∼N(0,1)

只要再对上一节 F F F统计量的分母也相应求平方根，就可以得到 T T T统计量：
T ≡ R β ^ − r s 2 R ( X ′ X ) − 1 R ′ = [ σ 2 R ( X ′ X ) − 1 R ′ ] − 1 / 2 ( R β ^ − r ) ( N − K ) s 2 / σ 2 / ( N − K ) ∼ t N − K \begin{aligned} T\equiv& \dfrac{R\hat\beta-r}{\sqrt{s^2R(X'X)^{-1}R'}}\\ =& \dfrac{[\sigma^2R(X'X)^{-1}R']^{-1/2}(R\hat\beta-r)}{\sqrt{(N-K)s^2/\sigma^2/(N-K)}}\\ \sim& t_{N-K} \end{aligned} T≡=∼s2R(X′X)−1R′ Rβ^−r(N−K)s2/σ2/(N−K) [σ2R(X′X)−1R′]−1/2(Rβ^−r)tN−K

从而可进行 t t t检验。