严格平稳、弱平稳、白噪声与渐进独立

文章目录

严格平稳、弱平稳、白噪声与渐进独立
- @[toc]
- - 1 严格平稳
  - 2 弱平稳
  - 3 白噪声
  - 4 渐进独立

1 严格平稳

严格平稳：给定随机过程 { x t } t = 1 ∞ \{x_t\}_{t=1}^\infty {xt}t=1∞，对于任意 m m m个时期的集合 { t 1 , t 2 … t m } \{t_1,t_2\dots t_m\} {t1,t2…tm}，均有随机向量 { x t 1 , x t 2 , … x t m } \{x_{t_1},x_{t_2},\dots x_{t_m}\} {xt1,xt2,…xtm}的联合分布等于随机向量 { x t 1 + k , x t 2 + k , … x t m + k } \{x_{t_1+k},x_{t_2+k},\dots x_{t_m+k}\} {xt1+k,xt2+k,…xtm+k}， k ∈ z k\in z k∈z,则 { x t } t = 1 ∞ \{x_t\}_{t=1}^\infty {xt}t=1∞为严格平稳过程。当只有一个时期 t t t时，则 x t x_t xt和 x t + k x_{t+k} xt+k具有相同的分布。显然 { x t } t = 1 ∞ \{x_t\}_{t=1}^\infty {xt}t=1∞若服从 i i d iid iid,则 { x t } t = 1 ∞ \{x_t\}_{t=1}^\infty {xt}t=1∞为严格平稳过程，且不存在序列相关。对于随机游走过程
y t = y t − 1 + ε t y_t=y_{t-1}+\varepsilon_t yt=yt−1+εt
给定初始值 y 0 y_0 y0， y t y_t yt可以迭代为
y t = y 0 + ∑ t = 1 t ε t y_t = y_0+\sum_{t=1}^t\varepsilon _t yt=y0+t=1∑tεt
两边同时取方差
v a r ( y t ) = v a r ( ∑ t = 1 t ε t ) = t σ ε 2 var(y_t)=var(\sum_{t=1}^t\varepsilon _t) = t\sigma_\varepsilon^2 var(yt)=var(t=1∑tεt)=tσε2
当 t → ∞ t\to \infty t→∞时， v a r ( y t ) → ∞ var(y_t)\to\infty var(yt)→∞换言之， y t y_t yt方差随着时间推移增大。而严格平稳过程要求不同时期的随机变量具有相同分布，包括矩相同，其中二阶中心矩即方差必须相同，而随机游走过程的方差是时变的，故不是严格平稳，也不是弱平稳。

y = numeric()
y[1]=0
for (i in 2:10000) y[i] = y[i-1]+rnorm(1)
plot(y,type = "l",xlab = "t",ylab = "y",cex.axis = 1.5,col = "blue",lwd = 2)
grid(ny = 5,col="black")

2 弱平稳

弱平稳：也称协方差平稳，即要求随机过程 { x t } t = 1 ∞ \{x_t\}_{t=1}^\infty {xt}t=1∞的期望 E ( x t ) E(x_t) E(xt)存在且不依赖 t t t，协方差 C o v ( x t , x t + k ) Cov(x_t,x_{t+k}) Cov(xt,xt+k)仅依赖 k k k(不是绝对位置 t t t)，则 { x t } t = 1 ∞ \{x_t\}_{t=1}^\infty {xt}t=1∞为弱平稳过程。其中 E ( x t ) E(x_t) E(xt)不依赖 t t t是一个常数， C o v ( x t , x t + k ) Cov(x_t,x_{t+k}) Cov(xt,xt+k)称为 k k k阶协方差，也是一个常数。当 k = 0 k=0 k=0，
C o v ( x t , x t + k ) = v a r ( x t ) = C ( k ) Cov(x_t,x_{t+k})=var(x_t)=C(k) Cov(xt,xt+k)=var(xt)=C(k)
这意味着若平稳只要求随机过程 { x t } t = 1 ∞ \{x_t\}_{t=1}^\infty {xt}t=1∞期望、方差和协方差均为常数即可(不依赖于 t t t)。显然，严格平稳是弱平稳的充分不必要条件，因为严格平稳不仅要求二阶矩存在，好包括更高阶矩也存在。考虑一阶自回归 A R ( 1 ) AR(1) AR(1), − 1 < ρ < 1 -1<\rho<1 −1<ρ<1
y t = ρ y t − 1 + ε t y_t = \rho y_{t-1}+\varepsilon_t yt=ρyt−1+εt
两边同时求期望
E ( y t ) = ρ E ( y t − 1 ) ⇒ E ( y t ) = 0 E(y_t)=\rho E(y_{t-1}) \Rightarrow E(y_t)=0 E(yt)=ρE(yt−1)⇒E(yt)=0
两边同时取方差
v a r ( y t ) = ρ 2 v a r ( y t − 1 ) + σ ε 2 var(y_t)=\rho^2var(y_{t-1})+\sigma_\varepsilon^2 var(yt)=ρ2var(yt−1)+σε2
当 t → ∞ t\to \infty t→∞, v a r ( y t ) var(y_t) var(yt)存在均衡解，于是
v a r ( y t ) = σ ε 2 1 − ρ 2 var(y_t) = \dfrac{\sigma_\varepsilon^2}{1-\rho^2} var(yt)=1−ρ2σε2
考虑协方差
c o v ( y t , y t + k ) = ρ k σ y 2 cov(y_t,y_{t+k})=\rho^k \sigma_y^2 cov(yt,yt+k)=ρkσy2
不依赖时间 t t t。其中 v a r ( y t ) = σ y 2 var(y_t)=\sigma^2_y var(yt)=σy2存在，仅依赖时间间隔 k k k。因此上述 A R ( 1 ) AR(1) AR(1)过程至少是弱平稳过程。

y = numeric()
y[1]=0
for (i in 2:10000) y[i] = 0.2*y[i-1]+rnorm(1)
plot(y,type = "l",xlab = "t",ylab = "y",cex.axis = 1.5,col = "blue",lwd = 1)
grid(ny = 5,col="black")

3 白噪声

白噪声：对于若平稳过程 { x t } t = 1 ∞ \{x_t\}_{t=1}^\infty {xt}t=1∞，对于 ∀ t \forall t ∀t，具有 E ( x t ) = 0 E(x_t)=0 E(xt)=0, c o v ( x t , x t + k ) = 0 , k ≠ 0 cov(x_t,x_{t+k})=0,k\neq 0 cov(xt,xt+k)=0,k=0成立。即白噪声是这样一种弱平稳：期望存在且为0，方差存在为常数，不存在 k k k阶自相关。不同时期的随机变量 x t x_t xt是不相关的。

4 渐进独立

大数定律和中心极限定理要求随机序列 x t x_t xt独立同分布，但对于经济数据并不适用。例如phillps方差，在适应性预期假设下，通货膨胀存在惯性，这就意味着当前时期的通货膨胀 p t p_t pt与下一期通货膨胀 p t + 1 p_{t+1} pt+1存在自相关。如果使用数理统计的抽样分布渐近理论不再适合经济数据。因此需要对传统大数定律进行推广：

渐进大数定律：严格平稳过程 { x t } t = 1 ∞ \{x_t\}_{t=1}^\infty {xt}t=1∞的期望 E ( x t ) = μ E(x_t)=\mu E(xt)=μ存在，则 x ˉ n = 1 n ∑ i = 1 n x i ⟶ P μ \bar{x}_n = \dfrac{1}{n}\sum_{i=1}^nx_i \stackrel{\mathrm{P}}{\longrightarrow} \mu xˉn=n1∑i=1nxi⟶Pμ，样本均值 x ˉ n \bar{x}_n xˉn是总体期望 μ \mu μ的一致估计。

与大数定律不同，这里并没有要求随机序列 { x t } t = 1 ∞ \{x_t\}_{t=1}^\infty {xt}t=1∞是独立的，即允许随即便 x t x_t xt存在序列相关，但当间隔较大时，这种相关性将会消失。