UA MATH566 统计理论 完备性的证明方法
UA MATH566 统计理论 完备性的证明方法
- 定义法
- 完备分布族法
完备性是统计量的非常重要的性质之一，但完备性的证明有时并不是是一件容易的事情，这一讲介绍一些常用的证明完备性的方法：定义法，完备分布族法，指数分布族法。
假设T(X)T(X)T(X)是基于样本X=(X1,⋯,Xn)X=(X_1,\cdots,X_n)X=(X1,⋯,Xn)的一个统计量，它的分布函数为FT(t)F_T(t)FT(t)，概率密度为fT(t)f_T(t)fT(t)，总体的分布函数为FX(x)F_X(x)FX(x)，总体的概率密度为fX(x)f_X(x)fX(x)，假设总体定义在概率空间(X,F,Pθ)(\mathcal{X},\mathcal{F},P_{\theta})(X,F,Pθ)上。总体的分布族的完备性定义是：假设g(X)g(X)g(X)是(X,F,Pθ)(\mathcal{X},\mathcal{F},P_{\theta})(X,F,Pθ)上的任一可测函数，如果
Eθ[g(X)]=0⇔g(x)=0a.s.E_{\theta}[g(X)] = 0 \Leftrightarrow g(x) = 0\ a.s.Eθ[g(X)]=0⇔g(x)=0 a.s.
则称总体的分布族是完备的。与之类似，假设h(T)h(T)h(T)是基于T(X)T(X)T(X)与(Ω,F,Pθ)(\Omega,\mathcal{F},P_{\theta})(Ω,F,Pθ)的导出概率空间(T,FT,PθT)(\mathcal{T},\mathcal{F}^T,P^T_{\theta})(T,FT,PθT)上的任一可测函数，如果
Eθ[h(T)]=0⇔h(t)=0a.s.E_{\theta}[h(T)] = 0 \Leftrightarrow h(t) = 0 \ a.s.Eθ[h(T)]=0⇔h(t)=0 a.s.
则称统计量T(X)T(X)T(X)是完备统计量。基于这个定义验证某个统计量是否是完备统计量的方法叫定义法。
下面进一步考察完备统计量的定义，
Eθ[h(T)]=∫Th(t)fT(t)dt=∫Xh(t(x))fX(x)dxE_{\theta}[h(T)] = \int_{\mathcal{T}}h(t)f_T(t)dt = \int_{\mathcal{X}}h(t(x))f_X(x)dxEθ[h(T)]=∫Th(t)fT(t)dt=∫Xh(t(x))fX(x)dx
如果分布族是完备的，那么Eθ[h(T)]=0⇔h(t(x))=0a.s.⇔Pθ({x∈X:h(t(x))≠0})=0E_{\theta}[h(T)] = 0 \Leftrightarrow h(t(x)) = 0\ a.s. \Leftrightarrow P_{\theta}(\{x \in \mathcal{X}:h(t(x)) \ne 0\}) = 0Eθ[h(T)]=0⇔h(t(x))=0 a.s.⇔Pθ({x∈X:h(t(x))=0})=0
根据导出概率的含义计算
PθT({t∈T:h(t)≠0})=Pθ(T−1({t∈T:h(t)≠0}))≤Pθ({x∈X:h(t(x))≠0})P_{\theta}^T(\{t \in \mathcal{T}:h(t)\ne 0\}) = P_{\theta}(T^{-1}(\{t \in \mathcal{T}:h(t)\ne 0\})) \le P_{\theta}(\{x \in \mathcal{X}:h(t(x)) \ne 0\})PθT({t∈T:h(t)=0})=Pθ(T−1({t∈T:h(t)=0}))≤Pθ({x∈X:h(t(x))=0})
因此Pθ(T−1({t∈T:h(t)≠0}))=0P_{\theta}(T^{-1}(\{t \in \mathcal{T}:h(t)\ne 0\}))=0Pθ(T−1({t∈T:h(t)=0}))=0。这个推导说明如果分布族FXF_XFX是完备的，那么统计量T(X)T(X)T(X)就是完备的，但反过来不一定成立。这个推导还可以说明完备统计量的函数页数完备统计量。基于这个思路证明完备统计量的方法叫做完备分布族法。
自然形式的指数分布族有非常完美的性质，假设f(x;θ)=h(x)exp{θTT(x)−b(θ)}f(x;\theta) = h(x)\exp\{\theta^T T(x)-b(\theta)\}f(x;θ)=h(x)exp{θTT(x)−b(θ)}，称这个是有自然参数θ\thetaθ的指数分布族，此时T(X)T(X)T(X)就是θ\thetaθ的完备最小充分统计量。基于一组样本{Xi}i=1n\{X_i\}_{i=1}^n{Xi}i=1n的完备最小充分统计量是∑i=1nT(Xi)\sum_{i=1}^n T(X_i)∑i=1nT(Xi)。根据完备分布族法，只需证明第一条断言：自然形式的指数分布族TTT的密度核为
fT(t)∝h∗(t)eθTt−b(θ)f_T(t) \propto h^*(t)e^{\theta^T t- b(\theta)}fT(t)∝h∗(t)eθTt−b(θ)
如果Eθ[g(T)]=0E_{\theta}[g(T)]=0Eθ[g(T)]=0，则
∫Tg(t)h∗(t)eθTt−b(θ)dt=0⇒∫Tg(t)h∗(t)eθTtdt=0\int_{\mathcal{T}} g(t)h^*(t)e^{\theta^T t- b(\theta)}dt = 0 \Rightarrow \int_{\mathcal{T}} g(t)h^*(t)e^{\theta^T t}dt = 0∫Tg(t)h∗(t)eθTt−b(θ)dt=0⇒∫Tg(t)h∗(t)eθTtdt=0
根据Laplace变换的唯一性，g(t)h∗(t)=0a.s.g(t)h^*(t) = 0\ a.s.g(t)h∗(t)=0 a.s.，因此g(t)=0a.s.g(t)=0\ a.s.g(t)=0 a.s.。基于自然形式的指数分布族找完备统计量的方法叫指数分布族法。
定义法
使用定义法证明某个统计量是完备统计量的核心是论证对(T,FT,PθT)(\mathcal{T},\mathcal{F}^T,P^T_{\theta})(T,FT,PθT)上的任一可测函数h(T)h(T)h(T)有
Eθ[h(T)]=0⇔h(t)=0a.s.E_{\theta}[h(T)] = 0 \Leftrightarrow h(t) = 0 \ a.s.Eθ[h(T)]=0⇔h(t)=0 a.s.
记ϕ(θ)=Eθ[h(T)]\phi(\theta) = E_{\theta}[h(T)]ϕ(θ)=Eθ[h(T)]，ϕ\phiϕ的本质是从样本空间到参数空间的一个变换，
ϕ(θ)=∫Th(t)fT(t,θ)dt\phi(\theta) = \int_{\mathcal{T}} h(t)f_T(t,\theta)dtϕ(θ)=∫Th(t)fT(t,θ)dt
方法一 求导：
如果T\mathcal{T}T等于端点为θ\thetaθ的区间，并且fT(t,θ)f_T(t,\theta)fT(t,θ)中t,θt,\thetat,θ可分，即存在分解
fT(t,θ)=f1(t)f2(θ)f_T(t,\theta) = f_1(t)f_2(\theta)fT(t,θ)=f1(t)f2(θ)
则ϕ(θ)=0⇒∫Th(t)f1(t)dt=0\phi(\theta) = 0 \Rightarrow \int_{\mathcal{T}}h(t)f_1(t) dt= 0ϕ(θ)=0⇒∫Th(t)f1(t)dt=0，对θ\thetaθ求导得
h(θ)f1(θ)=0,∀θh(\theta)f_1(\theta) = 0,\forall \thetah(θ)f1(θ)=0,∀θ
因为f1(t)f_1(t)f1(t)不会恒等于0，所以h(t)=0a.s.h(t) = 0\ a.s.h(t)=0 a.s.，因此T(X)T(X)T(X)是完备统计量。
方法二 Laplace变换：
函数g(t)g(t)g(t)的Laplace变换为
ϕ(s)=L[g(t)]=∫0∞g(t)e−stdt=∫Th(t)fT(t,θ)dt\phi(s) = L[g(t)] = \int_{0}^{\infty}g(t)e^{-s t} dt = \int_{\mathcal{T}} h(t)f_T(t,\theta)dtϕ(s)=L[g(t)]=∫0∞g(t)e−stdt=∫Th(t)fT(t,θ)dt
所以，当积分域可以表示或扩展为[0,∞)[0,\infty)[0,∞)时，可以考虑令
g(t)=h(t)fT(t,θ)es(θ)tg(t) = h(t)f_T(t,\theta)e^{s(\theta) t}g(t)=h(t)fT(t,θ)es(θ)t
ϕ(θ)=0,∀θ\phi(\theta)=0,\forall \thetaϕ(θ)=0,∀θ（或者对θ=0\theta=0θ=0的领域成立）时，g(t)=0a.s.g(t)=0\ a.s.g(t)=0 a.s.，因此
h(t)f(t,θ)es(θ)t=0a.s.h(t)f(t,\theta)e^{s(\theta) t} = 0 \ a.s.h(t)f(t,θ)es(θ)t=0 a.s.
如果这个推得出h(t)=0a.s.h(t) = 0\ a.s.h(t)=0 a.s.，那么T(X)T(X)T(X)就是完备统计量。
例1 证明X∼U(0,θ)X \sim U(0,\theta)X∼U(0,θ)是完备分布族。
证明
假设g(x)g(x)g(x)是一个可测函数，考虑
Eθ[g(X)]=∫0θg(x)12θdx=0⇒∫0θg(x)dx=0E_{\theta}[g(X)] = \int_{0}^{\theta} g(x)\frac{1}{2\theta}dx = 0 \Rightarrow\int_{0}^{\theta} g(x)dx = 0Eθ[g(X)]=∫0θg(x)2θ1dx=0⇒∫0θg(x)dx=0
令ϕ(θ)=∫0θg(x)dx\phi(\theta) = \int_{0}^{\theta} g(x)dxϕ(θ)=∫0θg(x)dx，则
ϕ′(θ)=g(θ)=0,∀θ\phi'(\theta) = g(\theta) = 0,\forall \thetaϕ′(θ)=g(θ)=0,∀θ
因此X∼U(0,θ)X \sim U(0,\theta)X∼U(0,θ)是完备分布族。
假设两个端点都是参数，X∼U(a,b)X \sim U(a,b)X∼U(a,b)，则
Ea,b[g(X)]=∫abg(x)1b−adx=0⇒∫abg(x)dx=0E_{a,b}[g(X)] = \int_{a}^{b} g(x)\frac{1}{b-a}dx = 0 \Rightarrow\int_{a}^{b} g(x)dx = 0Ea,b[g(X)]=∫abg(x)b−a1dx=0⇒∫abg(x)dx=0
令ϕ(a,b)=∫abg(x)dx\phi(a,b) = \int_{a}^{b} g(x)dxϕ(a,b)=∫abg(x)dx，则
ϕa(a,b)=−g(a)=0,∀aϕb(a,b)=g(b)=0,∀b\phi_a(a,b) = -g(a) = 0,\forall a \\ \phi_b(a,b) = g(b) = 0,\forall bϕa(a,b)=−g(a)=0,∀aϕb(a,b)=g(b)=0,∀b
这个例子说明固定一个端点或者无固定端点的均匀分布都是完备分布族。
例2 考察正态分布的完备性：
- N(μ0,σ2)N(\mu_0,\sigma^2)N(μ0,σ2)不是完备分布族；
- N(μ,σ02)N(\mu,\sigma^2_0)N(μ,σ02)是完备分布族；
- N(μ,σ2)N(\mu,\sigma^2)N(μ,σ2)是完备分布族；
首先针对第一点给出一个反例，假设g(x)=x−μ0g(x)=x-\mu_0g(x)=x−μ0，显然g(x)≠0a.s.g(x) \ne 0\ a.s.g(x)=0 a.s.，但
E[g(X)]=EX−μ0=0E[g(X)] = EX - \mu_0 = 0E[g(X)]=EX−μ0=0
因此N(μ0,σ2)N(\mu_0,\sigma^2)N(μ0,σ2)不是完备分布族。接下来证明第二点：假设g(x)g(x)g(x)是任意可测函数，则
E[g(X)]=∫−∞∞g(x)12πσ0e−(x−μ)22σ02dx=0⇒∫−∞∞g(x)e−(x−μ)2dx=∫−∞∞g(x)e−x2e2μxdx=0E[g(X)] = \int_{-\infty}^{\infty} g(x) \frac{1}{\sqrt{2\pi}\sigma_0}e^{-\frac{(x-\mu)^2}{2\sigma^2_0}}dx = 0 \\ \Rightarrow \int_{-\infty}^{\infty} g(x)e^{-(x-\mu)^2}dx =\int_{-\infty}^{\infty} g(x)e^{-x^2}e^{2\mu x}dx = 0E[g(X)]=∫−∞∞g(x)2πσ01e−2σ02(x−μ)2dx=0⇒∫−∞∞g(x)e−(x−μ)2dx=∫−∞∞g(x)e−x2e2μxdx=0
取s=−2μs = -2\mus=−2μ，则0是sss的取值范围的内点，上式是g(x)e−x2g(x)e^{-x^2}g(x)e−x2的Laplace变换，根据Laplace变换的唯一性，
g(x)e−x2=0a.s.⇒g(x)=0a.s.g(x)e^{-x^2} = 0\ a.s. \Rightarrow g(x) = 0 \ a.s.g(x)e−x2=0 a.s.⇒g(x)=0 a.s.
因此N(μ,σ02)N(\mu,\sigma^2_0)N(μ,σ02)是完备分布族。因为证明第三点，下面给出一个引理。
引理1 假设FX(x,θ),θ∈Θ0F_X(x,\theta),\theta \in \Theta_0FX(x,θ),θ∈Θ0是完备分布族，Θ0⊂Θ\Theta_0 \subset \ThetaΘ0⊂Θ，则FX(x,θ),θ∈ΘF_X(x,\theta),\theta \in \ThetaFX(x,θ),θ∈Θ是完备分布族
证明
因为FX(x,θ),θ∈Θ0F_X(x,\theta),\theta \in \Theta_0FX(x,θ),θ∈Θ0是完备分布族，根据方法二，令
g(t)=h(t)fX(t,θ)es(θ)xg(t) = h(t)f_X(t,\theta)e^{s(\theta) x}g(t)=h(t)fX(t,θ)es(θ)x
则ϕ(θ)=0,∀θ\phi(\theta)=0,\forall \thetaϕ(θ)=0,∀θ（或者对θ=0\theta=0θ=0的某个邻域成立）时，g(t)=0a.s.g(t)=0\ a.s.g(t)=0 a.s.推出
h(t)f(t,θ)es(θ)t=0a.s.h(t)f(t,\theta)e^{s(\theta) t} = 0 \ a.s.h(t)f(t,θ)es(θ)t=0 a.s.
可以进一步推得出h(t)=0a.s.h(t) = 0\ a.s.h(t)=0 a.s.（也就是说f(t,θ)es(θ)tf(t,\theta)e^{s(\theta) t}f(t,θ)es(θ)t可约）。显然Θ0\Theta_0Θ0包含θ=0\theta = 0θ=0的某个邻域，因为Θ0⊂Θ\Theta_0 \subset \ThetaΘ0⊂Θ，因此Θ\ThetaΘ也必然包含θ=0\theta = 0θ=0的某个邻域。因此在Θ\ThetaΘ中，同样可以由ϕ(θ)=0,∀θ\phi(\theta)=0,\forall \thetaϕ(θ)=0,∀θ推出g(t)=0a.s.g(t)=0\ a.s.g(t)=0 a.s.，也就是
h(t)f(t,θ)es(θ)t=0a.s.h(t)f(t,\theta)e^{s(\theta) t} = 0 \ a.s.h(t)f(t,θ)es(θ)t=0 a.s.
因为f(t,θ)es(θ)tf(t,\theta)e^{s(\theta) t}f(t,θ)es(θ)t可约，同样可以进一步推得出h(t)=0a.s.h(t) = 0\ a.s.h(t)=0 a.s.。
注意到参数空间{(μ,σ02):∀μ}⊂{(μ,σ2):∀μ,σ2}\{(\mu,\sigma^2_0):\forall \mu\} \subset \{(\mu,\sigma^2):\forall \mu,\sigma^2\}{(μ,σ02):∀μ}⊂{(μ,σ2):∀μ,σ2}，根据引理1知例2的第三点成立。
例3 讨论Gamma分布族的完备性：
- Γ(α,β)\Gamma(\alpha,\beta)Γ(α,β)是完备分布族；
- μ+EXP(1)\mu+EXP(1)μ+EXP(1)是完备分布族；
先讨论第一点，假设g(x)g(x)g(x)是任意可测函数，则
Eα,β[g(X)]=∫0∞g(x)βαxα−1Γ(α)e−βxdx=0⇒∫0∞g(x)xα−1e−βxdx=0E_{\alpha,\beta}[g(X)] = \int_{0}^{\infty}g(x) \frac{\beta^{\alpha}x^{\alpha-1}}{\Gamma(\alpha)}e^{-\beta x}dx = 0 \Rightarrow \int_{0}^{\infty} g(x)x^{\alpha-1}e^{-\beta x}dx=0Eα,β[g(X)]=∫0∞g(x)Γ(α)βαxα−1e−βxdx=0⇒∫0∞g(x)xα−1e−βxdx=0
这是g(x)xα−1g(x)x^{\alpha-1}g(x)xα−1的Laplace变换，因此g(x)xα−1=0a.s.⇒g(x)=0a.s.g(x)x^{\alpha-1} = 0 \ a.s. \Rightarrow g(x) = 0\ a.s.g(x)xα−1=0 a.s.⇒g(x)=0 a.s.，所以Γ(α,β)\Gamma(\alpha,\beta)Γ(α,β)是完备分布族；下面讨论第二点，UA MATH566 统计理论 位置-尺度参数族中讨论了对Gamma分布族做位置变换的结果，这里可以直接用结论。假设h(x)h(x)h(x)是任意可测函数，则
Eμ[h(X)]=∫μ∞h(x)e−(x−μ)dx=∫μ∞h(x)e−xdx=0E_{\mu}[h(X)] = \int_{\mu}^{\infty} h(x)e^{-(x-\mu)}dx = \int_{\mu}^{\infty} h(x)e^{-x}dx =0Eμ[h(X)]=∫μ∞h(x)e−(x−μ)dx=∫μ∞h(x)e−xdx=0
显然这符合方法一的条件，对左右两边求导，可以得出h(μ)e−μ=0h(\mu)e^{-\mu}=0h(μ)e−μ=0，因为e−μe^{-\mu}e−μ不会恒等于0，因此h(μ)=0,a.s.∀μh(\mu)=0,\ a.s. \forall \muh(μ)=0, a.s.∀μ，所以μ+EXP(1)\mu+EXP(1)μ+EXP(1)是完备分布族；注意到
{μ+EXP(1)}⊂{μ+EXP(λ)}⊂{μ+Γ(α,β)}\{\mu+EXP(1)\} \subset \{\mu + EXP(\lambda)\} \subset \{\mu + \Gamma(\alpha,\beta)\}{μ+EXP(1)}⊂{μ+EXP(λ)}⊂{μ+Γ(α,β)}
因此根据引理1，后两个分布族也是完备分布族。
完备分布族法
只有在已知统计量T(X)T(X)T(X)的分布或者T(X)T(X)T(X)的分布很容易得到的情况下才考虑用定义法直接判断统计量的完备性，否则需要浪费额外的精力计算T(X)T(X)T(X)的分布。当T(X)T(X)T(X)的形式过于复杂时，可以尝试论证其总体是完备分布族。这个方法有个很大的缺点，完备分布族可以推出完备统计量，但不完备的分布族也会有完备统计量，因此有一些分布族不能使用完备分布族法，比如下面的例子。
例4 总体X∼N(0,σ2)X \sim N(0,\sigma^2)X∼N(0,σ2)，例2说明了总体不是完备分布族。{Xi}i=1n\{X_i\}_{i=1}^n{Xi}i=1n是一组简单随机样本，证明T(X)=∑i=1nXi2T(X) = \sum_{i=1}^n X_i^2T(X)=∑i=1nXi2是完备统计量。注意到T(X)T(X)T(X)与σ2χn2\sigma^2 \chi^2_nσ2χn2同分布，也就是说它的分布为Γ(12,n2σ2)\Gamma(\frac{1}{2},\frac{n}{2\sigma^2})Γ(21,2σ2n)。前面论证过Gamma分布是完备的，因此服从Gamma分布的T(X)T(X)T(X)完备。
正是因为完备统计量与完备分布族的复杂性，具有良好性质的指数分布族就显得格外亲切。常见的自然形式的指数分布族有正态分布、二项分布、Poisson分布、Gamma分布、Beta分布等，这些分布族的T(X)T(X)T(X)就是他们的完备最小充分统计量。
UA MATH566 统计理论 完备性的证明方法相关推荐
- UA MATH566 统计理论 证明UMVUE的方法
UA MATH566 统计理论 证明UMVUE的方法 方法一 零无偏估计法 方法二 完备充分统计量法 关于UMVUE,我们有下面两个非常常用的结论: Lehmann-Sheffe定理: 如果g(θ^) ...
- UA MATH566 统计理论 Cramer-Rao不等式与Delta方法的联系
UA MATH566 统计理论 Cramer-Rao不等式与Delta方法的联系 Delta方法与C-R不等式基本概念回顾 Delta方法近似 C-R不等式近似 推导Delta方法与C-R不等式近似相 ...
- UA MATH566 统计理论1 充分统计量
UA MATH566 统计理论1 充分统计量 指数族 自然形式 充分统计量 Neyman-Fisher因子分解定理 Bayes充分性 最小充分统计量 完备性 分布族的完备性 统计量的完备性 辅助统计量 ...
- UA MATH566 统计理论 位置-尺度参数族
UA MATH566 统计理论 位置-尺度参数族 对位置-尺度参数族做位置-尺度变换 对正态分布做位置-尺度变换 对Gamma分布做位置-尺度变换 对指数分布做位置尺度变换 对均匀分布做位置-尺度变换 ...
- UA MATH566 统计理论 截断数据
UA MATH566 统计理论 截断数据 Truncated Left-Trancated Right-Truncated 一个例子:双截断正态分布 双截断正态分布的完备最小充分统计量 这一讲介绍随机 ...
- UA MATH566 统计理论1 充分统计量例题答案3
UA MATH566 统计理论1 充分统计量例题答案3 例1.18 X1,⋯,Xn∼iidN(μ,σ2)X_1,\cdots,X_n \sim_{iid} N(\mu,\sigma^2)X1,⋯,X ...
- UA MATH566 统计理论8 用Pivot构造置信区间
UA MATH566 统计理论8 用Pivot构造置信区间 用Pivot构造置信区间 一般性方法 最优置信区间 置信区间的频率派解释 上一讲介绍的构造置信区间的方法是根据假设检验导出置信区间,但我们感 ...
- UA MATH566 统计理论2 点估计基础
UA MATH566 统计理论2 点估计基础 Rao-Blackwell定理 UMVUE 矩估计 最大似然估计 不变性与截面似然 Rao-Blackwell定理 统计推断的问题一般用统计决策理论的术语 ...
- UA MATH566 统计理论 Fisher信息论的性质下
UA MATH566 统计理论 Fisher信息量的性质下 辅助统计量的Fisher信息为0 分布族参数变换后的Fisher信息 统计量的Fisher信息的有界性 下面介绍一些Fisher信息量的常用 ...
最新文章
- Vue之概述、基本使用、data数据和if条件渲染
- C语言：简单而不易懂的声明（二）
- php新增数组函数,php操作数组函数
- 【CKEditor】上传图片接口接收不到CKEditorFuncNum参数
- 用python画桃花_python 画图
- linux使用vscode运行c,Linux中使用VS Code编译调试C++项目详解
- 玩了一年多电子商务，接触各种品类产品
- 在ruby使用终端启用外部程序
- idea导入本地idea的web项目(服务器用的是tomcat)
- NB-IoT将为无线烟感带来哪些改变？
- 修改IP的cmd命令
- 深度爬取网易Lofter的爬虫
- 如何在支付宝开直播，这篇入驻教程不要错过，看完你就会了
- 边缘计算在视频直播场景的应用与实践
- 【GameMaker】分离文件路径、文件名、后缀
- 超清西瓜视频真实视频地址获取方法
- Chrome清除某一个网站的Cookie
- 【Pandas】日期抽取.dt.weekday与.weekday()
- 下载美拍视频 python
- VBA中MsgBox的几个用法