统计信号估计 (二) 最小方差无偏估计量（MUV）的线性模型

MVU表示最小方差无偏估计，下面将推导一个线性模型的MVUE，即最小方差无偏估计量。

线性模型可以表示为：
x=Hθ+w\bf{x = H\theta + w} x=Hθ+w
其中 θ\thetaθ 为待估参数，均为向量。当然，这里的MVU估计量也可以被称为BLUE，即最佳线性无偏估计量。
我们假设 w∼N(0,C)\bf{w} \sim N(0,C)w∼N(0,C) ，要根据克拉美罗界限求得最小方差无偏估计量，依据公式：
∂ln⁡p(x;θ)∂θ=I(θ)(g(x)−θ)\frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta}=I(\theta)(g(x)-\theta)∂θ∂lnp(x;θ)=I(θ)(g(x)−θ)
可以得到克拉美罗界限I(θ)I(\theta)I(θ)，以及最小方差无偏估计量 θ^=g(x)\hat{\theta} = g(x)θ^=g(x)，所以我们的目的就是求∂ln⁡p(x;θ)∂θ\frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta}∂θ∂lnp(x;θ)。
p(x;θ)=1(2π)N2det(C)12exp(−12(x−Hθ)TC−1(x−Hθ))p(\bf{x;\theta}) = \frac{1}{ (2\pi)^{\frac{N}{2}}det(C)^{\frac{1}{2}}}exp(-\frac{1}{2}(x-H\theta)^{T}C^{-1}(x-H\theta))p(x;θ)=(2π)2Ndet(C)211exp(−21(x−Hθ)TC−1(x−Hθ))
∂ln⁡p(x;θ)∂θ=−12∂∂θ[xTC−1x+(Hθ)TC−1(Hθ)−(Hθ)TC−1x−xTC−1(Hθ)]=−12[2HTC−1Hθ−2HTC−1x]=−HTC−1Hθ+HTC−1x=(HTC−1H)((HTC−1H)−1HTC−1x−θ)\begin{aligned} \frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta} &= -\frac{1}{2}\frac{\partial}{\partial \theta}[x^TC^{-1}x +(H \theta)^TC^{-1}(H \theta) - (H \theta)^TC^{-1}x-x^TC^{-1}(H \theta)] \\ &= - \frac{1}{2}[2 H^TC^{-1}H\theta -2H^TC^{-1}x] \\ &=-H^T C^{-1}H\theta + H^TC^{-1}x \\ &=(H^TC^{-1}H)((H^TC^{-1}H)^{-1}H^TC^{-1}x - \theta) \end{aligned}∂θ∂lnp(x;θ)=−21∂θ∂[xTC−1x+(Hθ)TC−1(Hθ)−(Hθ)TC−1x−xTC−1(Hθ)]=−21[2HTC−1Hθ−2HTC−1x]=−HTC−1Hθ+HTC−1x=(HTC−1H)((HTC−1H)−1HTC−1x−θ)

得到 θ^=g(x)=(HTC−1H)−1HTC−1x\hat{\theta} = g(x) = (H^TC^{-1}H)^{-1}H^TC^{-1}xθ^=g(x)=(HTC−1H)−1HTC−1x
var(θ)=I(θ)−1=(HTC−1H)−1var(\theta) = I(\theta)^{-1} = (H^TC^{-1}H)^{-1}var(θ)=I(θ)−1=(HTC−1H)−1
这个结论与最小二乘法相同。

统计信号估计 (二) 最小方差无偏估计量（MUV）的线性模型相关推荐

统计信号处理：(估计二) 最小方差无偏估计
最小方差无偏估计 2.1 无偏估计量无偏估计意味着估计量的平均值为未知参数的真值.如果 E[θ^]=θ,a<θ<bE[\hat{\theta}]=\theta, a<\thet ...
估计——一般最小方差无偏估计
- 回顾前面一直在讲述估计量的有效性(CRLB,线性模型),而没有提到假如估计量的方差没有达到CRLB,即是有效估计量不存在,但能够求出MVU估计量(假定存在)仍然是一个重要的事(可参考文章中的图片 ...
2019-10-12 线性最小方差估计和正交定理
很多东西再看第二遍的时候,都有一种恍然大悟的感觉参数估计方法现代控制理论中往往要通过观测值对系统内部结构参数进行估计,类似于我们常用的线性最小二乘法,举例:二维坐标(身高.年龄)给一堆的点,找俩参 ...
分布估计算法java_数理统计8：点估计的有效性、一致最小方差无偏估计(UMVUE)、零无偏估计法...
在之前的学习中,主要基于充分统计量给出点估计,并且注重于点估计的无偏性与相合性.然而,仅有这两个性质是不足的,无偏性只能保证统计量的均值与待估参数一致,却无法控制统计量可能偏离待估参数的程度:相合性只 ...
线性最小方差估计和射影定理
线性最小方差估计和射影定理主要参考了邓自立老师的<信息融合滤波理论及其应用>,邓老师另外还有一本<卡尔曼滤波与维纳滤波>,后者该部分的推导过程基本是前者的简化版,黄小平老师的 ...
统计信号处理 (估计三)： Cramer-Rao下限
Cramer-Rao下限未知参数的信息都是通过观测的数据以及那些数据的PDF得来的,所以如果PDF对参数依赖性较弱,或在极端情况下PDF与参数不相关,那么所估计的参数精度很差,如果PDF受未知参 ...
功率谱魏凤英统计程序_单通道语音增强之统计信号模型
[欢迎访问我的博客原文](单通道语音增强之统计信号模型) 1. 信号估计理论简述信号估计理论是现代统计处理的基础课题[@ZhangXianDa2002ModernSP],在通信.语音.图像领域均有广 ...
单个正态总体均值的区间估计_考研数学闭关修炼习题讲解(3536)统计、估计与检验...
锵锵锵!终于到了收官的时候,是的,没有看错,我们终于刷完了<闭关修炼>!今天的内容是统计.估计与检验,对应闭关修炼第35和36讲,一共有10个题,是又一个大题出题点,大家要小心,首先庆祝一 ...
最小方差问题---------------给你出道题
很多首诗,每首诗中包含很多字.我当然要用倒排索引了,对每个字建立索引,形式如下: 字1 诗11 诗12 诗13 字2 诗21 诗22 ...... 用户查询的是一个诗句,我把这个诗句中的每个字都摘出来 ...

统计信号估计 (二) 最小方差无偏估计量（MUV）的线性模型

统计信号估计 (二) 最小方差无偏估计量（MUV）的线性模型相关推荐

最新文章

热门文章