最佳线性无偏估计量(BLUE)

- 引言

这个问题提出的原因：MVU估计量即使存在可能也无法求出。比如：有些情况下，可能并不知道数据的PDF；或知道噪声的矩统计量。这些请况下，依赖于CRLB以及充分统计量就不可用，而且充分统计量的方法也无法保证得到的估计量是最佳的MVU估计量。

要得到最佳MVU估计量，就有必要取寻找准最佳MVU估计量。若准最佳MVU估计量的方差可确定，且满足当前估计问题的需求，那么可认定它可用；若不可用，则需要寻找另外的准最佳MVU估计量。

寻找准最佳MVUE的常用方法：限制估计量为数据的线性函数，并求无偏且具有最小方差的线性估计，这就是BLUE。

- BLUE定义

观测数据 $x[0],x[1],...,x[N-1]$ ,其PDF为 $p(x;\theta )$ 与未知参数 $\theta$ 有关。BLUE限定估计量与数据呈线性，即

$\hat{\theta }=\sum_{n=0}^{N-1}a_{n}x[n]$

$a_{n}$ ——待定的常数， $a_{n}$ 选择不同，则会得到 $\theta$ 的不同估计量；

但是，最佳BLUE定义了估计量的特征：无偏，最小方差，因此可用这些特性约束条件来求取产生BLUE的 $a_{n}$ 值。这个问题可以变成一个带约束的最优问题，即有

目标函数： $\hat{\theta }=\sum_{n=0}^{N-1}a_{n}x[n]$

约束条件：无偏： $E(\hat{\theta })=\sum_{n=0}^{N-1}a_{n}E(x[n])=\theta$

最小方差： $var(\hat{\theta })=E[(\hat{\theta }-E(\hat{\theta }))^{2}]$

- 简化上述带约束的最优问题

1) 对方差进行矩阵简化表示过程

$var(\hat{\theta })=E[(\hat{\theta }-E(\hat{\theta }))^{2}]=E[(\sum_{n=0}^{N-)1}a_{n}x[n]-E(\sum_{n=0}^{N-1}a_{n}x[n]))^{2}]$

令权重矢量 $a=[a_{0},a_{1},...,a_{N-1}]^{T}$ 则上式进一步写为

$var(\hat{\theta })=E[(a^{T}X-a^{T}E(X))^{2}]=E[(a^{T}(X-E(X)))^{2}]$

即 $var(\hat{\theta })=E[a^{T}(X-E(X))(X-E(X))^{T}a]=a^{T}Ca$

2) 对无偏过程：

$E(\hat{\theta })=aE(\sum_{n=0}^{N-1}x[n])=\theta$

为了满足无偏的约束，E(x[n]) 必须是与 $\theta$ 呈线性，即

$E[x[n]]=s[n]\theta$

s[n]已知，无偏约束条件变为

$E(\hat{\theta })=\sum_{n=0}^{N-1}a_{n}E[x[n])=\sum_{n=0}^{N-1}a_{n}s[n]\theta =\theta$

$\sum_{n=0}^{N-1}a_{n}s[n] =I$

即 $a^{T}S=I$

3) 最小化问题变为

$var(\hat{\theta })=min(a^{T}Ca)$

$a^{T}S=I$

- BLUE推导结果

最佳 a 为

$a_{opt}=\frac{C^{-1}S}{S^{T}C^{-1}S}$

BLUE 为

$\hat{\theta }=\frac{S^{T}C^{-1}X}{S^{T}C^{-1}S}$

最小方差为

$var(\hat{\theta })=\frac{1}{S^{T}C^{-1}S}$

BLUE-（高斯-马尔科夫定理）

若数据具有线性模型

$x=H\Theta +w$

其中 H 是已知的 n×p 矩阵，θ 是 p×1 的待估参数矢量，w 是 n×1 的均值为0、协方差为 C 的噪声矢量（w分布可是任意的），那么 θ 的BLUE为

$\hat{\Theta}=(H^{T}C^{-1}H)^{-1}H^{T}C^{-1}x$

$\hat{\Theta }$ 的协方差矩阵为

$var(\hat{\Theta})=(H^{T}C^{-1}H)^{-1}$

- 若观测值以及噪声矢量与其顺序统计量关系非常密切，建议使用基于顺序统计量的BLUE（BLUE - OS），这样获取的参数估计精度更高。

最佳线性无偏估计量(BLUE)相关推荐

时间序列分析中如何求偏相关系数和最佳线性预报系数。ARMA(2,1)过程，ε_t是高斯白噪声WN(0,1)，求该序列的前3 个偏相关系数和最佳线性预报系数
【计量经济学导论】04. 多重共线性
文章目录多重共线性多重共线性的含义多重共线性的产生原因多重共线性的后果多重共线性的检验方法多重共线性的修正措施多重共线性通过前面的三篇笔记,我们基本上搭建了一个计量经济学的分析框架,即 ...
《计量经济学》学习笔记之一元线性回归模型
注意:本笔记以文字概括为主,公式为辅,问为啥,因为贴图片和打公式对于我来说,太烦啦~所以,就只把每个章节里觉得重要的一些概念记下来. 书籍:<计量经济学(第三版)>–李子奈导航下一章: ...
统计信号估计 (二) 最小方差无偏估计量（MUV）的线性模型
MVU表示最小方差无偏估计,下面将推导一个线性模型的MVUE,即最小方差无偏估计量. 线性模型可以表示为: x=Hθ+w\bf{x = H\theta + w} x=Hθ+w 其中 θ\thetaθ ...
计量经济学学习笔记：简单线性模型
知识点: 1.变量间的关系分为函数关系与相关关系. 相关系数是对变量间线性相关程度的度量. 2.现代意义的回归是一个被解释变量对若干个解释变量依存关系的研究,回归的实质是由解释变量去估计被解释变量的平 ...
二、简单线性回归模型（计量经济学学习笔记）
研究经济变量之间相互数量关系最基本的方法之一是回归分析. ①回归分析与回归函数 1.1相关分析与回归分析 1.1.1函数关系与相关关系经济变量之间的相互依存关系有两种:1.确定性的函数关系 2.不确 ...
统计学|线性回归模型总结
前言本科期间已经系统的学习过线性回归模型,奈何本菜鸡记性太差,每次用到还要重新找资料...近期,由于研究需要,又重新把线性回归模型学了一遍,也有了更深的理解,借此机会,系统性的总结一遍,免得用的时候 ...
python实习做什么工作-实习工作 - python挖掘 - 博客园
http://hr.tencent.com/position_detail.php?id=22922&keywords=&tid=87&lid=2156 刷题: SVM核函数: ...
一元线性回归决定系数_回归分析|笔记整理（1）——引入，一元线性回归（上）...
大家好! 新学期开始了,不知道大家又是否能够适应新的一学期呢?先祝所有大学生和中小学生开学快乐! 本学期我的专业课是概率论,回归分析,偏微分方程,数值代数,数值逼近,金融时间序列分析,应用金融计量学和 ...

最佳线性无偏估计量(BLUE)

BLUE-（高斯-马尔科夫定理）

最佳线性无偏估计量(BLUE)相关推荐

最新文章

热门文章