以直流信号测量为例，进行标量CRLB推导及说明

首先，提出工程中实际存在的问题：

如果用一个高精度万用表去测量一个电源输出的直流电平，已知该电源的直流电平符合高斯分布，而每次观测，都用万用表等时间间隔采集N个点的数据，即：

其中：

对采集到的N个点数据，我们希望估计直流电平A，此时可以有无数个无偏估计的方法，下面随意举三种方法：

第一种估计方法：

即每次只取采集到的N个数据的第一个数据，估计直流电平A。此类系统可能在数据采集能力、存储深度等方面存在限制的系统中使用，因此只能选用一个采样点进行估计；

第二种估计方法：

即每次只取采集到的N个数据的第一个和最后一个数据，加权后估计直流电平A；此类系统，估计算法可以采用两个采样点，此时也提出了一种无偏估计。

第三种估计方法：

即对每次采集到的N个数据，利用其算术平均的结果，估计估计直流电平A。此类系统，可以采集N个观测数据，且N个观测数据都可以用于估计参数A。此时用的是算术平均的方法，当然在此条件下，还有采用各种的加权系数的无偏估计方法。

由于上述估计，都满足：

因此，都是关于A的无偏估计，满足估计无偏性条件。但这三个估计量哪个更加有效，那需要比较三个估计量的方差。

观察三种无偏估计的方差，可以得到：

因此，当时，尽管三个都是无偏估计，但他们的方差满足：

因此，就这三种估计来说，显然是最好的。

接下来我们仍然需要回答如下两个问题：

对于高斯噪声特性已知的情况下，无偏估计的方差是否存在理论上的最小值？最小值是多少？也就是不管A采用哪种无偏估计，其方差都不可能低于这个极限；

是否存在一个最有效的估计量，使得该估计量的方差最小，也就是达到上个问题的方差最小值，此时我们就找到了该估计量的最小方差无偏估计。

针对问题1，由于的无偏估计方法无穷无尽，我们不可能去穷举；有些情况下，我们甚至还不知道能否得到参数A的无偏估计具体表达式，此时如果能够有方法直接获取待估计参数方差的下限，那非常有利于后续具体工程设计与优化。

针对问题2，如果能够找到MVU，那么后续针对这一类工程中的问题，就可以一直使用该估计方法进行估计即可。因为针对此参数的其他无偏估计，其方差肯定不会低于MVU估计方法的方差。

想要回答上述问题，需要使用CRLB定理，首先阐述一下标量形式的CRLB定理

针对上述关于直流电平估计的例子，我们可以采用统计信号处理中的CRLB极限进行回答，先说结论：

如果要从采集到的一组观测量：

并利用其概率密度函数(此时该函数被称为似然函数)去估计未知参数时，如果满足正则条件，即：

那么对参数的任意无偏估计的方差满足：

其中：

CRLB结论的作用一般有两个：

第一：在参数θ的无偏估计没有明确的情况下，就可以通过该公式确定此参数无偏估计方差的下限（被称为CRLB下限），也就是任意对参数的无偏估计，其方差都不会低于这个CRLB下限;

第二：在某些情况下，能够求出达到CRLB下限的最小方差无偏估计。

接下来，对标量形式的CRLB进行证明

在证明的过程中，会用到如下几个公式和定理：

首先是任意函数自然对数的导数满足：

因此，可以得到：

其次是Cauchy-Schwarz不等式，即：

该不等式成立的条件是：当存在某个与x无关的参数c，且满足：

上述不等式等号成立。

下面开始定理的证明：

首先我们讨论的是关于的无偏估计，因此可以从无偏估计的定义入手，即

其中用观测到的一组数据进行的某种无偏估计方法。然后我们对上式两边对θ进行求导，即：

除了当概率密度函数的非零域与未知参数有关之外，上述求导和积分可以互换[1]。或者可以描述为上述数学期望的积分上下限与估计量有关，那么求导与积分就不能互换，因此就不能使用正则条件。

对求导与积分互换后，我们得到：

而其中中不包含参数，因此进一步可以得到：

使用上述自然对数导数的性质，可以得到：

因此：

利用正则条件，此时有：

两边都乘后可以得到：

然后将两个式子相减，可以得到：

为了使用Cauchy-Schwarz不等式，将上式中的拆成两个平方根相乘（概率密度非负，因此可以开根号），得到：

利用Cauchy-Schwarz不等式，可以得到：

而其中：

因此可以得到：

接下来证明：

还是从正则条件出发，存在：

两边对求导，并进行积分求导操作互换，可以得到：

再次用到自然对数导数的性质，可以得到：

也即是：

因此，最终无偏估计量方差的下限可以表示为：

CRLB下限证明完毕。

接下来讨论Cauchy-Schwarz不等式等式成立的条件：

在上面的计算过程中，用到了：

根据等式成立条件，那么假设存在一个与x无关的参数，注意该参数与x无关，但可能与待估计的参数有关，此时如果等式成立，那么存在：

把上式带入之后，即可得到：

为了求出此时的CRLB下限，将上式再对求偏导，可以计算得到：

上式的化简，利用到了数学期望是对x求取，因此和对上述数学期望是常量。另外，由于是无偏估计，因此：

最终可以得到：

因此，在Cauchy-Schwarz不等式等式成立的条件下，无偏估计期望的方差的下限满足：

上述也被称为Fisher信息，显然越大，估计方差的下限越小，那么越有可能得到该参数的有效估计。

接下来讨论如何利用CRLB推导中的结论，求方差达到CRLB的无偏估计：

如果对数概率密度对估计量的导数如果满足：

那么就是方差达到CRLB的无偏估计，也称为有效估计量，此时估计量的方差达到CRLB下限：

注意：上述方法在实际工作中，只能用于一小部分有效估计方法求解，毕竟大部分场景下，无法表示成上述式子的形式。

最后，我们解决一开始提出的几个问题：

1. 如果仅用采集数据中的一个参数去估计A，那么：

对上述似然函数取对数，可以得到：

因此：

对比CRLB等号满足条件可以发现，此时：

因此，对观测数据，如果仅用一个数据去估计，那么不管从采集到的数据中去哪个元素作为估计量，该估计量都是有效估计，且此种情况下，方差的下限为。

2. 如果用采集数据中的两个观测量去估计A，假设两个观测量属于独立同分布，那么联合概率密度：

其中i不等于j，因此似然函数的对数可以表示为：

可以进一步得到：

对比CRLB等号满足条件可以发现，此时：

因此，如果能取两个观测值进行估计，那么对两个观测值进行算数平均是参数A的有效估计，此时估计的CRLB方差的下限为。

显然，前面工程问题中举例的尽管是无偏估计，但不是有效估计，因为的方差未能达到CRLB，而应该采用两个观测值的算数平均去估计参数A。

3. 如果用N个采集点都参与参数A的估计，且各个采集点都是独立同分布，那么似然函数可以表示为：

对上述取自然对数，可以得到：

对上述自然对数求偏导，可以得到：

通过对比，可以发现此时：

因此，对N个采集数据的算数平均是A的有效估计，其估计方差CRLB下限为。

最终，根据一开始提出的工程问题，我们可以发现：

和分别是采用一个观测数据和N个观测数据后对参数A的有效估计；
对于独立同分布模型，采用N个观测数据的CRLB是采用单个观测数据CRLB的。
对于类似具有高斯噪声的直流信号估计，如果单次能够采集到N个观测值，那么对N个观测值进行算术平均，得到的就是该直流信号的有效估计；且增加观测值的采样点数N，可以有效降低CRLB下限。

[1] 统计信号处理基础-估计与检测理论，50页,罗鹏飞译，2014.6

以直流信号测量为例，进行标量CRLB推导及说明相关推荐

安科瑞BR系列罗氏线圈变送器，对电网中的交流大电流进行实时测量，采用真有效值和线性补偿技术，将其隔离变换为标准的直流信号输出
1 .概述 BR系列产品应用电磁感应原理,对电网中的交流大电流进行实时测量,采用真有效值和线性补偿技术,将其隔离变换为标准的直流信号输出.DC24V安全电压供电,具有高精度.高隔离.高安全性.低功耗等 ...
matlab 信号去直流,基于FIR滤波的ADC采样信号中直流信号的消除方法与流程
本发明属于卫星导航领域,介绍了ADC采样信号中的直流偏置消除方法. 背景技术: 卫星导航系统在军事和民用领域应用越来越广泛.以GPS卫星导航系统为例,其到地面的信号功率仅为-130dBm,这么微弱的信 ...
python画锯齿波_用Python控制硬件35-自制二三十元成本的信号测量采集控制系统
如前篇所介绍,用Shell Lab测试台软件配合之前介绍的任意款实验板,都能方便地实现ADC电压测量,但遇到两个问题: 示例代码虽然众多,但大都默认ShellLab类型的控制器,需要手动改为Mcush ...
常用传感器信号测量汇总
转自:http://www.meter18.com/meter18_Article_289862.html http://wenku.baidu.com/link?url=b1PwOhUSBhwyJ ...
用python控制硬件_用Python控制硬件35-自制二三十元成本的信号测量采集控制系统...
如前篇所介绍,用Shell Lab测试台软件配合之前介绍的任意款实验板,都能方便地实现ADC电压测量,但遇到两个问题:示例代码虽然众多,但大都默认ShellLab类型的控制器,需要手动改为Mcush. ...
【数字示波器使用及MIPI-DSI信号测量】
文章目录前言一.示波器的主要指标 1.示波器带宽 2.示波器采样率 3.示波器采样深度二.示波器探头介绍 1.无源高阻探头 2.有源差分探头 3.有源电流探头三.示波器抓取信号 1.示波器触发 ...
根据声音信号测量距离
很多动物依赖于声音来感知外部的环境,像夜间活动的蝙蝠.树鼩,海洋里的生物鲸鱼.海豚等.声呐定位不仅给它们追踪猎物.躲避天敌的方法,有时也可以给它们寻觅配偶提供方便. 依靠听觉定位的动物工业革命之后, ...
纹身电极: 一种新型的可以进行脑信号测量的电极
目录简介纹身电极(tattooelectrodes)历史新一代纹身电极首次脑磁图(MEG)兼容干电极本分享为脑机学习者Rose整理发表于公众号:脑机接口社区 QQ交流群:941473018 ...
单片机检测信号通断通用电路（3.3V/5V直流信号，24V+直流信号，220V交流信号）
在实际的电路设计中,往往需要用到单片机检测某些信号通断,检测电压有无. 在一定的范围内,比如3.3V的直流信号,单片机的IO是可以直接连接信号检测的, 但是往往实际信号各种各样,24V/48V直流,2 ...

以直流信号测量为例，进行标量CRLB推导及说明

以直流信号测量为例，进行标量CRLB推导及说明相关推荐

最新文章

热门文章