无偏估计

在概率论和数量统计中，学习过无偏估计，最近在学习论文时候，也经常论文中提到无偏估计。虽然对无偏估计有所了解，但是还是有些问题：

1)总体期望的无偏估计量是样本均值x-，总体方差的无偏估计是样本方差S^2,为什么样本方差需要除以n-1,而不是除以n;

2)样本在总体中是怎样的抽样过程，是放回抽样，是随机抽样，还是不放回抽样等等。

为了解决这个问题，首先来回忆一下什么叫无偏估计：

无偏估计是参数的样本估计值的期望值等于参数的真实值。估计量的数学期望等于被估计参数，则称此为无偏估计。

设A'=g(X1,X2,...,Xn)是未知参数A的一个点估计量，若A'满足

E(A')=

A

则称A'为A的无偏估计量，否则为有偏估计量。

注：无偏估计就是系统误差为零的估计。

由于公式A'=g(X1,X2,...,Xn)中的X1,X2,...,Xn一般为一次抽样的结果，没有明确是怎么抽样的一个过程，所以导致不好理解为什么A'就是A的无偏估计量，特别是很难举出实例来给与证明。经过自己的查阅资料和理解，实际上无偏估计量可以理解如下：

简单的理解，无偏估计量就是：在样本中进行n次随机的抽样，每次抽样都可以计算出一个对某一个参数的点估计量，计算n次，得到n个点估计量，然后对n个点估计量计算期望，得到的值和需要估计的总体参数相等，则称n中的任何点估计量为总体参数的无偏估计量。

能否举出一个例子呢？因为实际的应用中总体是不知道，只有样本，这能够举例子吗？是可以的，不妨设总体容量为3，样本容量为2，计算出总体方差的无偏估计为样本方差，而且样本方差是除以n-1，而不是除以n。

上图为手算的两个例子，说明了总体方差的无偏估计量是样本方差，总体方差是除以n,样本方差是除以n-1。为了是上面的例子根据通用化，下面为matlab写的代码：

%

%总容量可以改变，抽样样本容量为固定2

% clc;

% clear;

% %%无偏估计验证

% %%总共容量

% M=7;

% %%样本容量

% N=2;

% %填充第一列

% %填充循环次数

% for t=1:M^(N-1)

% for i=1:M

% Sample1((i-1)*M^(N-1)+t) = i;

% end

% end

% Sample1'

% %填充第二列

% for t=1:M

% for i=1:M

% Sample2(M*(t-1)+i) = i;

% end

% end

% Sample2'

% Sample = [Sample1',Sample2']

% sLenght = length(Sample);

% for s=1:sLenght

% subSample = Sample(s,:)

% stdSample(s) = var(subSample,1);

% end

% stdSample = var(Sample');

% stdSampleE = sum(stdSample)/M^N

% Total = 1:M;

% stdTotalE = var(Total,1)

% % %总容量可以改变，抽样样本容量为固定3

% clc;

% clear;

% %%无偏估计验证

% %%总共容量

% M=7;

% %%样本容量

% N=3;

% %填充第一列

% %填充循环次数

% for t=1:M^(N-1)

% for i=1:M

% Sample1((i-1)*M^(N-1)+t) = i;

% end

% end

% Sample1'

% %填充第二列

% for t=1:M

% for i=1:M

% for j=1:M

% Sample2(M*M*(t-1)+(i-1)*M+j) = i;

% end

% end

% end

% Sample2'

% %填充第三列

% for t=1:M^2

% for i=1:M

% Sample3(M*(t-1)+i) = i;

% end

% end

% Sample = [Sample1',Sample2',Sample3']

% stdSample = var(Sample');

% stdSampleE = sum(stdSample)/M^N

% Total = 1:M;

% stdTotalE = var(Total,1)

% % %总容量可以改变，抽样样本容量为固定3

% clc;

% clear;

% %%无偏估计验证

% %%总共容量

% M=4;

% %%样本容量

% N=3;

% %填充第一列

% %填充循环次数

% for t=1:M^0

% for i=1:M

% for j=1:M^2

% Sample1(M^3*(t-1)+(i-1)*M^2+j) = i;

% end

% end

% end

% Sample1'

% %填充第二列

% for t=1:M^1

% for i=1:M

% for j=1:M^1

% Sample2(M^2*(t-1)+j+(i-1)*M) = i;

% end

% end

% end

% Sample2'

% %填充第三列

% for t=1:M^2

% for i=1:M

% for j=1:M^0

% Sample3(M^1*(t-1)+(i-1)*M^0+j) = i;

% end

% end

% end

% Sample = [Sample1',Sample2',Sample3']

% stdSample = var(Sample');

% stdSampleE = sum(stdSample)/M^N

% Total = 1:M;

% stdTotalE = var(Total,1)

clear;

%%无偏估计验证

%%总共容量

M=5;

%%样本容量

N=2;

%构造抽样的过程矩阵for

index=1:N for

t=1:M^(index-1)

for i=1:M

for j=1:M^(N-index)

Sample(M^(N-index+1)*(t-1)+(i-1)*M^(N-index)+j,index) = i;

end

end

end

end

%计算每一行的方差

varSample = var(Sample');

%计算样本方差varSampleE =

sum(varSample)/M^NTotal = 1:M;

%计算总体方差

varTotalE =

var(Total,1)