点估计及矩估计的一些理解

点估计指的是用样本统计量来估计总体参数，因为样本统计量为数轴上某一点值，估计的结果也以一个点的数值表示，所以称为点估计。在这个定义中，总体参数也即是总体分布的参数，一般我们在讨论总体分布的时候，只有在简单随机样本（样本独立同分布）情况下才有明确的意义，总体分布才能决定样本分布,所以下文样本中各随机变量均为独立同分布。在大数据中分析中，一般都假设样本是独立同分布的。

矩估计方法是点估计中的一种，其原理就是构造样本和总体的矩，然后用样本的矩去估计总体的矩。设有样本 $X_{1},...,X_{n},$ 而k为自然数，则样本矩做如下定义

$a_{nk}=\frac{1}{n}\sum_{i=1}^{n}X^{k}_{i}$

$m_{nk}=\frac{1}{n}\sum_{i=1}^{n}(X_{i}-\bar{X}_{n})^{k}$

其中 $a_{nk}$ 称为k阶样本原点矩， $m_{nk}$ 称为k阶样本中心距， $\bar{X}_{n}$ 为样本均值。 $a_{nk}$ 和 $m_{nk}$ 可以由样本计算得到确定的值。接下来再构造总体 $X$ 的矩。在使用矩估计方法时，一般要求知道总体的分布类型，这样才能构造包含待估参数的矩。

当总体为连续分布时，设 $f(x,\theta )$ 为总体分布的概率密度函数， $\theta$ 为总体分布中的待估参数（假设此处总体分布中只有一个待估参数 $\theta$ ），则总体的k阶原点矩 $\alpha _{k}$ 、k阶中心距 $\mu_{k}$ 分别定义为如下形式

$\alpha _{k}=\int_{-\infty }^{+\infty}x^{k}f(x,\theta )dx$

$\mu _{k}=\int_{-\infty }^{+\infty}(x-E(X))^{k}f(x,\theta )dx$

当总体为离散分布时，设 $P(X=X_{i},\theta )$ 是 $X=X_{i}$ 时的概率，则总体的k阶原点矩 $\alpha _{k}$ 、k阶中心距 $\mu_{k}$ 分别定义为如下形式

$\alpha _{k}=E(X^{k})=\sum_{i=1}^{n}X_{i}^{k}P(X=X_{i},\theta )$

$\mu _{k}=E(X-E(X))^{k}=\sum_{i=1}^{n}(X_{i}-E(X))^{k}P(X=X_{i},\theta )$

在用样本矩估计总体矩时，我们还需要知道样本矩对总体矩而言是无偏估计，还是非无偏估计，这样有助于我们把握估计偏差，下面以样本一阶原点矩 $a _{n1}$ 、二阶中心矩 $m _{n2}$ 为例来估计总体的一阶原点矩 $\alpha _{1}$ 和 $\mu_{2}$ ，观察它们是否为无偏估计

$E(a_{n1})=\frac{1}{n}E(\sum_{i=1}^{n}X_{i})=\frac{1}{n}\sum_{i=1}^{n}E(X) =\alpha _{1}$

可以看到，样本一阶原点矩 $a _{n1}$ 为总体的一阶原点矩 $\alpha _{1}$ 的无偏估计，再看二阶中心矩的估计

$E(m_{k2})=\frac{1}{n}E(\sum_{i=1}^{n}(X_{i}-\bar{X_{n}})^{2}) =\frac{1}{n}E(\sum_{i=1}^{n}(X^{2}_{i}-2X_{i}\bar{X_{n}}+\bar{X_{n}^{2}}))$

$=\frac{1}{n}\sum_{i=1}^{n}E(X_{i}^{2})-\frac{2}{n}\bar{X_{n}}E(\sum_{i=1}^{n}X_{i})+E(\bar{X_{n}^{2}})$

$=\frac{1}{n}\sum_{i=1}^{n}E(X_{i}^{2})-E(\bar{X_{n}^{2}})$

下面分别就 $E(X_{i}^{2})$ 项和 $E(\bar{X_{n}^{2}})$ 项进行计算

$\mu _{2}=\sum _{i=1}^{n}(X_{i}-E(X))^{2}P(X=X_{i},\theta )$

$=\sum _{i=1}^{n}(X_{i}^{2}-2X_{i}E(X)-E^{2}(X))P(X=X_{i},\theta )$ $=\sum _{i=1}^{n}X_{i}^{2}P(X=X_{i},\theta )-2E(X)\sum _{i=1}^{n}X_{i}P(X=X_{i},\theta )-E^{2}(X)\sum _{i=1}^{n}P(X=X_{i},\theta )$

$=E(X_{i}^{2})-E^{2}(X)$

因此可得

$E(X_{i}^{2})=\mu _{2}+E^{2}(X)=\mu _{2}+\alpha^{2} _{1}$ (1)

样本统计量 $\bar{X}_{n}$ 的方差 $Var(\bar{X_{n}})$ 为

$Var(\bar{X_{n}})=E(\bar{X_{n}}-E(\bar{X_{n}}))^{2}$

$=E(\bar{X_{n}^{2}}-2\bar{X_{n}}E(\bar{X_{n}})+E^{2}(\bar{X_{n}}))^{2}$

$=E(\bar{X_{n}^{2}})-E^{2}(\bar{X_{n}})$

可得

$E(\bar{X_{n}^{2}})=Var(\bar{X_{n}})+E^{2}(\bar{X_{n}})$

由于 $\bar{X_{n}}=\frac{1}{n}\sum_{i=1}^{n}X_{i}$ ，且样本中各变量为独立同分布，所以

$Var(\bar{X_{n}})=Var(\frac{\sum_{i=1}^{n}X_{i}}{n})=\frac{1}{n}Var(X)=\frac{1}{n}u_{2}$

$E^{2}(\bar{X_{n}})=E^{2}(\frac{\sum_{i=1}^{n}X_{i}}{n})=\alpha ^{2}_{1}$

这样就得到

$E(\bar{X_{n}^{2}})=\frac{1}{n}\mu _{2}+\alpha^{2} _{1}$ (2)

由式(1)和式(2)，可以得到

$E(m_{k2})=\frac{n-1}{n}\mu _{2}$

可以看到，样本的二阶中心矩并非总体的二阶中心矩的无偏估计，但是我们可以采用因子 $\frac{n-1}{n}$ 来调整这个估计偏差，但一般在应用上不去做调整而是容忍一些偏差存在，在n较大时，这个偏差对于应用无损。

以上的内容只是计算过程推导，而我们更应该关注的是这些矩在实际应用中表示的是什么含义，这更有助于我们分析问题。依据总体的k阶原点矩和中心距，还可以定义以下参数，它们能反应总体分布的一些特征

偏度（Skewness）： $\beta _{1}=\mu _{3}/\mu _{2}^{2/3}$ ，反映总体分布的“非对称性”或“偏倚性”

峰度（Kurtosis）： $\beta _{2}=\mu _{4}/\mu _{2}^{2}$ ，反映总体分布陡峭或平滑的程度

点估计及矩估计的一些理解相关推荐

对于矩估计的一些理解
我也不知道为什么我就是听不懂我们统计老师讲话. 首先要明确矩估计估计的是什么,就是有一个带未知参数的分布(也就是知道形状是什么样的但是不知道形状是一个什么比例),现在我们就要求那个参数. 那怎么求呢, ...
点估计（矩估计法和最大似然估计法）
估计即是近似地求某个参数的值,需要区别理解样本.总体.量.值大致的题型是已知某分布(其实包含未知参数),从中取样本并给出样本值我只是一个初学者,可能有的步骤比较繁琐,请见谅~ 1.矩估计法做题步 ...
【数理统计】参数估计及相关（点估计、矩估计法、最大似然估计、原点矩中心距）
1 基础知识 1.1 常见分布的期望和方差 1.2 对数运算法则 log⁡a(MN)=log⁡aM+log⁡aNlog⁡a(M/N)=log⁡aM−log⁡aNlog⁡a(1/N)=−log⁡aNlo ...
【数据统计】— 峰度、偏度、点估计、区间估计、矩估计、最小二乘估计
[数据统计]- 峰度.偏度.点估计.区间估计.矩估计.最小二乘估计四分位差异众比率变异系数利用数据指标指导建模思路形状变化数据分布形态峰度: 度量数据在中心聚集程度偏度利用数据指标指 ...
参数估计之矩估计和极大似然估计概述
参数估计参数估计:是根据从总体中抽取的样本估计总体分布中包含的未知参数的方法.它是统计推断的一种基本形式,是数理统计学的一个重要分支,分为点估计和区间估计两部分. 点估计:依据样本估计总体分布中所含 ...
概率统计·参数估计【矩估计、极大似然估计、无偏性、有效性、相合性】
点估计设总体的分布函数形式已知,但它的一个或多个参数为未知,借助于总体的一个样本来估计总体未知参数的值的问题称为点估计问题矩估计这个还是看例子会比较好理解一些例先μ1=E(x),μ2=E(x ...
矩估计和最大似然估计
参数估计参数估计 :是根据从总体中抽取的样本估计总体分布中包含的未知参数的方法.它是统计推断的一种基本形式,是数理统计学的一个重要分支,分为点估计和区间估计两部分. 点估计 :依据样本估计 ...
参数估计-矩估计和极大似然估计概述
原文:https://blog.csdn.net/liuyuemaicha/article/details/52497512 参数估计参数估计:是根据从总体中抽取的样本估计总体分布中包含的未知参数的 ...
参数估计：极大似然估计、矩估计的基本概念及应用方法
来源:首席数据科学家今天分享一下关于参数估计的基本概念.尤其是极大似然估计,有着重要的应用. 01 - 参数估计的定义首先,什么是参数估计呢? 之前我们其实已经了解到很多种分布类型了,比如正态分布 ...

点估计及矩估计的一些理解

点估计及矩估计的一些理解相关推荐

最新文章

热门文章