样本方差公式推导--为什么样本方差的分母是n-1
概要
因为使用n作为分母会导致方差被低估,将分母替换为n-1可以保证样本方差是一种无偏估计
理想情况
首先,我们假定随机变量 X X X的数学期望 μ \mu μ是已知的,然而方差 σ 2 {{\sigma }^{2}} σ2未知。如果我们得到一组随机变量 X X X的样本 { X i , i = 1 , 2 , 3... n } \left\{ {{X}_{i}},i=1,2,3...n \right\} {Xi,i=1,2,3...n}。
在这个条件下,根据方差的定义我们有:
E [ ( X i − μ ) 2 ] = σ 2 , ∀ i = 1 , … , n E\left[ {{\left( {{X}_{i}}-\mu \right)}^{2}} \right]={{\sigma }^{2}},\quad \forall i=1,\ldots ,n E[(Xi−μ)2]=σ2,∀i=1,…,n
由此可得:
E [ 1 n ∑ i = 1 n ( X i − μ ) 2 ] = σ 2 E\left[ \frac{1}{n}\sum\limits_{i=1}^{n}{{{\left( {{X}_{i}}-\mu \right)}^{2}}} \right]={{\sigma }^{2}} E[n1i=1∑n(Xi−μ)2]=σ2
因此, 1 n ∑ i = 1 n ( X i − μ ) 2 \frac{1}{n}\sum\limits_{i=1}^{n}{{{\left( {{X}_{i}}-\mu \right)}^{2}}} n1i=1∑n(Xi−μ)2是方差 σ 2 {{\sigma }^{2}} σ2的一个无偏估计。此时,除的分母仍然是 n n n。
使用样本均值代替数学期望
现在,假定随机变量 X X X的数学期望 μ \mu μ是未知的,我们使用样本数据来估计数学期望 μ \mu μ:
X ˉ = 1 n ∑ i = 1 n X i \bar{X}=\frac{1}{n}\sum\limits_{i=1}^{n}{{{X}_{i}}} Xˉ=n1i=1∑nXi
如果我们直接使用上式,代替数学期望 μ \mu μ,则会导致低估方差,如下所示:
E ( 1 n ∑ i = 1 n ( X i − X ˉ ) 2 ) = E ( 1 n ∑ i = 1 n [ ( X i − μ ) + ( μ − X ˉ ) ] 2 ) = E ( 1 n ∑ i = 1 n ( X i − μ ) 2 + 2 n ∑ i = 1 n ( X i − μ ) ( μ − X ˉ ) + 1 n ∑ i = 1 n ( μ − X ˉ ) 2 ) = E ( 1 n ∑ i = 1 n ( X i − μ ) 2 + 2 ( X ˉ − μ ) ( μ − X ˉ ) + ( μ − X ˉ ) 2 ) = E ( 1 n ∑ i = 1 n ( X i − μ ) 2 − ( μ − X ˉ ) 2 ) ≤ E ( 1 n ∑ i = 1 n ( X i − μ ) 2 ) = σ 2 \begin{array}{l} E\left(\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}\right)=E\left(\frac{1}{n} \sum_{i=1}^{n}\left[\left(X_{i}-\mu\right)+(\mu-\bar{X})\right]^{2}\right) \\ =E\left(\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}+\frac{2}{n} \sum_{i=1}^{n}\left(X_{i}-\mu\right)(\mu-\bar{X})+\frac{1}{n} \sum_{i=1}^{n}(\mu-\bar{X})^{2}\right) \\ =E\left(\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}+2(\bar{X}-\mu)(\mu-\bar{X})+(\mu-\bar{X})^{2}\right) \\ =E\left(\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-(\mu-\bar{X})^{2}\right) \\ \leq E\left(\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}\right)=\sigma^{2} \end{array} E(n1∑i=1n(Xi−Xˉ)2)=E(n1∑i=1n[(Xi−μ)+(μ−Xˉ)]2)=E(n1∑i=1n(Xi−μ)2+n2∑i=1n(Xi−μ)(μ−Xˉ)+n1∑i=1n(μ−Xˉ)2)=E(n1∑i=1n(Xi−μ)2+2(Xˉ−μ)(μ−Xˉ)+(μ−Xˉ)2)=E(n1∑i=1n(Xi−μ)2−(μ−Xˉ)2)≤E(n1∑i=1n(Xi−μ)2)=σ2
对 ( μ − X ˉ ) 2 {{(\mu -\bar{X})}^{2}} (μ−Xˉ)2项进行分析:
E ( ( μ − X ˉ ) 2 ) = E ( ( X ˉ − μ ) 2 ) = E ( ( 1 n ∑ i = 1 n X i − μ ) 2 ) = E ( ( 1 n ∑ i = 1 n ( X i − μ ) ) 2 ) \begin{array}{l} E\left((\mu-\bar{X})^{2}\right)=E\left((\bar{X}-\mu)^{2}\right) \\ =E\left(\left(\frac{1}{n} \sum_{i=1}^{n} X_{i}-\mu\right)^{2}\right) \\ =E\left(\left(\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\mu\right)\right)^{2}\right) \end{array} E((μ−Xˉ)2)=E((Xˉ−μ)2)=E((n1∑i=1nXi−μ)2)=E((n1∑i=1n(Xi−μ))2)
对多个独立随机变量,存在下述公式:
方差计算公式:
D ( X ) = E ( X 2 ) − [ E ( X ) ] 2 D(X)=E\left( {{X}^{2}} \right)-{{[E(X)]}^{2}} D(X)=E(X2)−[E(X)]2
均值的均值:
E ( X ) = E ( 1 n ∑ i = 1 n X i ) = 1 n E ( ∑ i = 1 n X i ) = E ( X i ) = X ˉ \begin{aligned} & E(X)=E\left( \frac{1}{n}\sum\limits_{i=1}^{n}{{{X}_{i}}} \right) \\ & =\frac{1}{n}E\left( \sum\limits_{i=1}^{n}{{{X}_{i}}} \right) \\ & =E\left( {{X}_{i}} \right) \\ & =\bar{X} \end{aligned} E(X)=E(n1i=1∑nXi)=n1E(i=1∑nXi)=E(Xi)=Xˉ
均值的方差:
D ( X ˉ ) = D ( 1 n ∑ i = 1 n X i ) = 1 n 2 D ( ∑ i = 1 n X i ) = 1 n D ( X i ) \begin{aligned} D(\bar{X}) &=D\left(\frac{1}{n} \sum_{i=1}^{n} X_{i}\right) \\ &=\frac{1}{n^{2}} D\left(\sum_{i=1}^{n} X_{i}\right) \\ &=\frac{1}{n} D\left(X_{i}\right) \end{aligned} D(Xˉ)=D(n1i=1∑nXi)=n21D(i=1∑nXi)=n1D(Xi)
所以:
E ( ( μ − X ˉ ) 2 ) = E ( ( 1 n ∑ i = 1 n ( X i − μ ) ) 2 ) → A = 1 n ∑ i = 1 n ( X i − μ ) E ( A 2 ) = D ( A ) − E ( A ) 2 → E ( A ) = 0 1 n D ( X i − μ ) = 1 n D ( X i ) = 1 n σ 2 \begin{aligned} & E\left( {{(\mu -\bar{X})}^{2}} \right)=E\left( {{\left( \frac{1}{n}\sum\limits_{i=1}^{n}{\left( {{X}_{i}}-\mu \right)} \right)}^{2}} \right) \\ & \xrightarrow{A=\frac{1}{n}\sum\limits_{i=1}^{n}{\left( {{X}_{i}}-\mu \right)}}E\left( {{A}^{2}} \right) \\ & =D\left( A \right)-E{{\left( A \right)}^{2}} \\ & \xrightarrow{E(A)=0}\frac{1}{n}D\left( {{X}_{i}}-\mu \right) \\ & =\frac{1}{n}D\left( {{X}_{i}} \right) \\ & =\frac{1}{n}{{\sigma }^{2}} \end{aligned} E((μ−Xˉ)2)=E⎝⎛(n1i=1∑n(Xi−μ))2⎠⎞A=n1i=1∑n(Xi−μ) E(A2)=D(A)−E(A)2E(A)=0 n1D(Xi−μ)=n1D(Xi)=n1σ2
结合以上结果,可以知道:
E ( 1 n ∑ i = 1 n ( X i − X ˉ ) 2 ) = E ( 1 n ∑ i = 1 n ( X i − μ ) 2 − ( μ − X ˉ ) 2 ) = E ( 1 n ∑ i = 1 n ( X i − μ ) 2 ) − E ( ( μ − X ˉ ) 2 ) = σ 2 − 1 n σ 2 = n − 1 n σ 2 \begin{aligned} & E\left( \frac{1}{n}\sum\limits_{i=1}^{n}{{{\left( {{X}_{i}}-\bar{X} \right)}^{2}}} \right)=E\left( \frac{1}{n}\sum\limits_{i=1}^{n}{{{\left( {{X}_{i}}-\mu \right)}^{2}}}-{{(\mu -\bar{X})}^{2}} \right) \\ & =E\left( \frac{1}{n}\sum\limits_{i=1}^{n}{{{\left( {{X}_{i}}-\mu \right)}^{2}}} \right)-E\left( {{(\mu -\bar{X})}^{2}} \right) \\ & ={{\sigma }^{2}}-\frac{1}{n}{{\sigma }^{2}} \\ & =\frac{n-1}{n}{{\sigma }^{2}} \end{aligned} E(n1i=1∑n(Xi−Xˉ)2)=E(n1i=1∑n(Xi−μ)2−(μ−Xˉ)2)=E(n1i=1∑n(Xi−μ)2)−E((μ−Xˉ)2)=σ2−n1σ2=nn−1σ2
要使样本方差的期望等于总体方差,就需要进行修正,也即给样本方差乘上 n n − 1 \frac{n}{n-1} n−1n。
所以得到样本方差为:
n n − 1 ⋅ 1 n ∑ i = 1 n ( X i − X ˉ ) 2 = 1 n − 1 ∑ i = 1 n ( X i − X ˉ ) 2 \frac{n}{n-1}\cdot \frac{1}{n}\sum\limits_{i=1}^{n}{{{\left( {{X}_{i}}-\bar{X} \right)}^{2}}}=\frac{1}{n-1}\sum\limits_{i=1}^{n}{{{\left( {{X}_{i}}-\bar{X} \right)}^{2}}} n−1n⋅n1i=1∑n(Xi−Xˉ)2=n−11i=1∑n(Xi−Xˉ)2
样本方差公式推导--为什么样本方差的分母是n-1相关推荐
- 总体样本方差的无偏估计样本方差为什么除以n-1
1)基本概念 我们先从最基本的一些概念入手. 如下图,脑子里要浮现出总体样本,还有一系列随机选取的样本.只要是样本,脑子里就要浮现出它的集合属性,它不是单个个体,而是一堆随机个体集合.样本是总体样本中 ...
- 方差,样本方差,修正样本方差,均值,样本均值等概念
首先,明确一点,方差,均值,是对一个随机变量而言的.样本均值,样本方差是针对一个样本而言的. 举个例子,x是一个随机变量,,服从0均值,方差.根据x的分布,我们可以抽样的到N个样本. 针对于x这个随机 ...
- (大数据分析学习)16、标准化变量的广义样本方差和总样本方差
标准化变量的广义方差: 总体样本方差:
- 总体方差与样本方差分母的小小区别,n还是n-1?
总体方差与样本方差分母的小小区别,n还是n-1? 引入 方差概念 方差计算 无偏估计 样本方差公式 相关参考链接 样本方差的自由度是n-1 引入 方差概念 方差是在概率论和统计方差衡量随机变量或一组数 ...
- 机器学习笔记之降维(二)样本均值与样本方差的矩阵表示
机器学习笔记之降维--样本均值与样本方差的矩阵表示 引言 场景介绍 样本均值与样本方差 样本均值与样本方差的矩阵表示 样本均值的矩阵表达 样本方差的矩阵表达 中心矩阵的性质 引言 上一节介绍了维数灾难 ...
- RMSE 和 STD 的区别
文章目录 一.概念理解 二.公式推导 三.总结 一.概念理解 首先看一下两个的概念: RMSE: root mean square error 均方根误差,测绘学科中常称作中误差.它是指一组观测值与真 ...
- Pytorch归一化方法讲解与实战:BatchNormalization、LayerNormalization、nn.BatchNorm1d和LayerNorm()和F.normalize()
文章目录 LayerNormalization BatchNormalization F.normalize 这些Normalization的作用都是让数据保持一个比较稳定的分布,从而加速收敛.Bat ...
- 【机器学习】主元分析(PCA)以及与SVD的区别联系
参考文章:如何理解主元分析(PCA)? 主元分析的目的是降低数据的维度.主元分析也就是PCA,主要用于数据降维. 1 什么是降维? 比如说有如下的房价数据: 这种一维数据可以直接放在实数轴上: 不过数 ...
- MySQL 5.7 聚合(GROUP BY)功能描述
转载自 MySQL 5.7 聚合(GROUP BY)功能描述 12.19.1聚合(GROUP BY)功能描述 本节介绍对值集合进行操作的组(聚合)函数. 表12.25聚合(GROUP BY)函数 ...
最新文章
- 避免在JSP中写java代码
- seo网站优化如何写好文章
- 推荐一个小巧轻便的RSS阅读器
- ASP.NET MVC 传值方法ViewData与ViewBag的区别
- C++学习路线和参考资料
- pcl如何设置colorbar_突然加更 | 子图、colorbar和标题
- java播放mp3背景音乐_Java如何实现MP3播放!!
- commons-httpclient 实现get和post请求
- web页面渲染(二) 1
- oracle下拉菜单多选,多选下拉控件的使用(select-option)multiple-select
- c语言枚举法在单片机的应用领域,当前单片机主要应用在哪些领域?
- java实现webservice调用
- 扫描仪 无线 打印服务器,树莓派搭建网络打印机 扫描仪服务器
- cvtColor in Python
- 中国古代文化常识【3】
- get查询IP PHP源码,ip归属地查询代码
- jquery ui table
- 正在进行 | 用友企业数智化财务峰会落地广州 高能不断
- 建筑行业转型升级,效果只有亿点
- Incorrect table definition; there can be only one auto column and it must be defined as a key
热门文章
- RK3399平台开发系列讲解(网络调试)7.34、什么是iptables
- 重新创作:我的公众号简介
- 统计学习方法笔记_cbr:统计学习及监督学习概论
- 电池上php,Mac_MAC电池不能被识别电池上带个红X的图标怎么办, 有些用户将MAC开机后,发 - phpStudy...
- 当Java、C++、Python等编程语言都变成软妹子
- Dell G15新机测评
- matlab 标准二次型,matlab用正交变换化二次型为标准形
- html模仿原生ios通讯录制作国家展示页(手机端)
- java程序员在交接别人的工作时如何保证顺利交接?
- SIMPACK-学习记录-Doe相关