本文是依照《彻底理解样本方差为何除以n-1》一文进行学习而做的学习笔记，是在学习前面一文的基础上，对某些步骤添加了一些自己的理解，如果有什么不对的地方还请各位道友多多指正哈！当然以后要是突然明白真正的道理的话还是会继续改正的~~下面进入正文

*想到这个问题的来源：

在降维算法中，PCA使用的信息量衡量指标，就是样本方差，其公式如下
Var=1n−1∑i=1n(xi−Xˉ)2Var=\frac{1}{n-1}\sum_{i=1}^{n} (x_i-\bar{X})^2Var=n−11i=1∑n(xi−Xˉ)2

哎？突然发现，样本量不是n吗，为什么前面要除以一个n-1，按照正常来说不是除以n的吗

解释使用n-1的目的

其实，除以n-1就是为了得到样本方差的无偏估计，那么问题随之而来，什么是样本方差的无偏估计，凭什么就说除以n-1就可以，为什么不能除以n-2呢，带着这个问题，在下面就开始展开了和蔼可亲的长篇的验证

*对上方种种疑问的解决过程（证明为什么要使用n-1）

首先说明各个变量公式：

Xˉ\bar{X}Xˉ : 样本的均值
S2S^2S2 : 样本方差
μ\muμ : 总体均值
σ2\sigma^2σ2 : 总体方差

样本方差S2S^2S2的公式：
S2=1n−1∑i=1n(xi−Xˉ)2S^2=\frac{1}{n-1} \sum_{i=1}^{n} (x_i-\bar{X})^2S2=n−11i=1∑n(xi−Xˉ)2

由上方提到过，n-1的目的是得到样本方差的无偏估计，那么什么是无偏估计

无偏估计（借用上方链接的例子来理解）：

假如你想知道一所大学里学生的平均身高是多少，一个大学好几万人，全部统计有点不现实，但是你可以先随机挑选100个人，统计他们的身高，然后计算出他们的平均值，记为X1ˉ\bar{X_1}X1ˉ。如果你只是把X1ˉ\bar{X_1}X1ˉ作为整体的身高平均值，误差肯定很大，因为你再随机挑选出100个人，身高平均值很可能就跟刚才计算的不同，为了使得统计结果更加精确，你需要多抽取几次，然后分别计算出他们的平均值，分别记为：X1ˉ\bar{X_1}X1ˉ、X2ˉ\bar{X_2}X2ˉ、…\ldots… Xkˉ\bar{X_k}Xkˉ 然后在把这些平均值，再做平均，记为：E(Xˉ)E(\bar{X})E(Xˉ)，这样的结果肯定比只计算一次更加精确，随着重复抽取的次数增多，这个期望值会越来越接近总体均值μ\muμ，如果满足E(Xˉ)=μE(\bar{X})=\muE(Xˉ)=μ，这就是一个无偏估计，其中统计的样本均值也是一个随机变量，Xiˉ\bar{X_i}Xiˉ就是Xˉ\bar{X}Xˉ的一个取值

无偏估计的意义是：在多次重复下，它们的平均数接近所估计的参数真值。

我们计算的样本方差，希望它是总体方差的一个无偏估计，那么假如我们的样本方差是如下形式：
S2=1n∑i=1n(xi−Xˉ)2S^2=\frac{1}{n} \sum_{i=1}^{n} (x_i-\bar{X})^2S2=n1i=1∑n(xi−Xˉ)2

根据无偏估计的定义可得：
E(S2)=E(1n∑i=1n(xi−Xˉ)2)=E(1n∑i=1n((xi−μ)−(Xˉ−μ))2)对xi和Xˉ同时减去μ=E(1n∑i=1n((xi−μ)2−2(xi−μ)(Xˉ−μ)+(Xˉ−μ)2)打开平方=E(1n∑i=1n((xi−μ)2−1n∑i=1n2(xi−μ)(Xˉ−μ)+1n∑i=1n(Xˉ−μ)2)\begin{aligned} E(S^2)&=E(\frac{1}{n} \sum_{i=1}^{n} (x_i-\bar{X})^2) \\ &=E(\frac{1}{n} \sum_{i=1}^{n} ((x_i-\mu)-(\bar{X}-\mu))^2) ~~~~~~~~~对x_i和\bar{X}同时减去\mu \\ &=E(\frac{1}{n} \sum_{i=1}^{n} ((x_i-\mu)^2-2(x_i-\mu)(\bar{X}-\mu)+(\bar{X}-\mu)^2) ~~打开平方 \\ &=E(\frac{1}{n} \sum_{i=1}^{n} ((x_i-\mu)^2-\frac{1}{n} \sum_{i=1}^{n} 2(x_i-\mu)(\bar{X}-\mu)+\frac{1}{n} \sum_{i=1}^{n}(\bar{X}-\mu)^2) \end{aligned}E(S2)=E(n1i=1∑n(xi−Xˉ)2)=E(n1i=1∑n((xi−μ)−(Xˉ−μ))2) 对xi和Xˉ同时减去μ=E(n1i=1∑n((xi−μ)2−2(xi−μ)(Xˉ−μ)+(Xˉ−μ)2) 打开平方=E(n1i=1∑n((xi−μ)2−n1i=1∑n2(xi−μ)(Xˉ−μ)+n1i=1∑n(Xˉ−μ)2)
对于均值的公式：

E(X)=1n∑i=1nxiE(X)=\frac{1}{n}\sum_{i=1}^{n}x_iE(X)=n1∑i=1nxi
E(C)=CE(C)=CE(C)=C 常数的均值还是常数本身
E(CX)=CE(X)E(CX)=CE(X)E(CX)=CE(X)
由于1n∑i=1nxi=Xˉ\frac{1}{n} \sum_{i=1}^{n}x_i=\bar{X}n1∑i=1nxi=Xˉ
1n∑i=1n(xi−μ)=1n∑i=1nxi−μ=Xˉ−μ\frac{1}{n} \sum_{i=1}^{n}(x_i-\mu)=\frac{1}{n} \sum_{i=1}^{n}x_i-\mu=\bar{X}-\mun1∑i=1n(xi−μ)=n1∑i=1nxi−μ=Xˉ−μ

对于：
1n∑i=1n2(xi−μ)(Xˉ−μ)对于Xˉ和μ在这里都是常数，所以相减也为常数=2(Xˉ−μ)∗1n∑i=1n(xi−μ)=2(Xˉ−μ)(Xˉ−μ)使用上面均值公式里面的第三第四点，对上式进行化简=2(Xˉ−μ)2\begin{aligned} &~~~~~\frac{1}{n} \sum_{i=1}^{n} 2(x_i-\mu)(\bar{X}-\mu)~~~~~~对于\bar{X}和\mu在这里都是常数，所以相减也为常数 \\&=2(\bar{X}-\mu)*\frac{1}{n}\sum_{i=1}^{n}(x_i-\mu) \\&=2(\bar{X}-\mu)(\bar{X}-\mu) ~~~~~~使用上面均值公式里面的第三第四点，对上式进行化简 \\&=2(\bar{X}-\mu)^2 \end{aligned} n1i=1∑n2(xi−μ)(Xˉ−μ) 对于Xˉ和μ在这里都是常数，所以相减也为常数=2(Xˉ−μ)∗n1i=1∑n(xi−μ)=2(Xˉ−μ)(Xˉ−μ) 使用上面均值公式里面的第三第四点，对上式进行化简=2(Xˉ−μ)2

1n∑i=1n(Xˉ−μ)2=(Xˉ−μ)2对于Xˉ和μ在这里都是常数，所以相减也为常数\begin{aligned} &~~~~~~\frac{1}{n} \sum_{i=1}^{n}(\bar{X}-\mu)^2 \\&=(\bar{X}-\mu)^2~~~~~~~对于\bar{X}和\mu在这里都是常数，所以相减也为常数~~~~~~~~~~~~~~~~~~~~~~~~~~~ \end{aligned} n1i=1∑n(Xˉ−μ)2=(Xˉ−μ)2 对于Xˉ和μ在这里都是常数，所以相减也为常数

对上方E(S2)E(S^2)E(S2)继续计算:
E(S2)=E(1n∑i=1n((xi−μ)2−1n∑i=1n2(xi−μ)(Xˉ−μ)+1n∑i=1n(Xˉ−μ)2)=E(1n∑i=1n((xi−μ)2−2(Xˉ−μ)2+(Xˉ−μ)2)由上面拆分出去化简的式子可得=E(1n∑i=1n((xi−μ)2−(Xˉ−μ)2)=E(1n∑i=1n((xi−μ)2)−E((Xˉ−μ)2)\begin{aligned} E(S^2)&=E(\frac{1}{n} \sum_{i=1}^{n} ((x_i-\mu)^2-\frac{1}{n} \sum_{i=1}^{n} 2(x_i-\mu)(\bar{X}-\mu)+\frac{1}{n} \sum_{i=1}^{n}(\bar{X}-\mu)^2) \\ &= E(\frac{1}{n} \sum_{i=1}^{n} ((x_i-\mu)^2-2(\bar{X}-\mu)^2+(\bar{X}-\mu)^2)~~~~由上面拆分出去化简的式子可得 \\&=E(\frac{1}{n} \sum_{i=1}^{n} ((x_i-\mu)^2-(\bar{X}-\mu)^2) \\&=E(\frac{1}{n} \sum_{i=1}^{n} ((x_i-\mu)^2)-E((\bar{X}-\mu)^2) \end{aligned}E(S2)=E(n1i=1∑n((xi−μ)2−n1i=1∑n2(xi−μ)(Xˉ−μ)+n1i=1∑n(Xˉ−μ)2)=E(n1i=1∑n((xi−μ)2−2(Xˉ−μ)2+(Xˉ−μ)2) 由上面拆分出去化简的式子可得=E(n1i=1∑n((xi−μ)2−(Xˉ−μ)2)=E(n1i=1∑n((xi−μ)2)−E((Xˉ−μ)2)

突然发现μ\muμ是总体均值，那么
1n∑i=1n((xi−μ)2\frac{1}{n} \sum_{i=1}^{n} ((x_i-\mu)^2n1i=1∑n((xi−μ)2就是总体方差σ2\sigma^2σ2，总体方差是根据总体数据求出来的（我理解的解释是只有一个总体方差），所以对其取均值还是本身：
1n∑i=1n((xi−μ)2=E(1n∑i=1n((xi−μ)2)=σ2\frac{1}{n} \sum_{i=1}^{n} ((x_i-\mu)^2=E(\frac{1}{n} \sum_{i=1}^{n} ((x_i-\mu)^2)=\sigma^2n1i=1∑n((xi−μ)2=E(n1i=1∑n((xi−μ)2)=σ2
可以观察出
E(S2)=1n∑i=1n((xi−μ)2)−E((Xˉ−μ)2≤σ2E(S^2)=\frac{1}{n} \sum_{i=1}^{n} ((x_i-\mu)^2)-E((\bar{X}-\mu)^2\leq\sigma^2E(S2)=n1i=1∑n((xi−μ)2)−E((Xˉ−μ)2≤σ2
也就是说当除以的是n的时候，E(S2)≤σ2E(S^2)\leq\sigma^2E(S2)≤σ2 不符合无偏估计

为了寻找出一个正确的参数，让我们来继续对刚才的式子向下化简：

在上面已经说明
1n∑i=1n((xi−μ)2\frac{1}{n} \sum_{i=1}^{n} ((x_i-\mu)^2n1i=1∑n((xi−μ)2就是总体方差σ2\sigma^2σ2

所以设其为Var(X)Var(X)Var(X)代表的是总体方差，相应的E(Var(X))=Var(X)E(Var(X))=Var(X)E(Var(X))=Var(X)

对于E((Xˉ−μ)2E((\bar{X}-\mu)^2E((Xˉ−μ)2 来说:
E((Xˉ−μ)2)=1n∑i=1n(Xˉ−μ)2=Var(Xˉ)\begin{aligned} &~~~~~E((\bar{X}-\mu)^2) \\&=\frac{1}{n}\sum_{i=1}^{n}(\bar{X}-\mu)^2 \\&=Var(\bar{X}) \end{aligned} E((Xˉ−μ)2)=n1i=1∑n(Xˉ−μ)2=Var(Xˉ)

因为如果是无偏估计的话，n个Var(Xˉ)Var(\bar{X})Var(Xˉ)的期望值就是总方差，所以可以看成:
n×Var(Xˉ)=Var(X)n×Var(\bar{X})=Var(X)n×Var(Xˉ)=Var(X)

根据上方拆分开化简的式子可得：
E(1n∑i=1n((xi−μ)2)−E((Xˉ−μ)2)=Var(X)−Var(Xˉ)=σ2−1nσ2=n−1nσ2\begin{aligned} &~~~~~E(\frac{1}{n} \sum_{i=1}^{n} ((x_i-\mu)^2)-E((\bar{X}-\mu)^2) \\&=Var(X)-Var(\bar{X}) \\&=\sigma^2-\frac{1}{n}\sigma^2 \\&=\frac{n-1}{n}\sigma^2 \end{aligned} E(n1i=1∑n((xi−μ)2)−E((Xˉ−μ)2)=Var(X)−Var(Xˉ)=σ2−n1σ2=nn−1σ2

突然发现E(S2)=n−1nσ2E(S_2)=\frac{n-1}{n}\sigma^2E(S2)=nn−1σ2，如果我们让他乘上一个nn−1\frac{n}{n-1}n−1n，结果就是σ2\sigma^2σ2了：
E(S2)=n−1nσ2×nn−1=σ2E(S_2)=\frac{n-1}{n}\sigma^2×\frac{n}{n-1}=\sigma^2E(S2)=nn−1σ2×n−1n=σ2

于是根据我们得到的结论，将我们假设的S2S^2S2的基础上乘上一个nn−1变成新的S2\frac{n}{n-1}变成新的S^2n−1n变成新的S2:
S2=nn−1(1n∑i=1n(xi−Xˉ)2)=1n−1∑i=1n(xi−Xˉ)2S^2=\frac{n}{n-1}(\frac{1}{n} \sum_{i=1}^{n} (x_i-\bar{X})^2)=\frac{1}{n-1}\sum_{i=1}^{n} (x_i-\bar{X})^2S2=n−1n(n1i=1∑n(xi−Xˉ)2)=n−11i=1∑n(xi−Xˉ)2

对于新得到的S2S^2S2进行验证，如下（因为各个步骤的细节上方已经提到了，所以这里我就偷懒喽）：

=E(1n−1∑i=1n(xi−μ)2−2n−1×n×1n∑i=1n(xi−μ)(Xˉ−μ)+1n−1×n×1n∑i=1n(Xˉ−μ)2)\begin{aligned} &=E(\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\mu)^2-\frac{2}{n-1}×n×\frac{1}{n}\sum_{i=1}^{n}(x_i-\mu)(\bar{X}-\mu)+\frac{1}{n-1}×n×\frac{1}{n}\sum_{i=1}^{n}(\bar{X}-\mu)^2) \end{aligned}=E(n−11i=1∑n(xi−μ)2−n−12×n×n1i=1∑n(xi−μ)(Xˉ−μ)+n−11×n×n1i=1∑n(Xˉ−μ)2)

由上方验证步骤就可以得出，修正之后的样本方差的期望是总体方差的一个无偏估计，这就是为什么分母为何要除以n-1，而不是n-2，n-3等等

如果有看到这里的小伙伴，觉得哪里有问题的话，还请多多指点哈~

样本方差公式为什么除以的是n-1相关推荐

为什么样本方差里面要除以（n-1）而不是n？
前段日子重新整理了一下这个问题的解答,跟大家分享一下,如果有什么错误的话希望大家能够提出来,我会及时改正的,话不多说进入正题: 首先,我们来看一下样本方差的计算公式: 刚开始接触这个公式的话可能会有一 ...
统计基础-样本方差公式
样本方差公式定义如下. 后面的一个等式还好,有约分的痕迹,前面一个等式还是不容易一眼看出之间的关联,下面进行推导. 将算术均值的公式代入计算. 将逆向代入上式,得到最终结果.
样本方差公式是如何推导出来的？
样本方差公式是如何推导出来的? - 知乎先计算出期望和方差的最大似然估计,再判断他们是否有偏差,给予修正偏差有无是通过估计量的期望是否= 被估计量的真实值来衡量的方差:一个随机变量的方差 ...
为什么样本方差公式中要除以n-1而不是n
定义在学习概率与数理统计时,期望和方差是两个比较重要的概念,教材上给出的期望与方差的定义一般为: 期望: (1)离散型随机变量的数学期望: 设离散型随机变量X的分布律为: ...
为什么样本方差计算是除以n-1？
● 每周一言动嘴,动脑,都不如动手去做. 导语在分析样本数据情况时,都需要看一看方差.在概率统计学中,方差是衡量数据离散程度的一种度量,样本的方差越大,样本间的偏离程度就越大,反之越小.而在数据量 ...
样本方差公式为什么分母是n-1
机器学习总结(三)：矩估计
鉴于后续机器学习课程中多次提到参数估计的概念,为了避免囫囵吞枣的理解某些知识点,决定对概率统计的这部分知识点进行简要总结,这篇博客主要涉及的是点估计中的矩估计知识点,后续的博客将总结点估计中其他两个比 ...
降维算法PCA和SVD
文章目录前言 PCA和SVD 1. 降维算法的实现 1.1 降维的步骤表格 2. PCA,SVD简单概述 3. 重要参数 n_components 3.1 迷你案例:高维数据的可视化 3.1.1 调 ...
python计算标准差为什么分母要-1_为什么样本方差的分母是除以n-1
样本方差的分母随机变量的方差描述的是变量的离散程度,$$\text{Var}(X)=E[(X-\mu)^2]=E[{1\over n}\sum_{i=1}^n (X_i-\mu)2]=\sigma2 ...

样本方差公式为什么除以的是n-1