期望、方差、协方差、协方差函数、期望函数、方差函数

文章目录

期望
方差
协方差
- 协方差矩阵
- 相关系数
- 自协方差
协方差函数 / 核函数
期望函数,方差函数

期望

对离散型随机变量X，其概率分布函数(probability density function,PMF)为P(X)P(X)P(X)，则：
E(X)=μ=∑i=1nXiP(Xi)E(X)=\mu=\sum\limits^{n}_{i=1}X_{i}P(X_{i})E(X)=μ=i=1∑nXiP(Xi)
如果等概，就退化成我们从小就接触到的平均值E(X)=∑i=1nXinE(X)=\frac{\sum\limits^{n}_{i=1}X_{i}}{n}E(X)=ni=1∑nXi。
对连续性随机变量X，其概率密度函数(probability mass function,PDF)为f(x)f(x)f(x)，则：
E(X)=μ=∫−∞+∞xf(x)dxE(X)=\mu=\int^{+\infty}_{-\infty} xf(x)dxE(X)=μ=∫−∞+∞xf(x)dx
附带说一下，累计分布函数(cumulative distribution function,CDF)是PDF的积分形式，设其为F(x)F(x)F(x)，则：
F(x)=∫−∞xf(x)dxF(x)=\int ^{x}_{-\infty}f(x)dxF(x)=∫−∞xf(x)dx

方差

对离散型随机变量X，其概率分布函数为P(X)P(X)P(X)，则：
Var(X)=D(X)=σ2=E((X−E(X))2)=∑i=1n(Xi−E(X))2P(Xi)Var(X)=D(X)=\sigma^{2}=E((X-E(X))^{2})=\sum\limits^{n}_{i=1}(X_{i}-E(X))^{2}P(X_{i})Var(X)=D(X)=σ2=E((X−E(X))2)=i=1∑n(Xi−E(X))2P(Xi)
=∑i=1nXi2P(Xi)−E(X)2=E(Xi2)−E(X)2=\sum\limits^{n}_{i=1}X_{i}^{2}P(X_{i})-E(X)^{2}=E(X_{i}^{2})-E(X)^{2}=i=1∑nXi2P(Xi)−E(X)2=E(Xi2)−E(X)2
如果等概，就退化成我们从小就接触到的方差公式D(X)=∑i=1n(Xi−E(X))2nD(X)=\frac{\sum\limits^{n}_{i=1}(X_{i}-E(X))^{2}}{n}D(X)=ni=1∑n(Xi−E(X))2。

需要说明的是，以上的方差计算公式是在我们得到的n就是总体个数的情况下，直接计算总体的方差，例如要统计一个班的高中生的身高的方差，这个班总共40人，n=40；如果X是样本统计量，也就是说，没有得到总体的数据，只有采样样本数据，就要考虑无偏估计，例如我们要统计一个省的高中生的身高的方差，只有采样的一些高中生的身高数据，此时方差公式应为D(X)=∑i=1n(Xi−E(X))2n−1D(X)=\frac{\sum\limits^{n}_{i=1}(X_{i}-E(X))^{2}}{n-1}D(X)=n−1i=1∑n(Xi−E(X))2，其实就是分母变为n-1，如果还用总体方差公式对样本求方差，求得的方差要小于实际的总体方差(有偏估计)，关于这一点可以看blog:https://blog.csdn.net/Hearthougan/article/details/77859173。
对连续性随机变量X，其概率密度函数为f(x)f(x)f(x)，则：
Var(X)=D(X)=σ2=E((X−E(X))2)=∫−∞+∞(x−E(X))2f(x)dxVar(X)=D(X)=\sigma^{2}=E((X-E(X))^{2})=\int^{+\infty}_{-\infty} (x-E(X))^{2}f(x)dxVar(X)=D(X)=σ2=E((X−E(X))2)=∫−∞+∞(x−E(X))2f(x)dx
=∫−∞+∞x2f(x)dx−E(X)2=E(X2)−E(X)2=\int^{+\infty}_{-\infty} x^{2}f(x)dx-E(X)^{2}=E(X^{2})-E(X)^{2}=∫−∞+∞x2f(x)dx−E(X)2=E(X2)−E(X)2

协方差

对于单一的随机变量，我们考虑其期望与方差，当想比较两个随机变量，我们引入了协方差(两个随机变量可以对应数据分析中的两个字段)。协方差，看名字就知道，其定义来源于方差。对两个随机变量X和Y，其协方差就是：
cov(X,Y)=E[(X−E(X))(Y−E(Y))]=E(XY)−E(X)E(Y)cov(X,Y)=E[(X-E(X))(Y-E(Y))]=E(XY)-E(X)E(Y)cov(X,Y)=E[(X−E(X))(Y−E(Y))]=E(XY)−E(X)E(Y)
如果等概，就退化成我们从小就接触到的协方差公式cov(X,Y)=∑i=1n(xi−xˉ)(yi−yˉ)n−1cov(X,Y)=\frac{\sum\limits_{i=1}^{n}(x_{i}-\bar{x})(y_{i}-\bar{y})}{n-1}cov(X,Y)=n−1i=1∑n(xi−xˉ)(yi−yˉ)，这个公式考虑了无偏估计。

当X=Y，cov(X,Y)=cov(X,X)=D(X)cov(X,Y)=cov(X,X)=D(X)cov(X,Y)=cov(X,X)=D(X)。
当X,Y独立，cov(X,Y)=0cov(X,Y)=0cov(X,Y)=0，因为E(XY)=E(X)E(Y)E(XY)=E(X)E(Y)E(XY)=E(X)E(Y)，但是cov(X,Y)=0cov(X,Y)=0cov(X,Y)=0，不一定X,Y独立，此时称为不相关。
协方差为正，两者正相关，协方差为负，两者负相关。

协方差是会受到单位的影响的，而相关系数就是消除了量纲的影响，来看两者的相关性。

协方差矩阵

协方差只能处理两个随机变量，当有多个随机变量，就引出了协方差矩阵。以三个随机变量X,Y,Z为例：
cov=[cov(X,X)cov(X,Y)cov(X,Z)cov(Y,X)cov(Y,Y)cov(Y,Z)cov(Z,X)cov(Z,Y)cov(Z,Z)]cov= \left[ \begin{matrix} cov(X,X) & cov(X,Y) & cov(X,Z) \\ cov(Y,X) & cov(Y,Y) & cov(Y,Z) \\ cov(Z,X) & cov(Z,Y) & cov(Z,Z) \end{matrix} \right] cov=⎣⎡cov(X,X)cov(Y,X)cov(Z,X)cov(X,Y)cov(Y,Y)cov(Z,Y)cov(X,Z)cov(Y,Z)cov(Z,Z)⎦⎤

自协方差

一般指时间序列或者信号，经过时间平移后，与自己的协方差，在随机过程中体现较多。

协方差函数 / 核函数

设随机过程为X(t)，定义域为D，t1,t2∈Dt_{1},t_{2}\in Dt1,t2∈D，定义协方差函数CX(t1,t2)C_{X}(t_{1},t_{2})CX(t1,t2)为t1t_{1}t1与t2t_{2}t2的协方差，形成的函数。
CX(t1,t2)=E{[X(t1)−μX(t1)][X(t2)−μX(t2)]}C_{X}(t_{1},t_{2})=E\{[X(t_{1})-\mu_{X}(t_{1})][X(t_{2})-\mu_{X}(t_{2})]\}CX(t1,t2)=E{[X(t1)−μX(t1)][X(t2)−μX(t2)]}
其中μ(t)\mu(t)μ(t)为期望函数。
可以看出，协方差函数默认指的是随机过程的自协方差函数。若考虑互协方差函数，就需要考虑两个随机过程X(t)与Y(t)，互协方差函数定义如下。
CX,Y(t1,t2)=E{[X(t1)−μX(t1)][Y(t2)−μY(t2)]}C_{X,Y}(t_{1},t_{2})=E\{[X(t_{1})-\mu_{X}(t_{1})][Y(t_{2})-\mu_{Y}(t_{2})]\}CX,Y(t1,t2)=E{[X(t1)−μX(t1)][Y(t2)−μY(t2)]}

期望函数,方差函数

对随机过程X(t)而言，期望函数定义如下：
μX(t)=E[X(t)]\mu_{X}(t)=E[X(t)]μX(t)=E[X(t)]
其实就是随机过程每个点的期望，形成的函数。

对随机过程X(t)而言，方差函数定义如下：
σX2(t)=E{[X(t)−μX(t)]2}\sigma^{2}_{X}(t)=E\{[X(t)-\mu_{X}(t)]^{2}\}σX2(t)=E{[X(t)−μX(t)]2}
其实就是随机过程每个点的方差，形成的函数。

参考资料：
https://blog.csdn.net/wzgbm/article/details/51680540
https://www.cnblogs.com/hyb221512/p/8975624.html
https://wenku.baidu.com/view/c272331f5f0e7cd18425366e.html