概率论知识回顾（十八）：协方差和相关系数

概率论知识回顾（十八）

重点：协方差和相关系数

知识回顾用于巩固知识和查漏补缺。知识回顾步骤：

查看知识回顾中的问题，尝试自己解答

自己解答不出来的可以查看下面的知识解答巩固知识。

对知识解答有疑问的，说明有关这一点的知识或者公式没有理解透彻或者没有记住，要重新翻看书籍。

知识回顾

协方差的公式定义是什么？协方差是用来衡量什么的？
当两个随机变量相互独立的时候，协方差的值是什么？简要证明并尝试列举和方差的关系。
简述柯西–许瓦兹不等式以及不等式等号成立条件的证明。
相关系数的公式定义是什么？它又是用来衡量什么的？为什么要是用相关系数？
给出随机变量 X , Y X,Y X,Y 不相关的几条等价表示。
给出相关系数 ρ X Y \rho_{XY} ρXY 两条性质的证明。

知识解答

协方差的公式定义是什么？协方差是用来衡量什么的？
- 公式定义 C o v ( X , Y ) = E [ ( X − E X ) ( Y − E Y ) ] Cov(X, Y) = E[(X-EX)(Y-EY)] Cov(X,Y)=E[(X−EX)(Y−EY)]
- 协方差用来衡量随机变量之间的相关关系的，如果 C o v ( X , Y ) = 0 Cov(X, Y) = 0 Cov(X,Y)=0, 就可以说两个随机变量之间不相关。
- 由于独立的要求比相关更严格，即：独立一定不相关，但不相关不一定独立。那么我们就可以进行断行
  - 如果两个随机变量具有某种相关关系，那么他们一定不相互独立。
  - 如果两个随机变量相互独立，那么他们就一定相关。
当两个随机变量相互独立的时候，协方差的值是什么？简要证明并尝试列举和方差的关系。
- 在第一个问题中已经得到了解答，当两个随机变量相互独立的时候，一定是不相关的，那么 C o v ( X , Y ) = 0 Cov(X, Y) = 0 Cov(X,Y)=0.
证明：首先，我们分解 C o v ( X , Y ) Cov(X, Y) Cov(X,Y) 就有：

C o v ( X , Y ) = E ( X Y ) − X E ( Y ) − Y E ( X ) + E ( X ) E ( Y ) = E ( X Y ) − 2 E ( X ) E ( Y ) + E ( X ) E ( Y ) = E ( X Y ) − E ( X ) E ( Y ) \begin{aligned} Cov(X, Y) &= E(XY) - XE(Y) - YE(X) + E(X)E(Y) \\&= E(XY) - 2E(X)E(Y) + E(X)E(Y) \\&= E(XY) - E(X)E(Y) \end{aligned} Cov(X,Y)=E(XY)−XE(Y)−YE(X)+E(X)E(Y)=E(XY)−2E(X)E(Y)+E(X)E(Y)=E(XY)−E(X)E(Y)

同时，如果 X , Y X,Y X,Y 相互独立的话，有 E ( X Y ) = E ( X ) E ( Y ) E(XY) = E(X)E(Y) E(XY)=E(X)E(Y) , 因此就可知 C o v ( X , Y ) = 0 Cov(X, Y) = 0 Cov(X,Y)=0
- 另外，从协方差的定义中可以看到，当 X = Y X=Y X=Y 的时候， C o v ( X , Y ) = D ( X ) Cov(X, Y) = D(X) Cov(X,Y)=D(X)
- D ( X + Y ) = D ( X ) + D ( Y ) + 2 C o v ( X , Y ) D(X + Y) = D(X) + D(Y) + 2Cov(X, Y) D(X+Y)=D(X)+D(Y)+2Cov(X,Y)
证明：（从一般情况得到两个随机变量的情况）

由于有 D ( X ) = C o v ( X , X ) D(X) = Cov(X, X) D(X)=Cov(X,X) 因此可知 D ( ∑ i = 1 n X i ) = C o v ( ∑ i = 1 n X i , ∑ j = 1 n X j ) D(\sum_{i=1}^nX_i) = Cov(\sum_{i=1}^nX_i, \sum_{j=1}^nX_j) D(∑i=1nXi)=Cov(∑i=1nXi,∑j=1nXj)

上面的公式是把 ∑ i = 1 n X i \sum_{i=1}^nX_i ∑i=1nXi 看做一个随机变量，这时候 ∑ i = 1 n X i \sum_{i=1}^nX_i ∑i=1nXi 和 ∑ i = j n X j \sum_{i=j}^nX_j ∑i=jnXj 是相等的。

同时，根据协方差的性质， C o v ( ∑ i = 1 n a i X i , ∑ j = 1 m b j Y j ) = ∑ i = 1 n ∑ j = 1 m a i b j C o v ( X i , Y j ) Cov(\sum_{i=1}^na_iX_i, \sum_{j=1}^mb_jY_j) = \sum_{i=1}^n\sum_{j=1}^ma_ib_jCov(X_i, Y_j) Cov(∑i=1naiXi,∑j=1mbjYj)=∑i=1n∑j=1maibjCov(Xi,Yj)

就有：
C o v ( ∑ i = 1 n X i , ∑ j = 1 n X j ) = ∑ i = 1 n ∑ j = 1 n C o v ( X i , X j ) = ∑ i = 1 n C o v ( X i , X i ) + ∑ ∑ i ≠ j C o v ( X i , X j ) = ∑ i = 1 n D ( X i ) + 2 ∑ ∑ 1 ≤ i < j ≤ n C o v ( X i , X j ) \begin{aligned}Cov(\sum_{i=1}^nX_i, \sum_{j=1}^nX_j) &= \sum_{i=1}^n\sum_{j=1}^nCov(X_i, X_j) \\&=\sum_{i=1}^nCov(X_i, X_i) + {\sum\sum}_{i\neq j}Cov(X_i, X_j) \\&= \sum_{i=1}^nD(X_i) + 2{\sum\sum}_{ 1\le i < j \le n}Cov(X_i, X_j) \end{aligned} Cov(i=1∑nXi,j=1∑nXj)=i=1∑nj=1∑nCov(Xi,Xj)=i=1∑nCov(Xi,Xi)+∑∑i̸=jCov(Xi,Xj)=i=1∑nD(Xi)+2∑∑1≤i<j≤nCov(Xi,Xj)

从上面的一般式就可以得出 n = 2 的情况。
简述柯西–许瓦兹不等式以及不等式等号成立条件的证明。
- 对任意的随机变量 X , Y X, Y X,Y, 若 E ( X 2 ) < + ∞ , E ( Y 2 ) < + ∞ E(X^2) < + \infty, E(Y^2) < +\infty E(X2)<+∞,E(Y2)<+∞, 则有 [ E ( X Y ) ] 2 ≤ E ( X 2 ) ⋅ E ( Y 2 ) [E(XY)]^2 \le E(X^2)·E(Y^2) [E(XY)]2≤E(X2)⋅E(Y2), 当且仅当 P { Y = t 0 X } = 1 P\{Y = t_0X\} = 1 P{Y=t0X}=1 时等号成立，其中 t 0 t_0 t0 为某常数。
  
  证明：令 u ( t ) = E ( t X − Y ) 2 = t 2 E ( X 2 ) − 2 t E ( X Y ) + E ( Y 2 ) u(t) = E(tX - Y)^2 = t^2E(X^2) - 2tE(XY) + E(Y^2) u(t)=E(tX−Y)2=t2E(X2)−2tE(XY)+E(Y2) 可以知道 u ( t ) u(t) u(t) 没有实根或者只有一个重根。因此就有 Δ = [ 2 E ( X Y ) ] 2 − 4 E ( X 2 ) E ( Y 2 ) ≤ 0 ↔ [ E ( X Y ) ] 2 ≤ E ( X 2 ) ⋅ E ( Y 2 ) \Delta = [2E(XY)]^2 - 4E(X^2)E(Y^2) \le 0 \leftrightarrow [E(XY)]^2 \le E(X^2)·E(Y^2) Δ=[2E(XY)]2−4E(X2)E(Y2)≤0↔[E(XY)]2≤E(X2)⋅E(Y2)
  
  如果 Δ = 0 \Delta = 0 Δ=0, 就有存在一个 t 0 t_0 t0 使得 E ( t X − Y ) 2 = 0 E(tX-Y)^2=0 E(tX−Y)2=0
  
  同时，有 0 ≤ D ( t 0 X − Y ) = E ( t 0 X − Y ) 2 − [ E ( t 0 X − Y ) ] 2 = − [ E ( t 0 X − Y ) ] 2 ≤ 0 0 \le D(t_0X-Y) = E(t_0X-Y)^2 - [E(t_0X-Y)]^2 = -[E(t_0X-Y)]^2 \le 0 0≤D(t0X−Y)=E(t0X−Y)2−[E(t0X−Y)]2=−[E(t0X−Y)]2≤0
  
  因此可知 D ( t 0 X − Y ) = 0 , E ( t 0 X − Y ) = 0 D(t_0X-Y) = 0, E(t_0X-Y)=0 D(t0X−Y)=0,E(t0X−Y)=0
  
  根据方差的性质有： D ( X ) = 0 D(X)=0 D(X)=0的充要条件是存在常数C使得 P { X = C } = 1 P\{X=C\}=1 P{X=C}=1, 其中 C = E ( X ) C = E(X) C=E(X)
  
  这里，我们使 Z = t 0 X − Y Z = t_0X-Y Z=t0X−Y 有 D ( Z ) = 0 , E ( Z ) = 0 D(Z) = 0, E(Z) = 0 D(Z)=0,E(Z)=0 因此有 P { Z = 0 } = 1 ↔ P { t 0 X − Y = 0 } = 1 ↔ P { t 0 X = Y } = 1 P\{Z=0\}=1 \leftrightarrow P\{t_0X-Y=0\} = 1 \leftrightarrow P\{t_0X=Y\}=1 P{Z=0}=1↔P{t0X−Y=0}=1↔P{t0X=Y}=1
- 将上面的公式里面的 X X X 替换成 X − E ( X ) X-E(X) X−E(X), Y Y Y 替换成 Y − E ( Y ) Y - E(Y) Y−E(Y) 就有 [ C o v ( X , Y ) ] 2 ≤ D ( X ) D ( Y ) [Cov(X, Y)]^2 \le D(X)D(Y) [Cov(X,Y)]2≤D(X)D(Y)
相关系数的公式定义是什么？它又是用来衡量什么的？为什么要是用相关系数？
- ρ X Y = C o v ( X , Y ) D ( X ) D ( Y ) = C o v ( X − E ( X ) D ( X ) , Y − E ( Y ) D ( Y ) ) = C o v ( X ∗ , Y ∗ ) \rho_{XY} = \frac{Cov(X, Y)}{\sqrt{D(X)}\sqrt{D(Y)}} = Cov(\frac{X-E(X)}{\sqrt{D(X)}},\frac{Y-E(Y)}{\sqrt{D(Y)}}) = Cov(X^*, Y^*) ρXY=D(X) D(Y) Cov(X,Y)=Cov(D(X) X−E(X),D(Y) Y−E(Y))=Cov(X∗,Y∗)
- 相关系数和协方差的关系就类似于变异系数和方差的关系一样，它是协方差的标准化表示，也是表示随机变量之间相关关系的表示，于协方差不同的是，协方差容易受随机变量本身数值大小的影响，由于相关系数是进行标准化后的度量，因此可以更好的度量相关关系。
给出随机变量 X , Y X,Y X,Y 不相关的几条等价表示。
- C o v ( X , Y ) = 0 Cov(X, Y) = 0 Cov(X,Y)=0
- ρ X Y = 0 \rho_{XY} = 0 ρXY=0
- D ( X ± Y ) = D ( X ) + D ( Y ) D(X \pm Y) = D(X) + D(Y) D(X±Y)=D(X)+D(Y)
- E ( X Y ) = E ( X ) E ( Y ) E(XY) = E(X)E(Y) E(XY)=E(X)E(Y)
给出相关系数 ρ X Y \rho_{XY} ρXY 两条性质的证明。
- ∣ ρ X Y ∣ ≤ 1 |\rho_{XY}| \le 1 ∣ρXY∣≤1
  
  证明：令 X ∗ = X − E ( X ) D ( X ) , Y ∗ = Y − E ( Y ) D ( Y ) X^* = \frac{X-E(X)}{\sqrt{D(X)}},Y^* = \frac{Y-E(Y)}{\sqrt{D(Y)}} X∗=D(X) X−E(X),Y∗=D(Y) Y−E(Y)。有 D ( X ∗ ) = 1 , D ( Y ∗ ) = 1 D(X^*) = 1, D(Y^*)=1 D(X∗)=1,D(Y∗)=1
  
  同时，根据第三问中的结论 [ C o v ( X , Y ) ] 2 ≤ D ( X ) D ( Y ) [Cov(X, Y)]^2 \le D(X)D(Y) [Cov(X,Y)]2≤D(X)D(Y) 可知 ρ X Y 2 ≤ D ( X ∗ ) D ( Y ∗ ) = 1 \rho_{XY}^2 \le D(X^*)D(Y^*) = 1 ρXY2≤D(X∗)D(Y∗)=1
  
  因此可知 ∣ ρ X Y ∣ ≤ 1 |\rho_{XY}| \le 1 ∣ρXY∣≤1
- ∣ ρ X Y ∣ = 1 |\rho_{XY}| = 1 ∣ρXY∣=1 的充要条件是 X 与 Y 以概率 1 线性相关，即存在常数 a 和 b 使得 P { Y = a X + b } = 1 P\{Y = aX + b\} = 1 P{Y=aX+b}=1。即
  - ρ X Y = 1 \rho_{XY} = 1 ρXY=1 当且仅当 P { Y − E ( Y ) D ( Y ) = X − E ( X ) D ( X ) } = 1 P\{\frac{Y-E(Y)}{\sqrt{D(Y)}} = \frac{X-E(X)}{\sqrt{D(X)}}\} = 1 P{D(Y) Y−E(Y)=D(X) X−E(X)}=1
  - ρ X Y = − 1 \rho_{XY} = -1 ρXY=−1 当且仅当 P { Y − E ( Y ) D ( Y ) = − X − E ( X ) D ( X ) } = 1 P\{\frac{Y-E(Y)}{\sqrt{D(Y)}} = -\frac{X-E(X)}{\sqrt{D(X)}}\} = 1 P{D(Y) Y−E(Y)=−D(X) X−E(X)}=1
  证明：
  
  ∣ ρ X Y ∣ = 1 ↔ ρ X Y 2 = 1 ↔ [ E ( X ∗ Y ∗ ) − E ( X ∗ ) E ( Y ∗ ) ] 2 = 1 |\rho_{XY}| = 1 \leftrightarrow \rho_{XY}^2 = 1 \leftrightarrow [E(X^*Y^*) - E(X^*)E(Y^*)]^2=1 ∣ρXY∣=1↔ρXY2=1↔[E(X∗Y∗)−E(X∗)E(Y∗)]2=1
  
  同时，由于 E ( X ∗ ) = E ( Y ∗ ) = 0 , E ( X ∗ ) 2 = E ( Y ∗ ) 2 = 1 E(X^*) = E(Y^*)=0, E(X^*)^2 = E(Y^*)^2=1 E(X∗)=E(Y∗)=0,E(X∗)2=E(Y∗)2=1
  
  可以知道
  
  [ E ( X ∗ Y ∗ ) − E ( X ∗ ) E ( Y ∗ ) ] 2 = [ E ( X ∗ Y ∗ ) ] 2 = 1 = E ( X ∗ ) 2 E ( Y ∗ ) 2 [E(X^*Y^*) - E(X^*)E(Y^*)]^2 = [E(X^*Y^*)]^2 = 1 = E(X^*)^2E(Y^*)^2 [E(X∗Y∗)−E(X∗)E(Y∗)]2=[E(X∗Y∗)]2=1=E(X∗)2E(Y∗)2
  
  根据柯西–许瓦兹不等式我们知道，满足上面等式的当且仅当存在 t 0 t_0 t0 使得 P { Y ∗ = C X ∗ } = 1 P\{Y^* = CX^*\} =1 P{Y∗=CX∗}=1
  
  因此有
  
  P { Y − E ( Y ) D ( Y ) = C X − E ( X ) D ( X ) } ↔ P { Y = C D ( Y ) D ( X ) X + ( E ( Y ) − C E ( X ) D ( Y ) D ( X ) ) } P\{\frac{Y-E(Y)}{\sqrt{D(Y)}} = C\frac{X-E(X)}{\sqrt{D(X)}}\} \leftrightarrow P\{Y = C\frac{\sqrt{D(Y)}}{\sqrt{D(X)}}X + (E(Y) - CE(X)\frac{\sqrt{D(Y)}}{\sqrt{D(X)}})\} P{D(Y) Y−E(Y)=CD(X) X−E(X)}↔P{Y=CD(X) D(Y) X+(E(Y)−CE(X)D(X) D(Y) )}
  
  根据上面的公式，很明显，令 a = C D ( Y ) D ( X ) , b = E ( Y ) − C E ( X ) D ( Y ) D ( X ) a = C\frac{\sqrt{D(Y)}}{\sqrt{D(X)}}, b= E(Y) - CE(X)\frac{\sqrt{D(Y)}}{\sqrt{D(X)}} a=CD(X) D(Y) ,b=E(Y)−CE(X)D(X) D(Y) 就能得到 Y = a X + b Y = aX+b Y=aX+b
  
  同理，根据 ρ X Y = 1 \rho_{XY} = 1 ρXY=1 有 Y ∗ = C X ∗ Y^* = CX^* Y∗=CX∗
  
  就有 C o v ( X ∗ , Y ∗ ) = C o v ( X ∗ , C X ∗ ) = C D ( X ∗ ) = C = 1 Cov(X^*, Y^*) = Cov(X^*, CX^*) = CD(X*) = C = 1 Cov(X∗,Y∗)=Cov(X∗,CX∗)=CD(X∗)=C=1, 证毕。
  
  同理当 ρ X Y = − 1 \rho_{XY} = -1 ρXY=−1 也可证明。

概率论知识回顾（十八）：协方差和相关系数相关推荐

概率论知识回顾（二十）：随机变量序列收敛性
概率论知识回顾(二十) 重点:随机变量序列收敛性知识回顾用于巩固知识和查漏补缺.知识回顾步骤: 查看知识回顾中的问题,尝试自己解答自己解答不出来的可以查看下面的知识解答巩固知识. 对知识解答有疑问 ...
概率论知识回顾（十五）：变量函数的期望，期望的性质
概率论知识回顾(十五) 重点:变量函数的期望,期望的性质知识回顾用于巩固知识和查漏补缺.知识回顾步骤: 查看知识回顾中的问题,尝试自己解答自己解答不出来的可以查看下面的知识解答巩固知识. 对知识解 ...
概率论知识回顾（二）：古典概型，几何概型
概率论知识回顾(二) 关键词:古典概型,几何概型知识回顾用于巩固知识和查漏补缺.知识回顾步骤: 查看知识回顾中的问题,尝试自己解答自己解答不出来的可以查看下面的知识解答巩固知识. 对知识解答有疑问 ...
概率论知识回顾（四）：事件独立性、贝努利概型
概率论知识回顾(四) 重点:事件独立性.贝努利概型知识回顾用于巩固知识和查漏补缺.知识回顾步骤: 查看知识回顾中的问题,尝试自己解答自己解答不出来的可以查看下面的知识解答巩固知识. 对知识解答有疑 ...
概率论知识回顾（三）：事件域，条件概率，全概率，贝叶斯概率
概率论知识回顾(三) 关键点:事件域,条件概率,全概率,贝叶斯概率知识回顾用于巩固知识和查漏补缺.知识回顾步骤: 查看知识回顾中的问题,尝试自己解答自己解答不出来的可以查看下面的知识解答巩固知识. ...
Simulink 环境基础知识（十八）--确定信号维度
目录确定信号维度支持多维信号的 Simulink 模块确定源模块的输出维度确定非源模块的输出维度信号和参数维度规则输入信号和参数的标量扩展确定信号维度 Simulink® 模块可以输出一 ...
机器学习中涉及的概率论知识回顾(一)
目录 1.条件概率 2.独立性 3.全概率公式 4.贝叶斯公式 5.伯努利模型 6.随机变量的分布 7.分布函数 1.条件概率 2.独立性 3.全概率公式 4.贝叶 ...
Android初级基础知识复习(十八) —— 自定义通知栏
通知推送Notification 在手机屏幕的顶端下拉会弹出通知栏,里面存放的是App即时提醒用户的消息,消息内容由Notification 产生并推送.每条消息通知基本都有图标.标题.内容.时间等元 ...
中医知识分享之《养生十八伤》
中医知识分享之<养生十八伤> 一.[久视伤精] 目得血能视,精由血化,故伤精. 二.[久听伤神] 神滋于肾,肾通窍于耳,故伤神. 三.[久卧伤气] 卧时张口散气,合口壅气,故伤气.< ...

概率论知识回顾（十八）：协方差和相关系数

概率论知识回顾（十八）

知识回顾

知识解答

概率论知识回顾（十八）：协方差和相关系数相关推荐

最新文章

热门文章