文章目录

• 1. 协方差
• 2. 相关系数

1. 协方差

• 定义

  量 E { [ X − E ( X ) ] [ Y − E ( Y ) ] } E\{[X-E(X)][Y-E(Y)]\} E{[X−E(X)][Y−E(Y)]} 称为随机变量 X X X与 Y Y Y的协方差。 记为 C o v ( X , Y ) Cov(X,Y) Cov(X,Y) ,即 C o v ( X , Y ) = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } Cov(X,Y) = E\{[X-E(X)][Y-E(Y)]\} Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}
  1 ) 1) 1) 由定义很容易知道 C o v ( X , Y ) = C o v ( Y , X ) ， C o v ( X , X ) = D ( X ) Cov(X,Y) = Cov(Y,X)，Cov(X,X) = D(X) Cov(X,Y)=Cov(Y,X)，Cov(X,X)=D(X)
  2 ) 2) 2) 我们在介绍方差时，有性质 D ( X + Y ) = D ( X ) + D ( Y ) + 2 E { [ X − E ( X ) ] [ Y − E ( Y ) ] } = D ( X ) + D ( Y ) + 2 C o v ( X , Y ) D(X+Y)=D(X)+D(Y)+2E\{[X-E(X)][Y-E(Y)]\} = D(X)+D(Y)+2Cov(X,Y) D(X+Y)=D(X)+D(Y)+2E{[X−E(X)][Y−E(Y)]}=D(X)+D(Y)+2Cov(X,Y)
  3 ) 3) 3) 往往使用下面的式子计算协方差的值 C o v ( X , Y ) = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } = E ( X Y ) − E ( X ) E ( Y ) Cov(X,Y) = E\{[X-E(X)][Y-E(Y)]\} = E(XY)-E(X)E(Y) Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}=E(XY)−E(X)E(Y)

• 性质

  1 o C o v ( a X , b Y ) = a b C o v ( X , Y ) , a 、 b 1^o \quad Cov(aX,bY) = abCov(X,Y), a、b 1oCov(aX,bY)=abCov(X,Y),a、b 为常数

  证明

  C o v ( a X , b Y ) = E ( a X b Y ) − E ( a X ) E ( b Y ) = a b [ E ( X Y ) − E ( X ) E ( Y ) ] = a b C o v ( X , Y ) Cov(aX,bY) = E(aXbY)-E(aX)E(bY) = ab[E(XY)-E(X)E(Y)] = abCov(X,Y) Cov(aX,bY)=E(aXbY)−E(aX)E(bY)=ab[E(XY)−E(X)E(Y)]=abCov(X,Y)

  2 o C o v ( X 1 + X 2 , Y ) = C o v ( X 1 , Y ) + C o v ( X 2 , Y ) 2^o \quad Cov(X_1+X_2,Y)= Cov(X_1,Y)+Cov(X_2,Y) 2oCov(X1​+X2​,Y)=Cov(X1​,Y)+Cov(X2​,Y)

  证明

  C o v ( X 1 + X 2 , Y ) = E [ ( X 1 + X 2 ) Y − E ( X 1 + X 2 ) E ( Y ) = E ( X 1 Y ) + E ( X 2 Y ) − E ( X 1 ) E ( Y ) − E ( X 2 ) E ( Y ) = C o v ( X 1 , Y ) + C o v ( X 2 , Y ) Cov(X_1+X_2,Y)= E[(X_1+X_2)Y-E(X_1+X_2)E(Y) = E(X_1Y)+E(X_2Y)-E(X_1)E(Y)-E(X_2)E(Y)=Cov(X_1,Y)+Cov(X_2,Y) Cov(X1​+X2​,Y)=E[(X1​+X2​)Y−E(X1​+X2​)E(Y)=E(X1​Y)+E(X2​Y)−E(X1​)E(Y)−E(X2​)E(Y)=Cov(X1​,Y)+Cov(X2​,Y)

2. 相关系数

• 定义

  协方差反映了变量之间的某种线性关系，但是这个关系结果会受到度量单位的影响，举个简单的例子， X X X表示一些人的身高， Y Y Y 表示这些人的体重，我们想知道身高和体重的关系，如果身高使用单位为 c m cm cm，当体重用 k g kg kg和 g g g时会得到数值完全不同的关系数值，为了消除这种影响，我们需要对随机变量 X , Y X,Y X,Y 进行标准化就可以了，则令 X ∗ = X − E ( X ) D ( X ) ， Y ∗ = Y − E ( Y ) D ( Y ) X^* = \frac{X-E(X)}{\sqrt{D(X)}}，Y^* = \frac{Y-E(Y)}{\sqrt{D(Y)}} X∗=D(X) ​X−E(X)​，Y∗=D(Y) ​Y−E(Y)​，此时有 C o v ( X ∗ , Y ∗ ) = E ( X ∗ Y ∗ ) − E ( X ∗ ) E ( Y ∗ ) = E [ X − E ( X ) D ( X ) Y − E ( Y ) D ( Y ) ] − E ( X − E ( X ) D ( X ) ) E ( Y − E ( Y ) D ( Y ) ) = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } D ( X ) D ( Y ) − 0 = C o v ( X , Y ) D ( X ) D ( Y ) \begin{aligned}Cov(X^*,Y^*) &= E(X^*Y^*)-E(X^*)E(Y^*) \\&= E[\frac{X-E(X)}{\sqrt{D(X)}}\frac{Y-E(Y)}{\sqrt{D(Y)}}]-E(\frac{X-E(X)}{\sqrt{D(X)}})E(\frac{Y-E(Y)}{\sqrt{D(Y)}}) \\&= \frac{E\{[X-E(X)][Y-E(Y)]\}}{\sqrt{D(X)}\sqrt{D(Y)}}-0 = \frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}\end{aligned} Cov(X∗,Y∗)​=E(X∗Y∗)−E(X∗)E(Y∗)=E[D(X) ​X−E(X)​D(Y) ​Y−E(Y)​]−E(D(X) ​X−E(X)​)E(D(Y) ​Y−E(Y)​)=D(X) ​D(Y) ​E{[X−E(X)][Y−E(Y)]}​−0=D(X) ​D(Y) ​Cov(X,Y)​​

  我们称 ρ X Y = C o v ( X , Y ) D ( X ) D ( Y ) ， \rho_{XY} = \frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}， ρXY​=D(X) ​D(Y) ​Cov(X,Y)​，为随机变量 X X X与 Y Y Y的相关系数

• 性质

  1 o ∣ ρ X Y ∣ ≤ 1. 1^o \quad |\rho_{XY}|\leq1. 1o∣ρXY​∣≤1.

  证明：

  考虑以 X X X的线性函数 a + b X a+bX a+bX 来近似表示 Y Y Y， 以均方误差 e = E [ Y − ( a + b X ) ] 2 e = E[Y-(a+bX)]^2 e=E[Y−(a+bX)]2 来表示以 a + b X a+bX a+bX近似表达 Y Y Y的好坏程度，很明显， e e e越小，说明 a + b X a+bX a+bX与 Y Y Y的近似程度越高，由此我们的目标变为计算均方误差 e e e的最小值 。求解过程如下

  e = E [ Y − ( a + b X ) ] 2 = E ( Y 2 + a 2 + b 2 X 2 + 2 a b X − 2 a Y − 2 b X Y ) = E ( Y 2 ) + b 2 E ( X 2 ) + 2 a b E ( X ) − 2 a E ( Y ) − 2 b E ( X Y ) + a 2 \begin{aligned} e &= E[Y-(a+bX)]^2 = E(Y^2+a^2+b^2X^2+2abX-2aY-2bXY)\\&=E(Y^2)+b^2E(X^2)+2abE(X)-2aE(Y)-2bE(XY)+a^2\\ & \end{aligned} e​=E[Y−(a+bX)]2=E(Y2+a2+b2X2+2abX−2aY−2bXY)=E(Y2)+b2E(X2)+2abE(X)−2aE(Y)−2bE(XY)+a2​

  将 e e e 分别对 a , b a,b a,b求偏导并令它们等于 0 0 0，得到

  { ∂ e ∂ a = 2 a + 2 b E ( X ) − 2 E ( Y ) = 0 ∂ e ∂ b = 2 b E ( X 2 ) + 2 a E ( X ) − 2 E ( X Y ) = 0 \begin{cases} \frac{\partial e}{\partial a} = 2a + 2bE(X) - 2E(Y) = 0 \\ \\ \frac{\partial e}{\partial b} = 2bE(X^2)+2aE(X)-2E(XY) = 0 \end{cases} ⎩⎪⎨⎪⎧​∂a∂e​=2a+2bE(X)−2E(Y)=0∂b∂e​=2bE(X2)+2aE(X)−2E(XY)=0​

  很容易解得 b 0 = C o v ( X , Y ) D ( X ) b_0 = \frac{Cov(X,Y)}{D(X)} b0​=D(X)Cov(X,Y)​ （方程组中式 2 − 2- 2−式 1 ∗ E ( X ) 1*E(X) 1∗E(X)）， a 0 = E ( Y ) − b 0 E ( X ) = E ( Y ) − E ( X ) C o v ( X , Y ) D ( X ) a_0=E(Y)-b_0E(X) = E(Y)-E(X)\frac{Cov(X,Y)}{D(X)} a0​=E(Y)−b0​E(X)=E(Y)−E(X)D(X)Cov(X,Y)​

  ∴ min ⁡ a , b e = E [ Y − ( a 0 + b 0 X ) ] 2 = D ( Y − a 0 − b 0 X ) + { E [ Y − a 0 − b 0 X ] } 2 = D ( Y ) + b 0 2 D ( X ) − 2 b 0 C o v ( X , Y ) + [ E ( Y ) − a 0 − b 0 E ( X ) ] 2 = D ( Y ) + [ C o v ( X , Y ) ] 2 D ( X ) − 2 [ C o v ( X , Y ) ] 2 D ( X ) + [ − 1 2 ∂ e ∂ a ∣ a = a 0 , b = b 0 ] 2 = D ( Y ) { 1 − [ C o v ( X , Y ) ] 2 D ( X ) D ( Y ) } + 0 = ( 1 − ρ X Y 2 ) D ( Y ) \begin{aligned} \therefore \min_{a,b}e &= E[Y-(a_0+b_0X)]^2 = D(Y-a_0-b_0X)+\{E[Y-a_0-b_0X]\}^2\\&=D(Y)+b_0^2D(X)-2b_0Cov(X,Y) + [E(Y)-a_0-b_0E(X)]^2 \\&=D(Y)+ \frac{[Cov(X,Y)]^2}{D(X)}- \frac{2[Cov(X,Y)]^2}{D(X)} + \bigg[-\frac{1}{2}\frac{\partial e}{\partial a}\bigg|_{a=a_0, b=b_0}\bigg]^2 \\&= D(Y)\{1- \frac{[Cov(X,Y)]^2}{D(X)D(Y)}\}+0 \\&= (1-\rho_{XY}^2)D(Y) \end{aligned} ∴a,bmin​e​=E[Y−(a0​+b0​X)]2=D(Y−a0​−b0​X)+{E[Y−a0​−b0​X]}2=D(Y)+b02​D(X)−2b0​Cov(X,Y)+[E(Y)−a0​−b0​E(X)]2=D(Y)+D(X)[Cov(X,Y)]2​−D(X)2[Cov(X,Y)]2​+[−21​∂a∂e​∣∣∣∣​a=a0​,b=b0​​]2=D(Y){1−D(X)D(Y)[Cov(X,Y)]2​}+0=(1−ρXY2​)D(Y)​

  ∵ [ Y − ( a + b X ) ] 2 ≥ 0 ∴ E ( e ) ≥ 0 , 因 此 有 ( 1 − ρ X Y 2 ) D ( Y ) ≥ 0 , 而 D ( Y ) ≥ 0 ∴ 1 − ρ X Y 2 ≥ 0 即 ∣ ρ x y ∣ ≤ 1. \because [Y-(a+bX)]^2 \geq0 \quad \therefore E(e)\geq0 , 因此有 (1-\rho_{XY}^2)D(Y) \geq0,而 D(Y)\geq0\\ \therefore 1-\rho_{XY}^2 \geq 0 \quad即 \quad |\rho_{xy}|\leq1. ∵[Y−(a+bX)]2≥0∴E(e)≥0,因此有(1−ρXY2​)D(Y)≥0,而D(Y)≥0∴1−ρXY2​≥0即∣ρxy​∣≤1.

  十分推荐这种方法来证明 ∣ ρ X Y ∣ ≤ 1 |\rho_{XY}|\leq1 ∣ρXY​∣≤1 ，原因是这种证明方式，很清楚的表达了 ρ X Y \rho_{XY} ρXY​ 的含义，当 ∣ ρ X Y ∣ |\rho_{XY}| ∣ρXY​∣较大时，均方误差 e e e 较小，表示 X , Y X,Y X,Y的线性关系越紧密。不仅如此，该证明方式还给出了，均方误差 e e e 最小时， a , b a,b a,b的取值，也就很明确了随机变量 X , Y X,Y X,Y之间的线性关系。

  证明方法二：

  利用柯西 − - −施瓦兹不等式进行证明，对于两个随机变量 V , W V,W V,W，若 E ( V 2 ) , E ( W 2 ) E(V^2),E(W^2) E(V2),E(W2)存在，则 E ( V W ) 2 ≤ E ( V 2 ) E ( W 2 ) , E(VW)^2\leq E(V^2)E(W^2) , E(VW)2≤E(V2)E(W2),这个不等式称为柯西 − \pmb - −​−​​−施瓦兹不等式

  我们先证明这个不等式：

  令 g ( t ) = E [ ( V + t W ) 2 ] = t 2 E ( W 2 ) + 2 t E ( V W ) + E ( V 2 ) g(t)=E[(V+tW)^2] = t^2E(W^2)+ 2tE(VW) +E(V^2) g(t)=E[(V+tW)2]=t2E(W2)+2tE(VW)+E(V2)

  则 g ( t ) ≥ 0 g(t)\geq0 g(t)≥0必然成立，即有 g ( t ) = t 2 E ( W 2 ) + 2 t E ( V W ) + E ( V 2 ) ≥ 0 g(t) = t^2E(W^2)+ 2tE(VW) +E(V^2) \geq0 g(t)=t2E(W2)+2tE(VW)+E(V2)≥0 恒成立，这里将 g ( t ) g(t) g(t) 看做是关于 t t t的抛物线，高中知识就知道，要满足抛物线大于等于 0 0 0成立，需要 Δ = b 2 − 4 a c = [ 2 E ( V W ) ] 2 − 4 E ( W 2 ) E ( V 2 ) ≤ 0 \Delta = b^2-4ac = [2E(VW)]^2-4E(W^2)E(V^2)\leq 0 Δ=b2−4ac=[2E(VW)]2−4E(W2)E(V2)≤0 即 E ( V W ) 2 ≤ E ( V 2 ) E ( W 2 ) E(VW)^2\leq E(V^2)E(W^2) E(VW)2≤E(V2)E(W2) 恒成立，因此柯西 − - −施瓦兹不等式得到证明。

  下面利用柯西 − - −施瓦兹不等式证明 ∣ ρ x y ∣ ≤ 1 |\rho_{xy}|\leq1 ∣ρxy​∣≤1

  ρ X Y = C o v ( X , X ) D ( X ) D ( Y ) \begin{aligned} \rho_{XY} &= \frac{Cov(X,X)}{\sqrt{D(X)}\sqrt{D(Y)}} \end{aligned} ρXY​​=D(X) ​D(Y) ​Cov(X,X)​​ 我们要利用柯西 − - −施瓦兹不等式进行证明，因此考虑两边同时取平方，此时有

  ρ x y 2 = [ C o v ( X , Y ) ] 2 D ( X ) D ( Y ) = { E [ X − E ( X ) ] [ Y − E ( Y ) ] } 2 D ( X ) D ( Y ) ≤ E [ X − E ( X ) ] 2 E [ Y − E ( Y ) ] 2 D ( X ) D ( Y ) = D ( X ) D ( Y ) D ( X ) D ( Y ) = 1 ∴ ∣ ρ X Y ∣ ≤ 1 \begin{aligned} \rho_{xy}^2 &= \frac{[Cov(X,Y)]^2}{D(X)D(Y)} = \frac{\{E[X-E(X)][Y-E(Y)]\}^2}{D(X)D(Y)} \\&\leq \frac{E[X-E(X)]^2E[Y-E(Y)]^2}{D(X)D(Y)} = \frac{D(X)D(Y)}{D(X)D(Y)} = 1 \\ \therefore |\rho_{XY}|\leq1 \end{aligned} ρxy2​∴∣ρXY​∣≤1​=D(X)D(Y)[Cov(X,Y)]2​=D(X)D(Y){E[X−E(X)][Y−E(Y)]}2​≤D(X)D(Y)E[X−E(X)]2E[Y−E(Y)]2​=D(X)D(Y)D(X)D(Y)​=1​

  2 o ∣ ρ X Y ∣ = 1. 2^o \quad |\rho_{XY}|=1. 2o∣ρXY​∣=1.的充要条件是存在常数 a , b a,b a,b使 P { Y = a + b X } = 1 P\{Y=a+bX\}=1 P{Y=a+bX}=1

  证明

  1. 1. \quad 1. 已知 ∣ ρ X Y ∣ = 1 |\rho_{XY}|=1 ∣ρXY​∣=1

  我们在证明性质 1 1 1 时知道，

  E [ Y − ( a 0 + b 0 X ) ] 2 = D ( Y − a 0 − b 0 X ) + { E [ Y − a 0 − b 0 X ] } 2 = 0 ∵ D ( Y − a 0 − b 0 X ) ≥ 0 { E [ Y − a 0 − b 0 X ] } 2 ≥ 0 ∴ D ( Y − a 0 − b 0 X ) = 0 E [ Y − a 0 − b 0 X ] = 0 \begin{aligned} &E[Y-(a_0+b_0X)]^2 =D(Y-a_0-b_0X)+\{E[Y-a_0-b_0X]\}^2= 0 \\&\because D(Y-a_0-b_0X) \geq0 \quad \{E[Y-a_0-b_0X]\}^2 \geq0 \\ &\therefore D(Y-a_0-b_0X) = 0 \quad E[Y-a_0-b_0X] = 0\end{aligned} ​E[Y−(a0​+b0​X)]2=D(Y−a0​−b0​X)+{E[Y−a0​−b0​X]}2=0∵D(Y−a0​−b0​X)≥0{E[Y−a0​−b0​X]}2≥0∴D(Y−a0​−b0​X)=0E[Y−a0​−b0​X]=0​

  由方差性质可知，有 P { Y − a 0 − b 0 X = E ( Y − a 0 − b 0 X ) } = 1 P\{Y-a_0-b_0X=E(Y-a_0-b_0X)\} = 1 P{Y−a0​−b0​X=E(Y−a0​−b0​X)}=1 即 P { Y − a 0 − b 0 X = 0 } = 1 P\{Y-a_0-b_0X=0\} = 1 P{Y−a0​−b0​X=0}=1

  ∴ \therefore \quad ∴ 存在常数 a , b a,b a,b使 P { Y = a + b X } = 1 P\{Y=a+bX\}=1 P{Y=a+bX}=1

  2. 2. \quad 2. 已知存在常数 a , b a,b a,b,设为 a 0 , b 0 a_0,b_0 a0​,b0​ 使 P { Y = a 0 + b 0 X } = 1 P\{Y=a_0+b_0X\}=1 P{Y=a0​+b0​X}=1 。

  由方差性质可知， D ( Y − a 0 − b 0 X ) = 0 D(Y-a_0-b_0X) = 0 D(Y−a0​−b0​X)=0

  ∵ P { Y = a 0 + b 0 X } = 1 ∴ E ( Y − a 0 − b 0 X ) = 0 ,   P { [ Y − a 0 − b 0 X ] 2 = 0 } = 1 ∴ E { [ Y − a 0 − b 0 X ] 2 } = 0 ∴ D ( Y − a 0 − b 0 X ) = E [ Y − ( a 0 + b 0 X ) ] 2 − { E [ Y − a 0 − b 0 X ] } 2 = 0 − 0 = 0 ∴ D ( Y − a 0 − b 0 X ) = D ( Y ) + b 0 2 D ( X ) − 2 b 0 C o v ( X , Y ) = 0 \because P\{Y=a_0+b_0X\}=1 \quad \therefore E(Y-a_0-b_0X) = 0,\ \quad P\{[Y-a_0-b_0X]^2=0\}=1 \\\therefore E\{[Y-a_0-b_0X]^2\} = 0 \quad \therefore D(Y-a_0-b_0X) = E[Y-(a_0+b_0X)]^2- \{E[Y-a_0-b_0X]\}^2 = 0-0 = 0\\\therefore D(Y-a_0-b_0X)=D(Y)+b_0^2D(X)-2b_0Cov(X,Y) = 0 ∵P{Y=a0​+b0​X}=1∴E(Y−a0​−b0​X)=0, P{[Y−a0​−b0​X]2=0}=1∴E{[Y−a0​−b0​X]2}=0∴D(Y−a0​−b0​X)=E[Y−(a0​+b0​X)]2−{E[Y−a0​−b0​X]}2=0−0=0∴D(Y−a0​−b0​X)=D(Y)+b02​D(X)−2b0​Cov(X,Y)=0

  令 g ( b ) = D ( Y ) + b 2 D ( X ) − 2 b C o v ( X , Y ) g(b) = D(Y)+b^2D(X)-2bCov(X,Y) g(b)=D(Y)+b2D(X)−2bCov(X,Y)， 应满足 Δ = [ − 2 C o v ( X , Y ) ] 2 − 4 D ( X ) D ( Y ) ≥ 0. \Delta = [-2Cov(X,Y)]^2-4D(X)D(Y) \geq0. Δ=[−2Cov(X,Y)]2−4D(X)D(Y)≥0. 即 ρ X Y 2 ≥ 1 \rho_{XY}^2\geq1 ρXY2​≥1

  由性质 1 o ( ∣ ρ X Y ∣ ≤ 1 ) 1^o (|\rho_{XY}|\leq1) 1o(∣ρXY​∣≤1)可知，此时有 ∣ ρ X Y ∣ = 1 |\rho_{XY}|=1 ∣ρXY​∣=1 成立

  该性质表明随机变量 X , Y X,Y X,Y之间 以概率 1 1 1存在着线性关系，当 ∣ ρ X Y ∣ |\rho_{XY}| ∣ρXY​∣ 较大时，通常说 X , Y X,Y X,Y的线性相关程度较好；反之，则说 X , Y X,Y X,Y的线性相关程度较差

• 特殊的相关系数值

  • 当 ρ X Y = 0 \rho_{XY} = 0 ρXY​=0 时，表示 X , Y X,Y X,Y 没有线性关系，注意这里是没有线性关系，没有说不可以有非线性关系
  • 当 ρ X Y > 0 \rho_{XY} > 0 ρXY​>0 时，表示 X , Y X,Y X,Y 正相关
  • 当 ρ X Y = 1 \rho_{XY} = 1 ρXY​=1 时，表示 X , Y X,Y X,Y 完全正相关
  • 当 ρ X Y < 0 \rho_{XY} < 0 ρXY​<0 时，表示 X , Y X,Y X,Y 负相关
  • 当 ρ X Y = − 1 \rho_{XY} = -1 ρXY​=−1 时，表示 X , Y X,Y X,Y 完全负相关

• 相关与独立

  • 两个变量独立，此时有 C o v ( X , Y ) = E ( X Y ) − E ( X ) E ( Y ) = 0 , Cov(X,Y) = E(XY)-E(X)E(Y) = 0, Cov(X,Y)=E(XY)−E(X)E(Y)=0,所以有 ρ X Y = 0 \rho_{XY}=0 ρXY​=0,即 独立一定不相关

  • 两个随机变量不相关，此时虽然有 ρ X Y = 0 \rho_{XY}=0 ρXY​=0 但却不一定独立。字面理解的话，就是 当 ρ X Y = 0 \rho_{XY} = 0 ρXY​=0 时，表示 X , Y X,Y X,Y 没有线性关系，注意这里是没有线性关系，没有说不可以有非线性关系

    下面给出一个两个随机变量不相关，也不独立的例子，加深理解

    Y / X Y/X Y/X	− 2 -2 −2	− 1 -1 −1	1 1 1	2 2 2
    1 1 1	0 0 0	1 4 \frac{1}{4} 41​	1 4 \frac{1}{4} 41​	0 0 0
    4 4 4	1 4 \frac{1}{4} 41​	0 0 0	0 0 0	1 4 \frac{1}{4} 41​

    由表格可知

    E ( X ) = − 2 ∗ 1 4 + ( − 1 ) ∗ 1 4 + 1 ∗ 1 4 + 2 ∗ 1 4 = 0. E ( Y ) = 1 ∗ ( 0 + 1 4 + 1 4 + 0 ) + 4 ∗ ( 1 4 + 0 + 0 + 1 4 ) = 2.5 E ( X Y ) = ( 1 ∗ − 2 ) ∗ 0 + ( − 2 ∗ 4 ) ∗ 1 4 + ( − 1 ∗ 1 ) ∗ 1 4 + ( − 1 ∗ 4 ) ∗ 0 + ( 1 ∗ 1 ) 1 4 + ( 1 ∗ 4 ) ∗ 0 + ( 1 ∗ 2 ) ∗ 0 + ( 2 ∗ 4 ) ∗ 1 4 = 0 则 ρ X Y = 0 E(X) = -2*\frac{1}{4}+(-1)*\frac{1}{4}+1*\frac{1}{4}+2*\frac{1}{4} = 0. \quad E(Y) = 1*(0+\frac{1}{4}+\frac{1}{4}+0)+4*(\frac{1}{4}+0+0+\frac{1}{4}) = 2.5 \\E(XY) = (1*-2)*0+(-2*4)*\frac{1}{4}+(-1*1)*\frac{1}{4}+(-1*4)*0+(1*1)\frac{1}{4}+(1*4)*0+(1*2)*0+(2*4)*\frac{1}{4} = 0 \\ 则 \rho_{XY}=0 E(X)=−2∗41​+(−1)∗41​+1∗41​+2∗41​=0.E(Y)=1∗(0+41​+41​+0)+4∗(41​+0+0+41​)=2.5E(XY)=(1∗−2)∗0+(−2∗4)∗41​+(−1∗1)∗41​+(−1∗4)∗0+(1∗1)41​+(1∗4)∗0+(1∗2)∗0+(2∗4)∗41​=0则ρXY​=0

    ∵ P { X = − 2 , Y = 1 } = 0 ≠ P { X = − 2 } ∗ P { Y = 1 } \because \quad P\{X=-2,Y=1\} = 0 \neq P\{X=-2\}*P\{Y=1\} \quad ∵P{X=−2,Y=1}=0​=P{X=−2}∗P{Y=1} ，因此随机变量 X , Y X,Y X,Y 并不独立。

  • 特例，设 ( X , Y ) (X,Y) (X,Y) 服从二维正态分布，记作 ( X , Y ) ∼ N ( μ 1 , μ 2 , σ 1 2 , σ 2 2 , ρ ) (X,Y)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho) (X,Y)∼N(μ1​,μ2​,σ12​,σ22​,ρ),其中 μ 1 , μ 2 , σ 1 , σ 2 , ρ \mu_1,\mu_2,\sigma_1,\sigma_2,\rho μ1​,μ2​,σ1​,σ2​,ρ均为 常数，且 σ 1 > 0 , σ 2 > 0 , − 1 < ρ < 1. \sigma_1>0,\sigma_2>0,-1<\rho<1. σ1​>0,σ2​>0,−1<ρ<1. 则 X , Y X,Y X,Y的不相关与独立是等价的

    证明

    ( X , Y ) (X,Y) (X,Y) 服从二维正态分布，则

    f ( x , y ) = 1 2 π σ 1 σ 2 1 − ρ 2 e x p { − 1 2 ( 1 − ρ 2 ) [ ( x − μ 1 ) 2 σ 1 2 − 2 ρ ( x − μ 1 ) ( y − μ 2 ) σ 1 σ 2 + ( y − μ 2 ) 2 σ 2 2 ] } f X ( x ) = ∫ − ∞ + ∞ f ( x , y ) d y = ∫ − ∞ + ∞ 1 2 π σ 1 σ 2 1 − ρ 2 e x p { − 1 2 ( 1 − ρ 2 ) [ ( y − μ 2 σ 2 − ρ x − μ 1 σ 1 ) 2 + ( 1 − ρ 2 ) ( x − μ 1 ) 2 σ 1 2 ] } d y = 1 2 π σ 1 σ 2 1 − ρ 2 e − ( x − μ 1 ) 2 2 σ 1 2 ∫ − ∞ + ∞ e − 1 2 ( 1 − ρ 2 ) ( y − μ 2 σ 2 − ρ x − μ 1 σ 1 ) 2 d y 令 t = 1 1 − ρ 2 ( y − μ 2 σ 2 − ρ x − μ 1 σ 1 ) , 则 d y = σ 2 1 − ρ 2 d t ∴ f X ( x ) = 1 2 π σ 1 σ 2 1 − ρ 2 e − ( x − μ 1 ) 2 2 σ 1 2 σ 2 1 − ρ 2 ∫ − ∞ + ∞ e − t 2 2 d t = 1 2 π σ 1 e − ( x − μ 1 ) 2 2 σ 1 2 2 π = 1 2 π σ 1 e − ( x − μ 1 ) 2 2 σ 1 2 同 理 f Y ( y ) = 1 2 π σ 2 e − ( y − μ 2 ) 2 2 σ 2 2 \begin{aligned} &f(x,y) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}exp{\{\frac{-1}{2(1-\rho^2)}[\frac{(x-\mu_1)^2}{\sigma_1^2}-2\rho\frac{(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2}+\frac{(y-\mu_2)^2}{\sigma_2^2}]\}}\end{aligned} \\ \begin{aligned}f_X(x) &=\int_{-\infty}^{+\infty}f(x,y)dy = \int_{-\infty}^{+\infty}\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}exp{\{\frac{-1}{2(1-\rho^2)}[(\frac{y-\mu_2}{\sigma_2}-\rho\frac{x-\mu_1}{\sigma_1})^2+(1-\rho^2)\frac{(x-\mu_1)^2}{\sigma_1^2}]\}}dy\\ &=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}e^{-\frac{(x-\mu_1)^2}{2\sigma_1^2}}\int_{-\infty}^{+\infty}e^{\frac{-1}{2(1-\rho^2)}(\frac{y-\mu_2}{\sigma_2}-\rho\frac{x-\mu_1}{\sigma_1})^2}dy \quad \\&令 t = \frac{1}{\sqrt{1-\rho^2}}(\frac{y-\mu_2}{\sigma_2}-\rho\frac{x-\mu_1}{\sigma_1}) ,则dy = \sigma_2\sqrt{1-\rho^2}dt \\\therefore \quad f_X(x) &=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}e^{-\frac{(x-\mu_1)^2}{2\sigma_1^2}}\sigma_2\sqrt{1-\rho^2}\int_{-\infty}^{+\infty}e^{-\frac{t^2}{2}}dt\\& = \frac{1}{2\pi\sigma_1}e^{-\frac{(x-\mu_1)^2}{2\sigma_1^2}}\sqrt{2\pi}\\&=\frac{1}{\sqrt{2\pi}\sigma_1}e^{-\frac{(x-\mu_1)^2}{2\sigma_1^2}}\\ 同理 f_Y(y) &=\frac{1}{\sqrt{2\pi}\sigma_2}e^{-\frac{(y-\mu_2)^2}{2\sigma_2^2}} \end{aligned} ​f(x,y)=2πσ1​σ2​1−ρ2 ​1​exp{2(1−ρ2)−1​[σ12​(x−μ1​)2​−2ρσ1​σ2​(x−μ1​)(y−μ2​)​+σ22​(y−μ2​)2​]}​fX​(x)∴fX​(x)同理fY​(y)​=∫−∞+∞​f(x,y)dy=∫−∞+∞​2πσ1​σ2​1−ρ2 ​1​exp{2(1−ρ2)−1​[(σ2​y−μ2​​−ρσ1​x−μ1​​)2+(1−ρ2)σ12​(x−μ1​)2​]}dy=2πσ1​σ2​1−ρ2 ​1​e−2σ12​(x−μ1​)2​∫−∞+∞​e2(1−ρ2)−1​(σ2​y−μ2​​−ρσ1​x−μ1​​)2dy令t=1−ρ2 ​1​(σ2​y−μ2​​−ρσ1​x−μ1​​),则dy=σ2​1−ρ2 ​dt=2πσ1​σ2​1−ρ2 ​1​e−2σ12​(x−μ1​)2​σ2​1−ρ2 ​∫−∞+∞​e−2t2​dt=2πσ1​1​e−2σ12​(x−μ1​)2​2π ​=2π ​σ1​1​e−2σ12​(x−μ1​)2​=2π ​σ2​1​e−2σ22​(y−μ2​)2​​

    因此，我们知道二维正态分布的边缘分布为一维正态分布，有 E ( X ) = μ 1 , E ( Y ) = μ 2 , D ( X ) = σ 1 2 , D ( Y ) = σ 2 2 E(X) = \mu_1,E(Y)=\mu_2,D(X)=\sigma_1^2,D(Y)=\sigma_2^2 E(X)=μ1​,E(Y)=μ2​,D(X)=σ12​,D(Y)=σ22​

    C o v ( X , Y ) = ∫ − ∞ + ∞ ∫ − ∞ + ∞ ( x − μ 1 ) ( y − μ 2 ) f ( x , y ) d x d y = ∫ − ∞ + ∞ ∫ − ∞ + ∞ ( x − μ 1 ) ( y − μ 2 ) 1 2 π σ 1 σ 2 1 − ρ 2 e x p { − 1 2 ( 1 − ρ 2 ) [ ( x − μ 1 ) 2 σ 1 2 − 2 ρ ( x − μ 1 ) ( y − μ 2 ) σ 1 σ 2 + ( y − μ 2 ) 2 σ 2 2 ] } d x d y = 1 2 π σ 1 σ 2 1 − ρ 2 ∫ − ∞ + ∞ ∫ − ∞ + ∞ e x p { − 1 2 ( 1 − ρ 2 ) [ ( y − μ 2 σ 2 − ρ x − μ 1 σ 1 ) 2 + ( 1 − ρ 2 ) ( x − μ 1 ) 2 σ 1 2 ] } d x d y = 1 2 π σ 1 σ 2 1 − ρ 2 ∫ − ∞ + ∞ ∫ − ∞ + ∞ e x p [ − 1 2 ( 1 − ρ 2 ) ( y − μ 2 σ 2 − ρ x − μ 1 σ 1 ) 2 + − ( x − μ 1 ) 2 2 σ 1 2 ] d x d y 令 u = 1 1 − ρ 2 ( y − μ 2 σ 2 − ρ x − μ 1 σ 1 ) ， v = x − μ 1 σ 1 ， 则 x − μ 1 = σ 1 v ， y − μ 2 = σ 2 1 − ρ 2 u + ρ v σ 2 ， d x = σ 1 d v ， d y = σ 2 1 − ρ 2 d u ∴ C o v ( X , Y ) = 1 2 π σ 1 σ 2 1 − ρ 2 ∫ − ∞ + ∞ ∫ − ∞ + ∞ σ 1 v ( σ 2 1 − ρ 2 u + ρ v σ 2 ) e − u 2 2 + − v 2 2 σ 1 d v σ 2 1 − ρ 2 d u = 1 2 π ∫ − ∞ + ∞ ∫ − ∞ + ∞ ( σ 1 σ 2 1 − ρ 2 u v + σ 1 σ 2 ρ v 2 ) e − u 2 2 + − v 2 2 d v d u = 1 2 π ∫ − ∞ + ∞ ∫ − ∞ + ∞ [ σ 1 σ 2 1 − ρ 2 u v e − u 2 2 + − v 2 2 + σ 1 σ 2 ρ v 2 e − u 2 2 + − v 2 2 ] d u d v = σ 1 σ 2 1 − ρ 2 2 π ∫ − ∞ + ∞ ∫ − ∞ + ∞ u v e − u 2 2 + − v 2 2 d u d v + σ 1 σ 2 ρ 2 π ∫ − ∞ + ∞ ∫ − ∞ + ∞ v 2 e − u 2 2 + − v 2 2 d u d v = σ 1 σ 2 1 − ρ 2 2 π ∫ − ∞ + ∞ u e − u 2 2 d u ∫ − ∞ + ∞ v e − v 2 2 d v + σ 1 σ 2 ρ 2 π ∫ − ∞ + ∞ v 2 e − v 2 2 d v ∫ − ∞ + ∞ e − u 2 2 d u = σ 1 σ 2 1 − ρ 2 2 π ( − e − u 2 2 ) ∣ − ∞ + ∞ ( − e − v 2 2 ) ∣ − ∞ + ∞ + σ 1 σ 2 ρ 2 π [ − v e − v 2 2 ∣ − ∞ + ∞ + ∫ − ∞ + ∞ e − v 2 2 d v ] 2 π = 0 + σ 1 σ 2 ρ 2 π ( 0 + 2 π ) 2 π = σ 1 σ 2 ρ \begin{aligned} Cov(X,Y) &= \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}(x-\mu_1)(y-\mu_2)f(x,y)dxdy \\&= \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}(x-\mu_1)(y-\mu_2)\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}exp{\{\frac{-1}{2(1-\rho^2)}[\frac{(x-\mu_1)^2}{\sigma_1^2}-2\rho\frac{(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2}+\frac{(y-\mu_2)^2}{\sigma_2^2}]\}}dxdy\\&=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}exp{\{\frac{-1}{2(1-\rho^2)}[(\frac{y-\mu_2}{\sigma_2}-\rho\frac{x-\mu_1}{\sigma_1})^2+(1-\rho^2)\frac{(x-\mu_1)^2}{\sigma_1^2}]\}}dxdy \\&= \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}exp{[\frac{-1}{2(1-\rho^2)}(\frac{y-\mu_2}{\sigma_2}-\rho\frac{x-\mu_1}{\sigma_1})^2+\frac{-(x-\mu_1)^2}{2\sigma_1^2}]}dxdy \\&令 \quad u = \frac{1}{\sqrt{1-\rho^2}}(\frac{y-\mu_2}{\sigma_2}-\rho\frac{x-\mu_1}{\sigma_1})，v = \frac{x-\mu_1}{\sigma_1}，\\&则x-\mu_1=\sigma_1v ，y-\mu_2=\sigma_2\sqrt{1-\rho^2}u+\rho v\sigma_2，dx= \sigma_1dv，dy=\sigma_2\sqrt{1-\rho^2}du\end{aligned}\\\begin{aligned} \therefore Cov(X,Y) &=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}\sigma_1v(\sigma_2\sqrt{1-\rho^2}u+\rho v\sigma_2)e^{\frac{-u^2}{2}+\frac{-v^2}{2}}\sigma_1dv\sigma_2\sqrt{1-\rho^2}du \\&= \frac{1}{2\pi}\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}(\sigma_1\sigma_2\sqrt{1-\rho^2}uv+\sigma_1\sigma_2\rho v^2)e^{\frac{-u^2}{2}+\frac{-v^2}{2}}dvdu\\&=\frac{1}{2\pi}\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}\bigg[\sigma_1\sigma_2\sqrt{1-\rho^2}uve^{\frac{-u^2}{2}+\frac{-v^2}{2}}+\sigma_1\sigma_2\rho v^2e^{\frac{-u^2}{2}+\frac{-v^2}{2}}\bigg]dudv \\&=\frac{\sigma_1\sigma_2\sqrt{1-\rho^2}}{2\pi}\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}uve^{\frac{-u^2}{2}+\frac{-v^2}{2}}dudv+\frac{\sigma_1\sigma_2\rho}{2\pi}\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty} v^2e^{\frac{-u^2}{2}+\frac{-v^2}{2}}dudv\\&= \frac{\sigma_1\sigma_2\sqrt{1-\rho^2}}{2\pi}\int_{-\infty}^{+\infty}ue^{\frac{-u^2}{2}}du\int_{-\infty}^{+\infty}ve^{\frac{-v^2}{2}}dv+\frac{\sigma_1\sigma_2\rho}{2\pi}\int_{-\infty}^{+\infty}v^2e^{\frac{-v^2}{2}}dv\int_{-\infty}^{+\infty} e^{\frac{-u^2}{2}}du\\&=\frac{\sigma_1\sigma_2\sqrt{1-\rho^2}}{2\pi}(-e^{\frac{-u^2}{2}})\bigg|_{-\infty}^{+\infty}(-e^{\frac{-v^2}{2}})\bigg|_{-\infty}^{+\infty}+\frac{\sigma_1\sigma_2\rho}{2\pi}\bigg[-ve^{\frac{-v^2}{2}}\bigg|_{-\infty}^{+\infty}+\int_{-\infty}^{+\infty}e^{\frac{-v^2}{2}}dv\bigg]\sqrt{2\pi}\\&=0+\frac{\sigma_1\sigma_2\rho}{2\pi}(0+\sqrt{2\pi})\sqrt{2\pi}\\&=\sigma_1\sigma_2\rho\end{aligned} Cov(X,Y)​=∫−∞+∞​∫−∞+∞​(x−μ1​)(y−μ2​)f(x,y)dxdy=∫−∞+∞​∫−∞+∞​(x−μ1​)(y−μ2​)2πσ1​σ2​1−ρ2 ​1​exp{2(1−ρ2)−1​[σ12​(x−μ1​)2​−2ρσ1​σ2​(x−μ1​)(y−μ2​)​+σ22​(y−μ2​)2​]}dxdy=2πσ1​σ2​1−ρ2 ​1​∫−∞+∞​∫−∞+∞​exp{2(1−ρ2)−1​[(σ2​y−μ2​​−ρσ1​x−μ1​​)2+(1−ρ2)σ12​(x−μ1​)2​]}dxdy=2πσ1​σ2​1−ρ2 ​1​∫−∞+∞​∫−∞+∞​exp[2(1−ρ2)−1​(σ2​y−μ2​​−ρσ1​x−μ1​​)2+2σ12​−(x−μ1​)2​]dxdy令u=1−ρ2 ​1​(σ2​y−μ2​​−ρσ1​x−μ1​​)，v=σ1​x−μ1​​，则x−μ1​=σ1​v，y−μ2​=σ2​1−ρ2 ​u+ρvσ2​，dx=σ1​dv，dy=σ2​1−ρ2 ​du​∴Cov(X,Y)​=2πσ1​σ2​1−ρ2 ​1​∫−∞+∞​∫−∞+∞​σ1​v(σ2​1−ρ2 ​u+ρvσ2​)e2−u2​+2−v2​σ1​dvσ2​1−ρ2 ​du=2π1​∫−∞+∞​∫−∞+∞​(σ1​σ2​1−ρ2 ​uv+σ1​σ2​ρv2)e2−u2​+2−v2​dvdu=2π1​∫−∞+∞​∫−∞+∞​[σ1​σ2​1−ρ2 ​uve2−u2​+2−v2​+σ1​σ2​ρv2e2−u2​+2−v2​]dudv=2πσ1​σ2​1−ρ2 ​​∫−∞+∞​∫−∞+∞​uve2−u2​+2−v2​dudv+2πσ1​σ2​ρ​∫−∞+∞​∫−∞+∞​v2e2−u2​+2−v2​dudv=2πσ1​σ2​1−ρ2 ​​∫−∞+∞​ue2−u2​du∫−∞+∞​ve2−v2​dv+2πσ1​σ2​ρ​∫−∞+∞​v2e2−v2​dv∫−∞+∞​e2−u2​du=2πσ1​σ2​1−ρ2 ​​(−e2−u2​)∣∣∣∣​−∞+∞​(−e2−v2​)∣∣∣∣​−∞+∞​+2πσ1​σ2​ρ​[−ve2−v2​∣∣∣∣​−∞+∞​+∫−∞+∞​e2−v2​dv]2π ​=0+2πσ1​σ2​ρ​(0+2π ​)2π ​=σ1​σ2​ρ​

    ∴ ρ X Y = C o v ( X , X ) D ( X ) D ( Y ) = ρ \therefore \quad \rho_{XY} = \frac{Cov(X,X)}{\sqrt{D(X)}\sqrt{D(Y)}} = \rho ∴ρXY​=D(X) ​D(Y) ​Cov(X,X)​=ρ

    也就是说，二维正态随机变量 ( X , Y ) (X,Y) (X,Y)的概率密度中的参数 ρ \rho ρ 就是随机变量 X , Y X,Y X,Y的相关系数，因此，二维正态随机变量可由 X , Y X,Y X,Y各自的数学期望，方差和相关系数所确定。若 X , Y X,Y X,Y不相关，即 ρ = 0 \rho=0 ρ=0，将其带入 f ( x , y ) f(x,y) f(x,y) 刚好得到 f ( x , y ) = f X ( x ) f Y ( y ) f(x,y) = f_X(x)f_Y(y) f(x,y)=fX​(x)fY​(y) ，则 X , Y X,Y X,Y相互独立。因此对于二维正态随机变量 ( X , Y ) (X,Y) (X,Y)来说， X , Y X,Y X,Y不相关与独立是等价的。