第24讲协方差与相关系数.ppt

《第24讲协方差与相关系数.ppt》由会员分享，可在线阅读，更多相关《第24讲协方差与相关系数.ppt（24页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、现在学习的是第1页，共24页 前面我们介绍了随机变量的数学期望和前面我们介绍了随机变量的数学期望和方差，对于多维随机变量，反映分量之间关系方差，对于多维随机变量，反映分量之间关系的数字特征中，最重要的，就是本讲要讨论的的数字特征中，最重要的，就是本讲要讨论的协方差和相关系数协方差和相关系数现在学习的是第2页，共24页 任意两个随机变量任意两个随机变量X和和Y的协方差的协方差,记记为为Cov(X,Y),定义为定义为 Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)Cov(X,Y)=Cov(Y,X)一、协方差一、协方差2.简单性质简单性质 Cov(aX,bY)=ab Cov(X,Y

2、)a,b是常数是常数Cov(X,Y)=E X-E(X)Y-E(Y)1.定义定义现在学习的是第3页，共24页 Cov(X,Y)=E(XY)-E(X)E(Y)可见，若可见，若X与与Y独立，独立，Cov(X,Y)=0.3.计算协方差的一个简单公式计算协方差的一个简单公式由协方差的定义及期望的性质，可得由协方差的定义及期望的性质，可得Cov(X,Y)=E X-E(X)Y-E(Y)=E(XY)-E(X)E(Y)-E(Y)E(X)+E(X)E(Y)=E(XY)-E(X)E(Y)即即现在学习的是第4页，共24页若若X1,X2,Xn两两独立两两独立,，上式化为，上式化为D(X+Y)=D(X)+D(Y)+2Co

3、v(X,Y)4.随机变量随机变量和的方差与协方差的关系和的方差与协方差的关系),(2)()(11jininijiiiXXCovXDXDniniiiXDXD11)()(现在学习的是第5页，共24页 协方差的大小在一定程度上反映了协方差的大小在一定程度上反映了X和和Y相互间的关系，但它还受相互间的关系，但它还受X与与Y本身度量单位的本身度量单位的影响影响.例如：例如：Cov(kX,kY)=k2Cov(X,Y)为了克服这一缺点，对协方差进行标准化，为了克服这一缺点，对协方差进行标准化，这就引入了这就引入了相关系数相关系数.现在学习的是第6页，共24页二、相关系数二、相关系数为随机变量为随机变量X和和

4、Y的相关系数的相关系数.定义定义:设设D(X)0,D(Y)0,)()(),(YDXDYXCovXY 称称在不致引起混淆时，记在不致引起混淆时，记 为为 .XY 现在学习的是第7页，共24页相关系数的性质：相关系数的性质：11|.证证:由方差的性质和协方差的定义知由方差的性质和协方差的定义知,对任意实数对任意实数b,有有0D(Y-bX)=b2D(X)+D(Y)-2b Cov(X,Y)(),(XDYXCovb 令令，则上式为，则上式为 D(Y-bX)=)(),()(2XDYXCovYD)()(),(1)(2YDXDYXCovYD1)(2 YD由于方差由于方差D(Y)是正的是正的,故必有故必有1-0

5、,所以所以|1。2现在学习的是第8页，共24页2.X和和Y独立时，独立时，=0，但其逆不真，但其逆不真.由于当由于当X和和Y独立时，独立时，Cov(X,Y)=0.故故)()(),(YDXDYXCov=00但由但由并不一定能推出并不一定能推出X和和Y 独立独立.请看下例请看下例.现在学习的是第9页，共24页例例1 设设X服从服从(-1/2,1/2)内的均匀分布内的均匀分布,而而Y=cos X,（请课下自行验证）（请课下自行验证）因而因而 =0，即即X和和Y不相关不相关.但但Y与与X有严格的函数关系，有严格的函数关系，即即X和和Y不独立不独立.不难求得，不难求得，Cov(X,Y)=0，现在学习的是

6、第10页，共24页1.3 存在常数存在常数a,b(b0），），使使PY=a+bX=1，（详细证明自看（详细证明自看,见教材见教材.）即即X和和Y以概率以概率1线性相关线性相关.现在学习的是第11页，共24页考虑以考虑以X的线性函数的线性函数a+bX来近似表示来近似表示Y，以均方误差以均方误差e=EY-(a+bX)2来衡量以来衡量以a+bX近似表示近似表示Y的好坏程度的好坏程度,e值越小表示值越小表示 a+bX与与Y的近似程度越好的近似程度越好.用微积分中求极值的方法，求出使用微积分中求极值的方法，求出使e 达到最达到最小时的小时的a,b.相关系数刻划了相关系数刻划了X和和Y间间“线性相关线性相

7、关”的程度的程度.现在学习的是第12页，共24页 =E(Y2)+b2E(X2)+a2-2bE(XY)+2abE(X)-2aE(Y)e=EY-(a+bX)2 0)(2)(2)(20)(2)(222XaEXYEXbEbeYEXbEaae)(),(0XDYXCovb 解得解得)()(00XEbYEa这样求出的最佳逼近为这样求出的最佳逼近为L(X)=a0+b0X现在学习的是第13页，共24页 这样求出的最佳逼近为这样求出的最佳逼近为L(X)=a0+b0X这一逼近的剩余是这一逼近的剩余是若若 =0，Y与与X无线性关系无线性关系;Y与与X有严格线性关系有严格线性关系;,1 若若可见可见,若若0|1,|的值

8、越接近于的值越接近于1,Y与与X的线性相关程度越高的线性相关程度越高;|的值越接近于的值越接近于0,Y与与X的线性相关程度越弱的线性相关程度越弱.E(Y-L(X)2=D(Y)(1-)2 现在学习的是第14页，共24页请看演示请看演示相关系数的直观意义相关系数的直观意义现在学习的是第15页，共24页但对下述情形，独立与不相关等价但对下述情形，独立与不相关等价若若(X,Y)服从二维正态分布，则服从二维正态分布，则X与与Y独立独立X与与Y不相关不相关前面，我们已经看到：前面，我们已经看到：若若X与与Y独立，则独立，则X与与Y不相关，不相关，但由但由X与与Y不相关，不一定能推出不相关，不一定能推出X与

9、与Y独立独立.现在学习的是第16页，共24页矩、协方差矩阵矩、协方差矩阵在数学期望一讲中，我们已经介绍了矩和在数学期望一讲中，我们已经介绍了矩和中心矩的概念中心矩的概念.这里再给出混合矩、混合中心矩的概念这里再给出混合矩、混合中心矩的概念.现在学习的是第17页，共24页协方差协方差Cov(X,Y)是是X和和Y的的二阶混合中心矩二阶混合中心矩.称它为称它为X和和Y的的k+L阶混合（原点）矩阶混合（原点）矩.若若)()(LkYEYXEXE存在，存在，称它为称它为X和和Y的的k+L阶混合中心矩阶混合中心矩.)(LkYXE设设X和和Y是随机变量，若是随机变量，若 k,L=1,2,存在，存在，可见，可见

10、，现在学习的是第18页，共24页协方差矩阵的定义协方差矩阵的定义 将二维随机变量（将二维随机变量（X1,X2）的四个二阶中心矩）的四个二阶中心矩)(21111XEXEc)()(221112XEXXEXEc排成矩阵的形式排成矩阵的形式:)()(112221XEXXEXEc)(22222XEXEc称此矩阵为（称此矩阵为（X1,X2）的协方差矩阵）的协方差矩阵.22211211cccc这是一个这是一个对称矩阵对称矩阵现在学习的是第19页，共24页 类似定义类似定义n维随机变量维随机变量(X1,X2,Xn)的的协方差矩阵协方差矩阵.下面给出下面给出n元正态分布的概率密度的定义元正态分布的概率密度的定义

11、.为为(X1,X2,Xn)的的协方差矩阵协方差矩阵nnnnnncccccccccC212222111211称矩阵称矩阵都存在都存在,i,j=1,2,n),(jijiXXCovc若若)()(jjiiXEXXEXE现在学习的是第20页，共24页)()(21exp|)2(11212 XCXCnf(x1,x2,xn)则称则称X服从服从n元正态分布元正态分布.其中其中C是是(X1,X2,Xn)的协方差矩阵的协方差矩阵.|C|是它的行列式，是它的行列式，表示表示C的逆矩阵，的逆矩阵，1CX和和 是是n维列向量，维列向量，表示表示X的转置的转置.X 设设 =(X1,X2,Xn)是一个是一个n维随机向量维随机

12、向量,若它的概率密度为若它的概率密度为X现在学习的是第21页，共24页n元正态分布的几条重要性质元正态分布的几条重要性质1.X=(X1,X2,Xn)服从服从n元正态分布元正态分布a1X1+a2 X2+an Xn均服从正态分布均服从正态分布.对一切不全为对一切不全为0的实数的实数a1,a2,an，现在学习的是第22页，共24页n元正态分布的几条重要性质元正态分布的几条重要性质2.若若 X=(X1,X2,Xn)服从服从n元正态分布，元正态分布，Y1,Y2,，Yk是是Xj（j=1,2,n）的线性函数，）的线性函数，则则(Y1,Y2,，Yk)也服从多元正态分布也服从多元正态分布.这一性质称为正态变量的线性变换不变性这一性质称为正态变量的线性变换不变性.现在学习的是第23页，共24页n元正态分布的几条重要性质元正态分布的几条重要性质 3.设设(X1,X2,Xn)服从服从n元正态分布，则元正态分布，则“X1,X2,Xn相互独立相互独立”等价于等价于“X1,X2,Xn两两不相关两两不相关”现在学习的是第24页，共24页