协方差学习教程.pptx

《协方差学习教程.pptx》由会员分享，可在线阅读，更多相关《协方差学习教程.pptx（30页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、除了期望和方差，还可得到各种数字特征:其中 k 是正整数.第1页/共30页 对于多维随机变量，反映分量之间关系的数字特征中，最重要的，就是本讲要讨论的协方差和相关系数第2页/共30页 任意两个随机变量X和Y的协方差,记为Cov(X,Y),定义为 Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)Cov(X,Y)=Cov(Y,X)一、协方差2.简单性质 Cov(aX,bY)=ab Cov(X,Y)a,b是常数Cov(X,Y)=E X-E(X)Y-E(Y)1.定义第3页/共30页 Cov(X,Y)=E(XY)-E(X)E(Y)可见，若X与Y 独立，Cov(X,Y)=0.3.计算协方差

2、的一个简单公式由协方差的定义及期望的性质，可得Cov(X,Y)=E X-E(X)Y-E(Y)=E(XY)-E(X)E(Y)-E(Y)E(X)+E(X)E(Y)=E(XY)-E(X)E(Y)即第4页/共30页若X1,X2,Xn两两独立,，上式化为D(X+Y)=D(X)+D(Y)+2Cov(X,Y)4.随机变量和的方差与协方差的关系第5页/共30页【例例3】设设(X,Y)具有概率密度具有概率密度 求求 Cov(X,Y).【例【例4】已知三个随机变量】已知三个随机变量X,Y,Z中中,E(X)=E(Y)=1,E(Z)=-1,D(X)=D(Y)=D(Z)=1,求求E(X+Y+Z),D(X+Y+Z).第6

3、页/共30页 协方差的大小在一定程度上反映了X和Y相互间的关系，但它还受X与Y本身度量单位的影响.例如：Cov(kX,kY)=k2Cov(X,Y)为了克服这一缺点，对协方差进行标准化，这就引入了相关系数.第7页/共30页二、相关系数为随机变量X和Y的相关系数.定义:设D(X)0,D(Y)0,称在不致引起混淆时，记 为 .第8页/共30页相关系数的性质：证:由方差的性质和协方差的定义知,对任意实数b,有0D(Y-bX)=b2D(X)+D(Y)-2b Cov(X,Y)令，则上式为 D(Y-bX)=由于方差D(Y)是正的,故必有1-0,所以|1。第9页/共30页2.X和Y独立时，=0，但其逆不真.由

4、于当 X 和Y 独立时，Cov(X,Y)=0.故=0但由并不一定能推出X和Y 独立.请看下例.第10页/共30页例1 设X服从(-1/2,1/2)内的均匀分布,而Y=cos X,（请课下自行验证）因而 =0，即X和Y不相关.但Y与X有严格的函数关系，即X和Y不独立.不难求得，Cov(X,Y)=0，第11页/共30页存在常数a,b(b0），使PY=a+bX=1，即X和Y以概率1线性相关.第12页/共30页考虑以X的线性函数a+bX来近似表示Y，以均方误差e=EY-(a+bX)2来衡量以a+bX近似表示Y的好坏程度,e值越小表示 a+bX与Y的近似程度越好.用微积分中求极值的方法，求出使e 达到最

5、小时的a,b.相关系数刻划了X和Y间“线性相关”的程度.第13页/共30页 =E(Y2)+b2E(X2)+a2-2bE(XY)+2abE(X)-2aE(Y)e=EY-(a+bX)2 解得这样求出的最佳逼近为L(X)=a0+b0X第14页/共30页 这样求出的最佳逼近为L(X)=a0+b0X这一逼近的剩余是若 =0，Y与X无线性关系;Y与X有严格线性关系;若可见,若0|1,|的值越接近于1,Y与X的线性相关程度越高;|的值越接近于0,Y与X的线性相关程度越弱.E(Y-L(X)2=D(Y)(1-)第15页/共30页稍事休息第16页/共30页但对下述情形，独立与不相关等价若(X,Y)服从二维正态分布

6、，则X与Y独立X与Y不相关前面，我们已经看到：若X与Y独立，则X与Y不相关，但由X与Y不相关，不一定能推出X与Y独立.第17页/共30页其中均为常数,且（X,Y）N()第18页/共30页矩、协方差矩阵在数学期望一讲中，我们已经介绍了矩和中心矩的概念.这里再给出混合矩、混合中心矩的概念.第19页/共30页协方差Cov(X,Y)是X和Y的二阶混合中心矩.称它为X和Y的k+L阶混合（原点）矩.若存在，称它为X和Y的k+L阶混合中心矩.设X和Y是随机变量，若 k,L=1,2,存在，可见，第20页/共30页协方差矩阵的定义 将二维随机变量（X1,X2）的四个二阶中心矩排成矩阵的形式:称此矩阵为（X1,X

7、2）的协方差矩阵.这是一个对称矩阵第21页/共30页 类似定义n维随机变量(X1,X2,Xn)的协方差矩阵.下面给出n元正态分布的概率密度的定义.为(X1,X2,Xn)的协方差矩阵称矩阵都存在,i,j=1,2,n若第22页/共30页f(x1,x2,xn)则称X服从n元正态分布.其中C是(X1,X2,Xn)的协方差矩阵.|C|是它的行列式，表示C的逆矩阵，X和 是n维列向量，表示X的转置.设 =(X1,X2,Xn)是一个n维随机向量,若它的概率密度为第23页/共30页n元正态分布的几条重要性质1.X=(X1,X2,Xn)服从n元正态分布a1X1+a2 X2+an Xn均服从正态分布.对一切不全为

8、0的实数a1,a2,an，第24页/共30页n元正态分布的几条重要性质2.若 X=(X1,X2,Xn)服从n元正态分布，Y1,Y2,，Yk是Xj（j=1,2,n）的线性函数，则(Y1,Y2,，Yk)也服从多元正态分布.这一性质称为正态变量的线性变换不变性.第25页/共30页n元正态分布的几条重要性质 3.设(X1,X2,Xn)服从n元正态分布，则“X1,X2,Xn相互独立”等价于“X1,X2,Xn两两不相关”第26页/共30页例2 设随机变量X和Y相互独立且XN(1,2),YN(0,1).试求Z=2X-Y+3的概率密度.故X和Y的联合分布为正态分布，X和Y的任意线性组合是正态分布.解:XN(1,2),YN(0,1)，且X与Y独立,D(Z)=4D(X)+D(Y)=8+1=9E(Z)=2E(X)-E(Y)+3=2+3=5 即 ZN(E(Z),D(Z)ZN(5,32)第27页/共30页故Z的概率密度是ZN(5,32)第28页/共30页这一讲我们介绍了协方差和相关系数相关系数是刻划两个变量间线性相关程度的一个重要的数字特征.注意独立与不相关并不是等价的.当(X,Y)服从二维正态分布时，有X与Y独立X与Y不相关第29页/共30页感谢您的观看！第30页/共30页