南昌大学概率论协方差和相关系数讲课讲稿.ppt

《南昌大学概率论协方差和相关系数讲课讲稿.ppt》由会员分享，可在线阅读，更多相关《南昌大学概率论协方差和相关系数讲课讲稿.ppt（67页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、南昌大学概率论协方差和南昌大学概率论协方差和相关系数相关系数对于随机变量对于随机变量(X,Y)而言而言:E(X)、E(Y)反映分量反映分量X、Y各自的各自的平均值平均值 D(X)、D(Y)反映分量反映分量X、Y各自的各自的平均偏离程度平均偏离程度并未反映并未反映X、Y之间的相互关系之间的相互关系4.3 协方差和相关系数协方差和相关系数这就是本章的又一个问题这就是本章的又一个问题 协方差与相关系数协方差与相关系数 2即即 cov(X,Y)=E(X-EX)()(Y-EY).1.定义定义设二维随机变量设二维随机变量(X,Y),一、协方差一、协方差 记为记为 cov(X,Y).若若 E(X-EX)(Y

2、-EY)存在存在,则称则称 E(X-EX)()(Y-EY)为为 X,Y 的的协方差协方差,离散型离散型连续型连续型二维随机变量函数二维随机变量函数(X-EX)()(Y-EY)的期望的期望3 Cov(X,Y)=E(XY)-E(X)E(Y)可见，可见，若若X 与与 Y 独立独立，Cov(X,Y)=0.2.计算协方差的一个简单公式计算协方差的一个简单公式由协方差的定义及期望的性质，可得由协方差的定义及期望的性质，可得Cov(X,Y)=E X-E(X)Y-E(Y)=E(XY)-E(X)E(Y)-E(Y)E(X)+E(X)E(Y)=E(XY)-E(X)E(Y)即即特别地特别地4协方差的性质协方差的性质性

3、质性质1 1 协方差的计算与协方差的计算与X,Y 的次序无关的次序无关Cov(X,Y)=Cov(Y,X)性质性质3 3 对任意常数对任意常数 a1，a2，b1，b2 有有Cov(a1X+b1,a2Y+b2)=a1a2Cov(X,Y)性质性质4 4 设设X1，X2，Y1，Y2为随机变量，则有为随机变量，则有Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)Cov(X,Y1+Y2)=Cov(X,Y1)+Cov(X,Y2)性质性质2 2 Cov(X,a)=0 5性质性质5 5 设设X，Y 为随机变量，则有为随机变量，则有D(X Y)=D(X)+D(Y)2Cov(X,Y)性质性质6 6

4、设设X，Y 为任意随机变量，则有为任意随机变量，则有Cov(X,Y)2 D(X)D(Y)Cov(X,Y)2 =(E X-E(X)Y-E(Y)2=D(X)D(Y)证明：证明：EX-E(X)2EY-E(Y)2柯西柯西-许瓦兹许瓦兹不等式不等式6注：注：1 协方差可正、可负、可为零。协方差可正、可负、可为零。2 的的大小大小刻划了刻划了X与与Y线性关系的线性关系的强弱强弱。*3 受量纲的影响，不便于实际应用。受量纲的影响，不便于实际应用。7 协方差的大小在一定程度上反映了协方差的大小在一定程度上反映了X和和Y相互相互间的关系，但它还受间的关系，但它还受X与与Y 自身取值的影响。自身取值的影响。Cov

5、(kX,kY)=k2Cov(X,Y)为了克服这一缺点，就需要对协方差进行为了克服这一缺点，就需要对协方差进行标准化处理，这就引入了标准化处理，这就引入了相关系数的概念相关系数的概念。例如：当例如：当X与与Y同时增大同时增大k倍时，倍时，kX与与kY之间之间的相互联系和的相互联系和X与与Y之间的相互联系应该是一样之间的相互联系应该是一样的，但反映这种联系的协方差却增大了的，但反映这种联系的协方差却增大了k2 2倍，倍，即即8随机变量的标准化设设随机随机变变量量X的数学期望的数学期望E(X),方差方差D(X)均存在，且均存在，且D(X)0，定，定义义一个新的随机一个新的随机变变量量则则 EX*=0

6、,DX*=1。称称X*是随机是随机变变量量X的的标标准化准化了的随机了的随机变变量量。消除受量纲的影响消除受量纲的影响9标准化以后的随机变量协方差常数常数10二、相关系数二、相关系数定义定义:若若D(X)0,D(Y)0,则称则称 为为X,Y的的相关系数相关系数或或标准协方差标准协方差,记为记为 XY,即即112.相关系数的性质相关系数的性质证证 由由方差与协方差的关系方差与协方差的关系知知,X 和和Y 以概率以概率1 1线性相关线性相关 D(X*Y*)=DX*+DY*2 cov(X*,Y*)=1+1 2 cov(X*,Y*)=2(1 XY )证证“”：“”：设设|XY|=1，若若 a 0 和和

7、 b,P(Y=aX+b)=1,若若 XY=1，由由(1)的证明可知的证明可知 D(Y*-X*)=0则有则有 P(Y=aX+b)=1,1,P(X=C)=1 DX=0 类似可证类似可证 XY=-1 时的情形时的情形.ab相关系数从概率角度刻划了相关系数从概率角度刻划了X 和和Y 之间之间“线性相关线性相关”的程度的程度12 X 与与Y 独立时独立时,cov(X,Y)=E(XY)EXEY=0 由由 XY=0 不一定能推出不一定能推出X 和和Y 独立独立.定义定义3.当当 XY=0 时时,称称 X 与与Y 是是不相关的不相关的或或无关的无关的.例例 设设 X U(-(-,),),Y=X 2,则则 EX

8、=0,故故 cov(X,Y)=E(XY)EXEY=0,即即X 和和Y 不相关不相关.但但 Y 与与 X 有严格的函数关系有严格的函数关系.无无 关关 未未 必必 独独 立立!(3)X 和和Y 独立独立 =0;独立必无关独立必无关但其逆不真但其逆不真 X 与与Y 不相关不相关仅是指仅是指 X 与与 Y 之间没有线性关系之间没有线性关系 E(XY)=0,=0,独立性与相关性独立性与相关性从不同角度刻划了随机变量从不同角度刻划了随机变量 之间的联系程度之间的联系程度 X,Y 统计规律统计规律之间的联系之间的联系X,Y 之间的之间的线性关系线性关系若若(X,Y)正态分布正态分布,则则X与与Y不相关等价

9、于不相关等价于X,Y相相互独立互独立13例例1 设设(X,Y)的概率密度为的概率密度为求求Cov(X,Y)、XY解解:同理同理,得得:14有有:Cov(X,Y)=E(XY)E(X)E(Y)同理同理,得得:D(X)=E(X2)E2(X)15同理同理,得得:有有:16解解例例2171819结论结论20解解例例3212223练习练习24解：解：25例例 设设 (X,Y)的概率密度为的概率密度为 证证(1)(1)0,其他其他,偶函数偶函数 EX=EY=0,=0,cov(X,Y)=0,=0，X 与与 Y 不相关不相关.(2)f(x,y)X 与与 Y 不独立不独立.证明证明 (1)X 与与 Y 不相关；不

10、相关；(2)X 与与 Y 不独立不独立.26主要内容主要内容第四章第四章 随机变量的数字特征随机变量的数字特征(一一)数学期望数学期望(均值均值)(1-1)(1-1)X:离散型离散型.分布律分布律:Y=g(X)（g g 为连续函数）为连续函数）函数：函数：(1-2)(1-2)27(一一)数学期望数学期望(均值均值)28(3)数学期望的性质:假设以下随机变量的数学期望均存在假设以下随机变量的数学期望均存在 1.E(C)=C,（C 是常数是常数）2.E(CX)=CE(X),（C 是常数是常数）3.E(X Y)=E(X)E(Y),4.设设X与与Y 相互独立相互独立,则则 E(XY)=E(X)E(Y)

11、29(二二)方差方差1 1。若若X:离散型离散型.2 2。若若X:连续型连续型.概率密度为概率密度为 f(x)(1(1)计算公式：计算公式：3 3。均方差或标准差均方差或标准差:30 假设下列方差均存在假设下列方差均存在 1。D(C)=0,(C为常数为常数)2。D(CX)=C2 D(X),(C为常数为常数)3。设设X与与Y是两个随机变量，则有是两个随机变量，则有 特别，特别，若若X与与Y相互独立相互独立:D(XY)=D(X)+D(Y)4。D(X)=0 PX=E(X)=1.(2)(2)方差的性质方差的性质31B2.2.已知随机变量已知随机变量X在在-1,1 上服从均匀分布，上服从均匀分布，Y=X

12、3,则则 X与与 Y()(A)不相关且相互独立；不相关且相互独立；(B)不相关且相互不独立；不相关且相互不独立；(C)相关且相互独立；相关且相互独立；(D)相关且相互不独立。相关且相互不独立。D1.已知随机变量已知随机变量X服从二项分布服从二项分布,且且E(X)=2.4,D(X)=1.44,则二项分布的参数则二项分布的参数 n,p 的值为的值为()()(A)n=4,p=0.6;(B)n=6,p=0.4;(C)n=8,p=0.3;(D)n=24,p=0.1.一一 选择题选择题第四章第四章 习题课习题课323.3.设设X,Y为随机变量为随机变量,若若E(XY)=E(X)E(Y),则有则有()(A)

13、D(XY)=D(X)D(Y)(B)D(X+Y)=D(X)+D(Y)(C)X和和Y相互独立相互独立.(D)X和和Y不独立不独立.B4.4.设设X,Y是两个随机变量是两个随机变量,如果存在常数如果存在常数a,b()使得使得 PY=aX+b=1,且且 0D(X)+,那么那么 为为()(A)1；(B)-1；(C);(D).C33二、填空题二、填空题1.设设X1,X2,X3相互独立相互独立,X1 U(0,6),X2N(0,4),X3P(3),则则D(X1-2 X2+3 X3)=.2.设一次试验成功的概率为设一次试验成功的概率为p,进行进行100次独立重复次独立重复 试验试验.当当 p=时时,成功次数的标

14、准差的值最成功次数的标准差的值最 大大.最大值为最大值为 .461/253.设设XP(),且且 E(X-1)(X-2)=1.则则 =.1346.设设X的概率密度为的概率密度为 且且 E(X)=1/2,D(X)=3/20,则则 a=,b=,c=.-1212-14.设设E(X)=2,E(Y)=4,D(X)=4,D(Y)=9,xy=0.5,则则 E(3X2-2XY+Y2-3)=,D(3X Y)=.36275.设设XU(0,1),YU(1,3),X与与Y相互独立，则相互独立，则 E(XY)=,D(XY)=.14/935极限定理包含的内容很广泛极限定理包含的内容很广泛,只有在相同的条件下进行大量重复试验

15、时只有在相同的条件下进行大量重复试验时,随机现象的规律性随机现象的规律性才会呈现出来才会呈现出来.概率论与数理统计是研究随机现象统计规律性的学科概率论与数理统计是研究随机现象统计规律性的学科.研究大量的随机现象研究大量的随机现象,极限工具无疑极限工具无疑是最有效的方法是最有效的方法.大数定律大数定律 与与 中心极限定理中心极限定理我们先介绍我们先介绍 也就是说也就是说,要从随机现象中要从随机现象中寻求必然的法则寻求必然的法则,应该研究大量随机现象应该研究大量随机现象.这导致了对极限定理的这导致了对极限定理的研究研究.其中最重要的有两类其中最重要的有两类:5.1 大数定律大数定律 36 设随机变

16、量设随机变量X 有期望有期望 和方差，和方差，由切比雪夫不等式可看出由切比雪夫不等式可看出：DX 越小越小,则事件则事件|X-E(X)|)|0,证证(仅就连续的情形给出证明仅就连续的情形给出证明)则则 0,设设X 的密度函数为的密度函数为 f(x),即随机变量即随机变量X 集中在期望附近的可能性越大集中在期望附近的可能性越大.在未知分布的情形下在未知分布的情形下估计估计 P(|(|X-EX|)37例例1 已知已知E(X)=100,D(X)=30,试估计试估计X落在落在(70,130)内的概率内的概率解解:P70X130=P|X 100|30由契比雪夫不等式由契比雪夫不等式,得得:0.967 契

17、比雪夫不等式给出了在随机变契比雪夫不等式给出了在随机变量量X的分布未知情况下的分布未知情况下,事件事件|X|0,有有 证明切比雪夫大数定律主要的数学工具是证明切比雪夫大数定律主要的数学工具是切比雪夫不等式切比雪夫不等式证证 由由Chebyschev不等式不等式,由极限夹逼准则知结论成立由极限夹逼准则知结论成立.任意事件的概率任意事件的概率 1 1特别地特别地,改方差的限定条件为改方差的限定条件为:设设Xn 独立且有相同的期望独立且有相同的期望 和方差和方差 2,则则 0,有有 在独立和同期望、方差的条件下在独立和同期望、方差的条件下,n 个随机变量的算术个随机变量的算术平均值当平均值当 n 时

18、时,依概率收敛于它的期望依概率收敛于它的期望 .即存在常数即存在常数 C,使得使得 DX i C,i=1,2,当当n 充分大时几乎充分大时几乎不再是随机的了不再是随机的了 Y Y 42 切比雪夫大数定律表明，独立随机变切比雪夫大数定律表明，独立随机变量序列量序列Xn，如果方差有共同的上界，则，如果方差有共同的上界，则与其数学期望与其数学期望 偏差很小的偏差很小的 概率接近于概率接近于1.随机的了，取值接近于其数学期望的概率接随机的了，取值接近于其数学期望的概率接近于近于1.即当即当n充分大时，充分大时，差不多不再是差不多不再是切比雪夫大数定律给出了切比雪夫大数定律给出了平均值稳定性的科学描述平

19、均值稳定性的科学描述432.设随机变量序列,相互独立，它们满足切贝谢夫大数定律,则 的分布可以是_.（A）服从上的均匀分布.服从参数为的泊松分布.服从参数为的泊松分布.服从正态分布44贝努里大数定律贝努里大数定律 设设n次独立重复试验中事件次独立重复试验中事件A发生发生nA次次,在每次试验中事件在每次试验中事件A发生的概率发生的概率为为p,则则 0,有有:45令令由契比雪夫大数定律得出结论由契比雪夫大数定律得出结论E(Xi)=p,D(Xi)=p(1 p)又又46关于贝努利定理的说明关于贝努利定理的说明:故而当故而当n很大时很大时,事件发生的频率与概率有事件发生的频率与概率有较大偏差的可能性很小

20、较大偏差的可能性很小.在实际应用中在实际应用中,当试验当试验次数很大时次数很大时,便可以用事件发生的频率来代替便可以用事件发生的频率来代替事件的概率事件的概率.Bernoulli大数定律提供了通过试验来确定事件概率方大数定律提供了通过试验来确定事件概率方法的理论依据法的理论依据,即用频率估计概率是合理的即用频率估计概率是合理的.47下面给出的独立同分布下的大数定律，不要下面给出的独立同分布下的大数定律，不要求随机变量的方差存在求随机变量的方差存在.设随机变量序列设随机变量序列X1,X2,独立同分布，具有有独立同分布，具有有限的数学期限的数学期E(Xi)=,i=1,2,，则对任给，则对任给 0，

21、定理定理3（辛钦大数定律辛钦大数定律）这为在不知分布的情形下这为在不知分布的情形下,取多次重复观测的算术平均值取多次重复观测的算术平均值 作为作为 EX 的较为精确的估计提供的较为精确的估计提供了了理论保证理论保证.辛钦大数定律为寻找随机变量的期望值辛钦大数定律为寻找随机变量的期望值,提供了提供了一条实际可行的途径一条实际可行的途径:则当则当 n 时时,对对X 的的 n 次观察结果的算术平均值次观察结果的算术平均值 以概率收敛于以概率收敛于 X 的期望值的期望值 EX=.若视若视 X i 为重复试验中对随机变量为重复试验中对随机变量 X 的的第第 i 次观察次观察,48这一讲我们介绍了大数定律

22、这一讲我们介绍了大数定律 大数定律以严格的数学形式表达了随大数定律以严格的数学形式表达了随机现象最根本的性质之一：机现象最根本的性质之一：它是随机现象统计规律的具体表现它是随机现象统计规律的具体表现.大数定律在理论和实际中都有广泛的应用大数定律在理论和实际中都有广泛的应用.平均结果的稳定性平均结果的稳定性49 在实际问题中，常常需要考虑许多随机因素所在实际问题中，常常需要考虑许多随机因素所产生总影响产生总影响.例如例如,炮弹射击的落点与目标的炮弹射击的落点与目标的偏差偏差,就受着许多随机因素的影响就受着许多随机因素的影响.5.2 中中 心心 极极 限限 定定 理理如瞄准时的误差，如瞄准时的误差

23、，空气阻力所产生的误差，空气阻力所产生的误差，炮弹或炮身结构所引起的误差等等炮弹或炮身结构所引起的误差等等.对我们来说重要的是这些对我们来说重要的是这些随机因素的总影响随机因素的总影响.中心极限定理的客观背景中心极限定理的客观背景50 观察表明观察表明,如果一个量是如果一个量是由大量由大量相互独立的随机因素的影响所造成相互独立的随机因素的影响所造成,而每一个别因而每一个别因素在总影响中所起的作用不大素在总影响中所起的作用不大.则这种量一般都则这种量一般都服从或近服从或近似服从正态分布似服从正态分布.我们就来研究独立我们就来研究独立随机变量之和随机变量之和所特有的规律性问所特有的规律性问题题:当

24、当 n 无限增大时无限增大时,这个和的极限分布是什么呢这个和的极限分布是什么呢?在什么条件下极限分布会是正态的呢？在什么条件下极限分布会是正态的呢？自从高斯指出测量误差服从正态分布之后自从高斯指出测量误差服从正态分布之后,人们发现人们发现正态分布在自然界中极为常见正态分布在自然界中极为常见.在一般情况下在一般情况下,我们很难求出我们很难求出 X1+X2+Xn 分布的分布的确切形式确切形式,但当但当 n 很大时很大时,可以求出这个和的近似分布可以求出这个和的近似分布.51 由于无穷个随机变量之和可能趋于由于无穷个随机变量之和可能趋于，故我们不研究故我们不研究n个随机变量之和本身而考虑它个随机变量

25、之和本身而考虑它的标准化的随机变量的标准化的随机变量的分布函数的极限的分布函数的极限.可以证明，满足一定的条件，上述极可以证明，满足一定的条件，上述极限分布是标准正态分布限分布是标准正态分布.中心极限定理中心极限定理这就是下面要介这就是下面要介绍的绍的52 在概率论中，习惯于把和的分布收在概率论中，习惯于把和的分布收敛于正态分布这一类定理都叫做敛于正态分布这一类定理都叫做中心极中心极限定理限定理.我们只讨论几种简单情形我们只讨论几种简单情形.下面给出的独立同分布随机变量序列下面给出的独立同分布随机变量序列的中心极限定理，也称的中心极限定理，也称列维一林德伯格列维一林德伯格（LevyLindbe

26、rg）定理）定理.53 设设 Xi 是独立同分布的随机变量序列是独立同分布的随机变量序列,定理定理1(独立同分布的中心极限定理独立同分布的中心极限定理)N(0,1);N(n,n 2);N(,2/n).可近似认为可近似认为:且且EXi=,DXi=2 0,i=1,2,n 的分布函数的分布函数 Fn(x)满足满足 的标准化的标准化随机变量随机变量 则则 0,n 个独立同分布的随机变量个独立同分布的随机变量,不论原来服从什么分布不论原来服从什么分布,当当 n 充分充分大时大时,其其和的标准化和的标准化 总可近似地认为是服从总可近似地认为是服从标准正态分布标准正态分布.正是大量随机变量服从正态分布的理论

27、解释正是大量随机变量服从正态分布的理论解释反映了中心反映了中心极限定理的极限定理的客观背景客观背景54例如例如,PaX 20500),),n=20020000=0.0002.由独立同分布中心极限定理知由独立同分布中心极限定理知56例例2 某大型商场每天接待顾客某大型商场每天接待顾客10000人人,设每位顾客的消费额设每位顾客的消费额(元元)服从服从200,2000上的均匀分布上的均匀分布,且顾客的消费额是相互独且顾客的消费额是相互独立的立的,试求该商场的销售额试求该商场的销售额(元元)在平均销在平均销售额上、下浮动不超过售额上、下浮动不超过30000元的概率元的概率解解:设第设第k位顾客的消费

28、额为位顾客的消费额为Xk (k=1,2,10000)商场日销售额为商场日销售额为X,则则 57由已知由已知,=10000 1100=11 106由独立同分布中心极限定理由独立同分布中心极限定理,有有:58P11106 30000X11106+30000 2(0.58)1 0.4459事件事件 A 发生的次数发生的次数 n 设随机变量序列设随机变量序列Xn 相互独立相互独立,且都且都服从参数为服从参数为 p(0p1)的的二点二点分布分布,则对任意的则对任意的 x,有有=n 2=n 即即 n 很大很大,0p1是一定值时是一定值时,二项分布近似于正态分布二项分布近似于正态分布 N(np,np(1-p

29、).定理定理(De Moivre-Laplas(棣莫佛拉普拉斯棣莫佛拉普拉斯)或或 近似服从近似服从 N(0,1),20个个0-1分布的和的分布分布的和的分布正态分布是正态分布是二项分布的极限二项分布的极限下面举例说明中心极限定理的应用下面举例说明中心极限定理的应用独立同分布中心极限定理的特例独立同分布中心极限定理的特例 几个几个(0,1)上均匀分布的和的分布上均匀分布的和的分布0 1 2 3xf g h X1 f(x)X1+X2 g(x)X1+X2+X3 h(x)记住记住 60 求夜晚同时开着的求夜晚同时开着的灯数在灯数在 6800 到到 7200 之间的概率之间的概率.夜晚每盏灯夜晚每盏灯

30、开着的概率为开着的概率为0.7,解解 设设 X 为夜晚同时开着的灯数为夜晚同时开着的灯数,例例3 一供电网共有一供电网共有 10000 盏功率相同的灯盏功率相同的灯,假设各盏灯开、关彼此独立假设各盏灯开、关彼此独立,由由DL定理重要公式定理重要公式知知(n=10000,p=0.7),应用中的概率解释：应用中的概率解释：尽管该电网负责供应一万盏灯所需的电力尽管该电网负责供应一万盏灯所需的电力,则则 X B(n,p)以题意知所求以题意知所求概率为概率为 P(6800 X 7200),但提供但提供 7200 盏灯所需的电力就能以盏灯所需的电力就能以 99.99%的概率保证需求的概率保证需求.61 试

31、以试以99%的把握断定的把握断定:从这批电子元件中任取从这批电子元件中任取6000 只只,其中其中次品所占比例与次品所占比例与 1/6 的差的差不超过多少？不超过多少？例例4 已知一批同型号的电子元件的次品率为已知一批同型号的电子元件的次品率为1/6,这时这时 6000 只电子元件中次品数的范围是什么只电子元件中次品数的范围是什么?解解 设设6000之中次品数为之中次品数为X,则则 X B(n,p),n=6000,p=1/6,6000只元件中次品所占的比例为只元件中次品所占的比例为 ,由题意知要求由题意知要求 ,使得使得查表知查表知 6000之中次品数应在之中次品数应在 926 只到只到 10

32、74 只之间只之间.由由DL定理重定理重要公式要公式=0.0124;62题题 设有一批种子，其中良种占1/6.试估计在任选的6000粒种子中，良种比例与 1/6 比较上下不超过1%的概率.解解 设 X 表示6000粒种子中的良种数,X B(6000,1/6)近似由德莫佛拉普拉斯中心极限定理,则有6364比较几个近似计算的结果比较几个近似计算的结果中心极限定理二项分布(精确结果)Poisson 分布Chebyshev 不等式65这一讲我们介绍了中心极限定理这一讲我们介绍了中心极限定理 在后面的课程中，我们还将经常用到中心在后面的课程中，我们还将经常用到中心极限定理极限定理.中心极限定理是概率论中最著名的结果中心极限定理是概率论中最著名的结果之一，它不仅提供了计算独立随机变量之和之一，它不仅提供了计算独立随机变量之和的近似概率的简单方法，而且有助于解释的近似概率的简单方法，而且有助于解释为为什么很多自然群体的经验频率呈现出钟形曲什么很多自然群体的经验频率呈现出钟形曲线线这一值得注意的事实这一值得注意的事实.66结束结束