最新应用多元统计分析-2PPT课件.ppt

应用多元统计分析-2北大北大数学学院数学学院 在多元统计分析中在多元统计分析中,多元正态分布占有相当多元正态分布占有相当重要的地位重要的地位.这是因为许多实际问题涉及到的随这是因为许多实际问题涉及到的随机向量服从正态分布或近似服从正态分布机向量服从正态分布或近似服从正态分布;当样当样本量很大时本量很大时,许多统计量的极限分布往往和正态许多统计量的极限分布往往和正态分布有关分布有关;此外此外,对多元正态分布对多元正态分布,理论与实践都理论与实践都比较成熟比较成熟,已有一整套行之有效的统计推断方法已有一整套行之有效的统计推断方法.基于这些理由基于这些理由,我们在介绍多元统计分析的种我们在介绍多元统计分析的种种具体方法之前，首先介绍多元正态分布的定种具体方法之前，首先介绍多元正态分布的定义、性质及多元正态分布中参数的估计问题义、性质及多元正态分布中参数的估计问题.第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2北大北大数学学院数学学院北大北大数学学院数学学院北大北大数学学院数学学院北大北大数学学院数学学院北大北大数学学院数学学院北大北大数学学院数学学院北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计 2.1 2.1 随机向量随机向量协差阵的性质协差阵的性质 当矩阵当矩阵0(正定正定)时，矩阵时，矩阵L也称为也称为的平方根的平方根矩阵，记为矩阵，记为1/2.当矩阵当矩阵0(正定正定)时时,必有必有pp非退化非退化矩阵矩阵A使得使得 =AA 9北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计 2.1 2.1 随机向量随机向量协差阵的性质协差阵的性质 若若0(非负定非负定),必有必有pq矩阵矩阵A1使得使得 =A1A1 这里记这里记=(1|2),1为为pq列正交阵列正交阵(p q).并设：并设：10北大北大数学学院数学学院 在一元统计中，若在一元统计中，若UN(0,1),N(0,1),则则U的任意的任意线性变换线性变换X=X=U+N(N(,2 2)。利用这一性质，利用这一性质，可以从标准正态分布来定义一般正态分布：可以从标准正态分布来定义一般正态分布：若若UN(0,1),N(0,1),则称则称X=U+的分布为的分布为一般正态分布一般正态分布,记为记为X N(N(,2 2)。此定义中，不必要求此定义中，不必要求0,0,当当退化为退化为0 0时仍时仍有意义。把这种新的定义方式推广到多元情况，有意义。把这种新的定义方式推广到多元情况，可得出多元正态分布的第一种定义。可得出多元正态分布的第一种定义。第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义多元正态分布的定义11北大北大数学学院数学学院 定义2.2.1 设设U=(U1,Uq)为随机向量为随机向量,U1,Uq相互独立且同相互独立且同N(0N(0，1)1)分布；设分布；设为为p维常数向量，维常数向量，A为为p pq q常数矩阵，则称常数矩阵，则称X=AU+的分布为的分布为p p维正态分布，或称维正态分布，或称X为为p p 维正态随机维正态随机向量向量,记为记为X N Np(,AA)。简单地说，称简单地说，称q q个相互独立的标准正态随机个相互独立的标准正态随机变量的一些线性组合构成的随机向量的分布为变量的一些线性组合构成的随机向量的分布为多元正态分布。多元正态分布。第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的多元正态分布的第一种第一种定义定义12北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质1 1 在一元统计中在一元统计中,若若XN(N(,2 2),),则则X的特征函数为的特征函数为 (t t)=E(e)=E(ei itXtX)=exp)=expi it t-t t 2 22 2/2/213北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质1 114北大北大数学学院数学学院 性质性质1 1 设设U=(U1,Uq)为随机向量为随机向量,U1,Uq 相互独立且同相互独立且同 N(0N(0,1)1)分布；令分布；令X=+AU,则则X的特征函数为的特征函数为第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质1 1这里这里t=(t1,tp),故故X(t)为为p元函数元函数.当当 XN(0,1)时时,(t)=exp-t 2/2.15北大北大数学学院数学学院 性质性质1 1的的证明证明 ：根据随机向量特征函数的定义和性质，经计算即可根据随机向量特征函数的定义和性质，经计算即可得出得出X X的特征函数为的特征函数为 X(t)=E(eE(ei it t X)=E(e)=E(ei it (AU+)第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质1 1令令tA=s=(s1,sq)16北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质1 1(因因U1,Uq相互独立相互独立,乘积的期望等于期望的乘积乘积的期望等于期望的乘积)17北大北大数学学院数学学院 定义定义2.2.22.2.2 若若p维随机向量维随机向量X的特征函数的特征函数为为:第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的第二种定义多元正态分布的第二种定义一元正态一元正态:(p=1)则称则称X服从服从 p 维正态分布维正态分布,记为记为 X Np(,).记记=AA，则有以下定义。，则有以下定义。18北大北大数学学院数学学院 性质性质2 2设设XN Np p(,),B为为sp常数常数阵，阵，d为为s11常向量，令常向量，令Z=BX+d,则则 ZNs(B+d,BB ).该性质指出正态随机向量的任意该性质指出正态随机向量的任意线性组合仍为正态分布线性组合仍为正态分布.第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质2 219北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质2 2 证明证明 因因 0,可分解为可分解为=AA ,其中其中A为为pq 矩阵矩阵.已知已知XNp(,),由由定义定义2.2.12.2.1可知可知 X=AU+(d d表示两边的随机向量服从相同的分布表示两边的随机向量服从相同的分布.).)其中其中U=(U1,Uq),且且U1,Uq 相互独相互独立同立同 N(0N(0，1)1)分布。分布。d20北大北大数学学院数学学院 Z=BX+d=B(AU+)+d第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质2 2d =(BA)U+(B+d)由定义由定义2.2.12.2.1可知可知 Z N Ns s(B+d,(BA)(BA)，即即 Z N Ns s(B+d,BB).).(这里这里=AA).).21北大北大数学学院数学学院 推论推论设设X=N Np(,),将将,剖分为剖分为第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布性质多元正态分布性质2 2的推论的推论则则 X(1)(1)N Nr(1 1),1111),),X(2)(2)N Np-r(2)(2),2222).).X(1)(1)rX(2)(2)p-r22北大北大数学学院数学学院证明：证明：由性质由性质2 2可得：可得：类似地类似地第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布多元正态分布性质性质2的推论的推论23北大北大数学学院数学学院 此推论指出，多元正态分布的边缘此推论指出，多元正态分布的边缘分布仍为正态分布。但反之，若随机分布仍为正态分布。但反之，若随机向量的任何边缘分布均为正态分布，向量的任何边缘分布均为正态分布，也不一定能导出该随机向量服从多元也不一定能导出该随机向量服从多元正态分布正态分布.如例如例2.1.12.1.1,证明了证明了X1 1,X2均为一元正态分均为一元正态分布布,但由但由(X1,X2)联合密度函数的形式易见它联合密度函数的形式易见它不是二元正态不是二元正态.第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布多元正态分布性质性质2的推论的推论24北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布多元正态分布性质性质2的推论的推论例例2.1.1 (X1,X2)的联合密度函数为的联合密度函数为 我们从后面将给出的正态随机向量的联合密我们从后面将给出的正态随机向量的联合密度函数的形式可知度函数的形式可知,(X1,X2)不是二元正态随机向不是二元正态随机向量量.但通过计算边缘分布可得出但通过计算边缘分布可得出:X1N(0,1),X2N(0,1)这就说明若随机向量的任何边缘分布均为正态这就说明若随机向量的任何边缘分布均为正态分布时，也不一定能导出该随机向量服从多元分布时，也不一定能导出该随机向量服从多元正态分布正态分布.25北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质简单例子简单例子例如例如:设三维随机向量设三维随机向量X=(X1,X2,X3),且且则有则有(1)X1 N(2,1),26北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质简单简单例子例子由性质由性质2知知,Y为为3维正态随机向量维正态随机向量,且且(2)27北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质简单简单例子例子28北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质简单简单例子例子 (3)设设Z=2 X1-X2+3X3,试求随机变量试求随机变量Z的分布的分布.Z=2 X1-X2+3X3=(2,-1,3)X=CX故有故有:所以所以 Z N(4,29).29北大北大数学学院数学学院 性质性质3 3 若若XN Np p(,),E(X)=)=,D(X)=)=.证明证明 因因0,0,可分解为：可分解为：=AA，则由定义则由定义2.2.12.2.1可知可知 X=AU+(A为为pq实矩阵实矩阵)其中其中U=(U1,Uq),),且且U1,Uq相互独立同相互独立同N N(0(0，1)1)分布分布,故有故有 E(U)=0,)=0,D(U)=)=Iq.d第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质3 330北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质3 3利用均值向量和协差阵的有关性质可得：利用均值向量和协差阵的有关性质可得：此性质给出多元正态分布中参数此性质给出多元正态分布中参数和和的的明确统计意义明确统计意义.是随机向量是随机向量X的均值向量，的均值向量，是随机向量是随机向量X的协差阵。的协差阵。如简单例子中如简单例子中,由性质由性质2知知Z服从正态分布服从正态分布,利用性质利用性质3,31北大北大数学学院数学学院 性质性质4 4 设设X=(=(X1,Xp)为为p维随机向维随机向量，则量，则X服从服从p维正态分布维正态分布 对任一对任一p维维实向量实向量a,=aX是一维正态随机变量是一维正态随机变量.必要性的证明由性质必要性的证明由性质2 2即得（只须取即得（只须取B=a,d=0=0即可）即可）.充分性的证明充分性的证明：首先说明随机向量首先说明随机向量X的均值和协方差阵存在的均值和协方差阵存在:因对任给因对任给p维实向量维实向量 tR p,=tX一元正一元正态分布，可知态分布，可知的各阶矩存在的各阶矩存在，第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质4 432北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质4 4如取如取t t=ei =(0,1,0)=(0,1,0),Xi=eiX,且且 E(E(Xi)(i=1,2,p)存在存在.E(Xi2)(i=1,2,p)也存在也存在.再比如取再比如取 t t=(0,1,0,1,.,0)=(0,1,0,1,.,0),=t X=Xi+Xj,且且 E(E()=E(Xi+Xj)(i,j=1,2,p)存在存在.E(2)=E(Xi+Xj)2=E(Xi2)+2E(XiXj)+E(Xj2)也存在也存在,即即E(XiXj)(i,j=1,2,p)存在存在.故故E(E(Xi),Cov(),Cov(Xi,Xj)=E(XiXj)-E(Xj)E(Xi)(i,j=1,=1,p)存在存在.33北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质4 4记记 E(X)=)=,D(X)=)=.计算计算的特征函数的特征函数:对任意给定的对任意给定的tRp,因因随机变量随机变量=t X服从服从N(t,t t).，故知，故知的特征函数为的特征函数为()=E(ei)=expi(t)-2(t t)/2 计算随机向量计算随机向量X的特征函数的特征函数:在在的特征函数中，取的特征函数中，取=1，即得，即得34北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的第三种定义多元正态分布的第三种定义 (1)=E(ei)=E(e it X)=X(t)=expit -t t/2由定义由定义2.2.2可知，可知，XNp(,).定义定义2.2.32.2.3 若若p维随机向量维随机向量X的任意线的任意线性组合均服从一元正态分布，则称性组合均服从一元正态分布，则称X为为p维正态随机向量维正态随机向量.35北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 一元正态分布的密度函数一元正态分布的密度函数 在概率论中大家都知道一元正态随机在概率论中大家都知道一元正态随机变量的密度函数是变量的密度函数是这个式子可改写为这个式子可改写为:36北大北大数学学院数学学院 作为一元正态随机变量的推广，以下性质来作为一元正态随机变量的推广，以下性质来导出多元正态随机向量的联合密度函数导出多元正态随机向量的联合密度函数.第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质5 5 性质性质5 5 设设XN Np(,),且且0(0(正定正定),),则则X的联合密度函数为的联合密度函数为 37北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质5 5 证明证明 因因0,rk()=0,rk()=p,由线性由线性代数的知识知存在代数的知识知存在非奇异方阵非奇异方阵A,使得使得 =AA，且且 X=AU+其中其中U=(=(U1,Up),),且且U1,Up相互独相互独立同立同N(0N(0，1)1)分布。分布。d U的联合密度函数的联合密度函数(p元函数）元函数）为为38北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质5 5 利用利用U的联合密度函数及随机向量的的联合密度函数及随机向量的变换求变换求X=AU+的密度函数。的密度函数。对任给对任给BorelBorel可测集可测集B B，求求p元函数元函数fX(x)使得使得其中其中 D=u|u=A-1(x-),x B39北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质5 5根据附录根据附录8(P397)公式公式(8.4),即有即有以下来求以下来求JacobiJacobi行列式行列式J(ux).40北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质5 5 积分变换的积分变换的JacobiJacobi行列式行列式J(ux)可利用可利用线性变换线性变换x=Au+及及J(xu)来计算：来计算：因因向量微商的公式见附录向量微商的公式见附录8(8.1)41北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质5 5 关于积分变换的关于积分变换的JacobiJacobi行列式行列式J(ux)的有关内容请参阅附录部分。的有关内容请参阅附录部分。故故42北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质5 5 写出写出X=AU+的密度函数：的密度函数：(这里这里=AA,)43北大北大数学学院数学学院其中其中是是p维实向量维实向量,是是p阶正定阵阶正定阵,则称则称X=(=(X1,X2Xp)服从服从(非退化的非退化的)p元正态分布元正态分布.也称也称X为为p维正态随机向量维正态随机向量,简记为简记为 XN Np(,).第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的第四种定义多元正态分布的第四种定义 定义定义2.2.42.2.4p 维随机向量维随机向量X=(=(X1,X2Xp)的联合密度函数为的联合密度函数为44北大北大数学学院数学学院 第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的多种定义及关系多元正态分布的多种定义及关系 以上给出了多元正态分布的以上给出了多元正态分布的4 4种定义。种定义。定义定义2.2.42.2.4用密度函数给出定义，它可看用密度函数给出定义，它可看成一元正态密度的直接推广；但在这个定成一元正态密度的直接推广；但在这个定义里要求义里要求是正定阵是正定阵,它给出的是非退化的它给出的是非退化的正态分布的定义。正态分布的定义。另三种定义中把另三种定义中把阵推广到非负定的情阵推广到非负定的情形形,这三种定义是等价的。这三种定义是等价的。45北大北大数学学院数学学院例例2.2.1(2.2.1(二元正态分布二元正态分布)第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.12.2.1 (即即1 10,0,2 20,|0,|1)1)(1)(1)试写出试写出X X的联合密度函数和边密度的联合密度函数和边密度 函数；函数；(2)(2)试说明试说明的统计意义的统计意义.46北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.12.2.1解解:（1 1）因因注意改注意改p2647北大北大数学学院数学学院二元正态随机向量二元正态随机向量X的联合密度函数为的联合密度函数为第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.12.2.148北大北大数学学院数学学院另由性质另由性质2 2的推论，的推论，即得即得第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.12.2.1 (2)(2)因因Cov(Cov(X1,X2)=)=12 12=1 12 2,而而X1与与X2的相关系数的相关系数为为故二元正态分布的参数故二元正态分布的参数就是两个分量的相关系就是两个分量的相关系数数.49北大北大数学学院数学学院显然显然 当当=0时，f(x1,x2)=)=f1 1(x1)f2 2(x2)，即即X1与与X2相互独立相互独立.当当|=1时，|=0(退化退化,即即的列向量或行向量线性相关)，则存在非零向量则存在非零向量t=(t1,t2),使得使得t=0,从而从而t t=0，故而随机变量故而随机变量=t (X-)的方差为的方差为 Vart (X-)=t t=0,这表示这表示 PPt (X-(X-)=0=1.第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.12.2.150北大北大数学学院数学学院即即 t1(X1-1)+t2(X2-2)=0以概率以概率1 1成立；成立；反之，若反之，若X1与与X2以概率以概率1 1存在线性相关存在线性相关关系，则关系，则|=1.当当0 0时时,我们称我们称X1与与X2存在正相关存在正相关;当当0 0时时,我们称我们称X1与与X2存在负相关存在负相关.第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.12.2.151北大北大数学学院数学学院例例2.2.22.2.2 二元正态密度函数的图形及等高线的图形二元正态密度函数的图形及等高线的图形第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.22.2.2 为了对多维正态密度函数有更直观地了解，下面的为了对多维正态密度函数有更直观地了解，下面的例子给出几组参数下二维正态密度函数的几何图形例子给出几组参数下二维正态密度函数的几何图形.我们把具有等密度的点的轨迹称为等高线我们把具有等密度的点的轨迹称为等高线(面面).).显然当显然当 p=2=2 时时它是一族中心在它是一族中心在(1 1,2 2 )的椭园的椭园.52北大北大数学学院数学学院一般的一般的p维正态密度等高面为维正态密度等高面为第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.22.2.2取取1 1=0,=0,2 2=0=0,以下绘制三组参数下以下绘制三组参数下二元正二元正态密度函数及密度等高线图形：态密度函数及密度等高线图形：（1）当当时时（2）当当时时（3）当当时时53北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.22.2.254北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.22.2.255北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.22.2.256北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-独立性独立性以下是关于独立性的一条重要结论：以下是关于独立性的一条重要结论：设设XNp(,)(p2),2),将将X,剖分剖分为为57北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-独立性独立性定理定理2.3.12.3.1 设设p维随机向量维随机向量XN Np(,)，则则 X(1)(1)与与X(2)(2)相互独立相互独立 1212Or(p-r)(即即X(1)(1)与与X(2)(2)不相关不相关)证明证明:必要性显然成立必要性显然成立.58北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-独立性独立性(充分性充分性)：设：设12120 0，则则X的联合密度函数为的联合密度函数为所以所以X(1)(1)与与X(2)(2)相互独立相互独立.59北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-独立性独立性推论推论1 1 设设ri1(1(i=1,=1,k),),且且r1+r2+rk=p，则则X(1),X(k)相互独立相互独立ij0 0(一切一切ij)推论推论2 2 设设XN Np p(，)，若若为对角形矩为对角形矩阵，则阵，则X1,Xp 相互独立相互独立.60北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-独立性例子独立性例子例如例如:设三维随机向量设三维随机向量X=(X1,X2,X3),且且则有则有(1)(2)61北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-独立性的例子独立性的例子(3)X1与与X3,X2与与X3,也相互独立也相互独立;(4)(5)令令62北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-独立性例子独立性例子(6)Y的密度函数为的密度函数为X3的密度函数为的密度函数为故二维随机向量故二维随机向量Z的联合密度函数为的联合密度函数为63北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布 考虑二维正态的条件分布考虑二维正态的条件分布(即即p=2,2,r=1),=1),由由条件密度的定义知，当条件密度的定义知，当X2 给定时给定时,X1 的条件的条件密度为密度为 而64北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布65北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布所以所以66北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布推广到p维情况，利用-1的分块求逆公式：其中类似类似 p=2=2 的方法，可证明的方法，可证明:且且 为为r维正态分布维正态分布.67北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布 定理定理2.3.22.3.2设设X为为p维向量维向量,X(1)(1)为为r维向量维向量,且且 则则X(2)(2)给定时给定时X(1)(1)的条件分布为的条件分布为 (X(1)(1)|X(2)(2)N Nr(1 122,112112),),其中其中(0)0)68北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布证明证明 作非奇异线性变换，令作非奇异线性变换，令因为因为 D(Z)=BB=69北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布故有 这表明这表明 Z(1)(1)与与Z(2)(2)相互独立相互独立.而且而且可得出可得出70北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布 Z的联合密度为的联合密度为这里因这里因Z(2)(2)=X(2)(2),故有故有 g2(z(2)=f2(z(2).71北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布 因为因为ZBX，利用积分变换公式，利用积分变换公式，可以用可以用g(z)来得到来得到 f(x),),即即72北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布 所以所以X(2)(2)给定时给定时X(1)(1)的条件密度函数的条件密度函数 为为73北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布74北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布所以所以X(2)(2)给定时给定时X(1)(1)的条件分布为的条件分布为 (X(1)(1)|X(2)(2)N Nr(1 122,112112),),其中其中75北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布 推论推论 在定理在定理2.3.2条件下可得条件下可得:76北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布的例子条件分布的例子例例:设设4维正态随机向量维正态随机向量X=(X1,X2,X3,X4),且且(1)令令试验证试验证 Y(1)与与X(2)相互独立相互独立.(由推论由推论(1)可知可知Y(1)与与X(2)相互独立相互独立).77北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布的例子条件分布的例子(1)因因78北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布的例子条件分布的例子经验证经验证:COV(Y(1),X(2)=COV(BX,CX)=B D(X)C故故Y(1)与与X(2)相互独立相互独立.79北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布的例子条件分布的例子 (2)求求X(2)给定时给定时X(1)的条件分布的条件分布.由定理由定理2.3.2,X(2)=x(2)给定时给定时X(1)的条件分布为的条件分布为 (X(1)|X(2)Nr(1.2,11.2).80北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布的例子条件分布的例子由此可见条件方差总是小于原方差由此可见条件方差总是小于原方差:81北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件期望条件期望则称为条件期望为条件期望,记为E(X(1)(1)|X(2)(2).并称12为X(1)(1)对X(2)(2)的回归回归，而 =B称为回归系数回归系数.设设82北大北大数学学院数学学院 设X，Y为p维随机向量，Y1,Yn均为随机向量，则有第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件期望的性质条件期望的性质83北大北大数学学院数学学院证明证明 以下来证明性质(4).第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件期望的性质条件期望的性质 记记 ,设设p p+p p维随机向量维随机向量Z的联合密度的联合密度函数为函数为 f(x,y),X的密度函数为的密度函数为fX(x)，则则故故 EE(h(Y)|X)=E(m(X)84北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件期望的性质条件期望的性质85北大北大数学学院数学学院 性质性质(4)(4)给出，求给出，求E(h(Y)时，可时，可通过另一随机向量通过另一随机向量X X，当当Xx时求时求得条件期望得条件期望E(h(Y)|)|X).).然后把然后把X X看为随机向量看为随机向量,求求EE(h(Y)|)|X),其结果就等于其结果就等于直接求直接求E(h(Y).).第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件期望的性质条件期望的性质86北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件协差阵条件协差阵称称为条件协差阵。为条件协差阵。记记87北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-偏相关系数偏相关系数称称为X(2)=(=(xr+1+1,xp)给定时给定时,Xi与与Xj (i,j=1,2,.,r)的偏相关系数偏相关系数。(i,j=1,2,.,r)88北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-最佳预测最佳预测 考虑考虑 r=1,=1,记记X(1)Y,记记 g(x(2)=E)=E(X(1)|X(2)，则对任意函数则对任意函数(),可以证明可以证明(见习题见习题2-162-16):):E(E(X(1)-g(x(2)2 2E(E(X(1)-(x(2)2 2 即在均方差最小的准则下即在均方差最小的准则下,条件期望条件期望g(x(2)是对是对Y 的最佳预测函数的最佳预测函数.89北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.4 2.4 随机矩阵的正态分布随机矩阵的正态分布 把来自把来自p元总体的容量为元总体的容量为n的随机样本排成一的随机样本排成一矩阵矩阵X：其中其中 X(i)(i=1,=1,n)是来自是来自p维总体的一个样品，维总体的一个样品，则样本数据矩阵则样本数据矩阵 X 就是一个随机矩阵就是一个随机矩阵.=(X1,X 2,Xp)def90北