多元统计分析：第二章 多元正态分布及.ppt

《多元统计分析：第二章 多元正态分布及.ppt》由会员分享，可在线阅读，更多相关《多元统计分析：第二章 多元正态分布及.ppt（83页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 应用多元统计分析应用多元统计分析 第二章第二章 多元正态分布及多元正态分布及 参数的估计参数的估计1 在多元统计分析中在多元统计分析中,多元正态分布占有相当多元正态分布占有相当重要的地位重要的地位.这是因为许多实际问题涉及到的随这是因为许多实际问题涉及到的随机向量服从正态分布或近似服从正态分布机向量服从正态分布或近似服从正态分布;当样当样本量很大时本量很大时,许多统计量的极限分布往往和正态许多统计量的极限分布往往和正态分布有关分布有关;此外此外,对多元正态分布对多元正态分布,理论与实践都理论与实践都比较成熟比较成熟,已有一整套行之有效的统计推断方法已有一整套行之有效的统计推断方法.基于这些理

2、由基于这些理由,我们在介绍多元统计分析的种我们在介绍多元统计分析的种种具体方法之前，首先介绍多元正态分布的定种具体方法之前，首先介绍多元正态分布的定义、性质及多元正态分布中参数的估计问题义、性质及多元正态分布中参数的估计问题.第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计目目 录录2.1 随机向量随机向量2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质2.3 条件分布和独立性条件分布和独立性2.4 多元正态分布的参数估计多元正态分布的参数估计3 本课程所讨论的是多变量总体本课程所讨论的是多变量总体.

3、把把p个随机变量放在一起得个随机变量放在一起得 X=(=(X1 1,X2 2,Xp)为一个为一个p维随机向量维随机向量,如果同时对如果同时对p维维总体进行总体进行一次观测一次观测,得一个样品为得一个样品为 p 维数据维数据.常把常把n个样品排成一个个样品排成一个np矩矩阵阵,称为样本资料阵称为样本资料阵.第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计 2.1 2.1 随随 机机 向向 量量4第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.1 2.1 随随 机机 向向 量量 其中其中 X(i)(i=1,=1,n)是来自是来自p维总体的一个样品维总体的一个样品.=

4、(X1 1,X2 2,Xp)def5 在多元统计分析中涉及到的都是随机向量在多元统计分析中涉及到的都是随机向量,或是多个随机向量放在一起组成的随机矩阵或是多个随机向量放在一起组成的随机矩阵.本节有关随机向量的一些概念本节有关随机向量的一些概念(联合分布联合分布,边缘分布边缘分布,条件分布条件分布,独立性独立性;X的均值向量的均值向量,X的的协差阵和相关阵协差阵和相关阵,X与与Y的协差阵的协差阵)要求大家自已要求大家自已复习复习.三三 均值向量和协方差阵的性质均值向量和协方差阵的性质 (1)(1)设设X,Y为随机向量为随机向量,A,B为常数阵为常数阵,则则 E(AX)=AE(X)E(AXB)=A

5、E(X)B 第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计 2.1 2.1 随随 机机 向向 量量 6 D(AX)=AD(X)A COV(AX,BY)=ACOV(X,Y)B (2)若若X,Y相互独立相互独立,则则COV(X,Y)=O;反反之不成立之不成立.若若COV(X,Y)=O,我们称我们称X与与Y不相关不相关.故有故有:两随机向量若相互独立两随机向量若相互独立,则必不相关则必不相关;两随机向量若不相关两随机向量若不相关,则未必相互独立则未必相互独立.(3)随机向量随机向量X=(=(X1 1,X2 2,Xp)的协差阵的协差阵D(D(X)=)=是对称非负定阵是对称非负定阵.即即

6、 =,0(为任给的为任给的p维常量维常量).第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计 2.1 2.1 随随 机机 向向 量量 7第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计 2.1 2.1 随机向量随机向量协差阵的性质协差阵的性质 (4)=L2,其中其中L为非负定阵为非负定阵.由于由于0(非负定非负定),利用线性代数中实对称阵的对角化定理，利用线性代数中实对称阵的对角化定理，存在正交阵存在正交阵,使使8第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计 2.1 2.1 随机向量随机向量协差阵的性质协差阵的性质 当矩阵当矩阵0(正定正定)时，矩

7、阵时，矩阵L也称为也称为的平方根的平方根矩阵，记为矩阵，记为1/2.当矩阵当矩阵0(正定正定)时时,必有必有pp非退化非退化矩阵矩阵A使得使得 =AA 9第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计 2.1 2.1 随机向量随机向量协差阵的性质协差阵的性质 若若0(非负定非负定),必有必有pq矩阵矩阵A1使得使得 =A1A1 这里记这里记=(1|2),1为为pq列正交阵列正交阵(p q).并设：并设：10 在一元统计中，若在一元统计中，若UN(0,1),N(0,1),则则U的任意的任意线性变换线性变换X=X=U+N(N(,2 2)。利用这一性质，利用这一性质，可以从标准正态分

8、布来定义一般正态分布：可以从标准正态分布来定义一般正态分布：若若UN(0,1),N(0,1),则称则称X=U+的分布为的分布为一般正态分布一般正态分布,记为记为X N(N(,2 2)。此定义中，不必要求此定义中，不必要求0,0,当当退化为退化为0 0时仍时仍有意义。把这种新的定义方式推广到多元情况，有意义。把这种新的定义方式推广到多元情况，可得出多元正态分布的第一种定义。可得出多元正态分布的第一种定义。第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义多元正态分布的定义11 定义2.2.1 设设U=(U1,Uq)为随机向量为随机向量,U1,Uq相互

9、独立且同相互独立且同N(0N(0，1)1)分布；设分布；设为为p维常数向量，维常数向量，A为为p pq q常数矩阵，则称常数矩阵，则称X=AU+的分布为的分布为p p维正态分布，或称维正态分布，或称X为为p p 维正态随机维正态随机向量向量,记为记为X N Np(,AA)。简单地说，称简单地说，称q q个相互独立的标准正态随机个相互独立的标准正态随机变量的一些线性组合构成的随机向量的分布为变量的一些线性组合构成的随机向量的分布为多元正态分布。多元正态分布。第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的多元正态分布的第一种第一种定义定义12第二章第二

10、章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质1 1 在一元统计中在一元统计中,若若XN(N(,2 2),),则则X的特征函数为的特征函数为 (t t)=E(e)=E(ei itXtX)=exp)=expi it t-t t 2 22 2/2/213第二章 多元正态分布及参数的估计2.2 多元正态分布的性质114 性质性质1 1 设设U=(U1,Uq)为随机向量为随机向量,U1,Uq 相互独立且同相互独立且同 N(0N(0,1)1)分布；令分布；令X=+AU,则则X的特征函数为的特征函数为第二章第二章 多元正态分布及参数的估计多元正态分

11、布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质1 1这里这里t=(t1,tp),故故X(t)为为p元函数元函数.当当 XN(0,1)时时,(t)=exp-t 2/2.15 性质性质1 1的的证明证明 ：根据随机向量特征函数的定义和性质，经计算即可根据随机向量特征函数的定义和性质，经计算即可得出得出X X的特征函数为的特征函数为 X(t)=E(eE(ei it t X)=E(e)=E(ei it (AU+)第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质1 1令令tA=s=(s1,sq)16第二章第二章 多元正

12、态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质1 1(因因U1,Uq相互独立相互独立,乘积的期望等于期望的乘积乘积的期望等于期望的乘积)17 定义定义2.2.22.2.2 若若p维随机向量维随机向量X的特征函数的特征函数为为:第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的第二种定义多元正态分布的第二种定义一元正态一元正态:(p=1)则称则称X服从服从 p 维正态分布维正态分布,记为记为 X Np(,).记记=AA，则有以下定义。，则有以下定义。18 性质性质2 2 设设XN Np p(,),B为为sp

13、常数常数阵，阵，d为为s1 1常向量，令常向量，令Z=BX+d,则则 ZNs(B+d,BB ).该性质指出正态随机向量的任意该性质指出正态随机向量的任意线性组合仍为正态分布线性组合仍为正态分布.第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质2 219第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质2 2 证明证明 因因 0,可分解为可分解为=AA ,其中其中A为为pq 矩阵矩阵.已知已知XNp(,),由由定义定义2.2.12.2.1可知可知 X=AU+(d d表

14、示两边的随机向量服从相同的分布表示两边的随机向量服从相同的分布.).)其中其中U=(U1,Uq),且且U1,Uq 相互独相互独立同立同 N(0N(0，1)1)分布。分布。d20 Z=BX+d=B(AU+)+d第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质2 2d =(BA)U+(B+d)由定义由定义2.2.12.2.1可知可知 Z N Ns s(B+d,(BA)(BA)，即即 Z N Ns s(B+d,BB).).(这里这里=AA).).21 推论推论 设设X=N Np(,),将将,剖分为剖分为第二章第二章 多元正态分布及参数

15、的估计多元正态分布及参数的估计2.2 2.2 多元正态分布性质多元正态分布性质2 2的推论的推论则则 X(1)(1)N Nr(1 1),1111),),X(2)(2)N Np-r(2)(2),2222).).X(1)(1)rX(2)(2)p-r22证明：证明：由性质由性质2 2可得：可得：类似地类似地第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布多元正态分布性质性质2的推论的推论23 此推论指出，多元正态分布的边缘此推论指出，多元正态分布的边缘分布仍为正态分布。但反之，若随机分布仍为正态分布。但反之，若随机向量的任何边缘分布均为正态分布，向量的任何边

16、缘分布均为正态分布，也不一定能导出该随机向量服从多元也不一定能导出该随机向量服从多元正态分布正态分布.如例如例2.1.12.1.1,证明了证明了X1 1,X2均为一元正态分均为一元正态分布布,但由但由(X1,X2)联合密度函数的形式易见它联合密度函数的形式易见它不是二元正态不是二元正态.第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布多元正态分布性质性质2的推论的推论24第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布多元正态分布性质性质2的推论的推论例例2.1.1 (X1,X2)的联合密度函数为的联合密度函数

17、为 我们从后面将给出的正态随机向量的联合密我们从后面将给出的正态随机向量的联合密度函数的形式可知度函数的形式可知,(X1,X2)不是二元正态随机向不是二元正态随机向量量.但通过计算边缘分布可得出但通过计算边缘分布可得出:X1N(0,1),X2N(0,1)这就说明若随机向量的任何边缘分布均为正态这就说明若随机向量的任何边缘分布均为正态分布时，也不一定能导出该随机向量服从多元分布时，也不一定能导出该随机向量服从多元正态分布正态分布.25第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质简单例子简单例子例如例如:设三

18、维随机向量设三维随机向量X=(X1,X2,X3),且且则有则有(1)X1 N(2,1),26第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质简单简单例子例子由性质由性质2知知,Y为为3维正态随机向量维正态随机向量,且且(2)27第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质简单简单例子例子28第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性

19、质简单简单例子例子 (3)设设Z=2 X1-X2+3X3,试求随机变量试求随机变量Z的分布的分布.Z=2 X1-X2+3X3=(2,-1,3)X=CX故有故有:所以所以 Z N(4,29).29 性质性质3 3 若若XN Np p(,),E(X)=)=,D(X)=)=.证明证明 因因0,0,可分解为：可分解为：=AA，则由定义则由定义2.2.12.2.1可知可知 X=AU+(A为为pq实矩阵实矩阵)其中其中U=(U1,Uq),),且且U1,Uq相互独立同相互独立同N N(0(0，1)1)分布分布,故有故有 E(U)=0,)=0,D(U)=)=Iq.d第二章第二章 多元正态分布及参数的估计多元正

20、态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质3 330第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质3 3利用均值向量和协差阵的有关性质可得：利用均值向量和协差阵的有关性质可得：此性质给出多元正态分布中参数此性质给出多元正态分布中参数和和的的明确统计意义明确统计意义.是随机向量是随机向量X的均值向量，的均值向量，是随机向量是随机向量X的协差阵。的协差阵。如简单例子中如简单例子中,由性质由性质2知知Z服从正态分布服从正态分布,利用性质利用性质3,31 性质性质4 4 设设X=(=(X1,Xp)为为p维随

21、机向维随机向量，则量，则X服从服从p维正态分布维正态分布 对任一对任一p维维实向量实向量a,=aX是一维正态随机变量是一维正态随机变量.必要性的证明由性质必要性的证明由性质2 2即得（只须取即得（只须取B=a,d=0=0即可）即可）.充分性的证明充分性的证明：首先说明随机向量首先说明随机向量X的均值和协方差阵存在的均值和协方差阵存在:因对任给因对任给p维实向量维实向量 tR p,=tX一元正一元正态分布，可知态分布，可知的各阶矩存在的各阶矩存在，第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质4 432第二章第二章 多元正态分布

22、及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质4 4如取如取t t=ei =(0,=(0,1,1,0),0),Xi=eiX,且且 E(E(Xi)(i=1,2,p)存在存在.E(Xi2)(i=1,2,p)也存在也存在.再比如取再比如取 t t=(0,=(0,1,0,1,0,1,.,0)1,.,0),=t X=Xi+Xj,且且 E(E()=E(Xi+Xj)(i,j=1,2,p)存在存在.E(2)=E(Xi+Xj)2=E(Xi2)+2E(XiXj)+E(Xj2)也存在也存在,即即E(XiXj)(i,j=1,2,p)存在存在.故故E(E(Xi),Cov(),C

23、ov(Xi,Xj)=E(XiXj)-E(Xj)E(Xi)(i,j=1,=1,p)存在存在.33第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质4 4记记 E(X)=)=,D(X)=)=.计算计算的特征函数的特征函数:对任意给定的对任意给定的tRp,因因随机变量随机变量=t X服从服从N(t,t t).，故知，故知的特征函数为的特征函数为 ()=E(ei)=expi(t)-2(t t)/2 计算随机向量计算随机向量X的特征函数的特征函数:在在的特征函数中，的特征函数中，取取=1，即得，即得34第二章第二章 多元正态分布及参数的估计

24、多元正态分布及参数的估计2.2 2.2 多元正态分布的第三种定义多元正态分布的第三种定义 (1)=E(ei)=E(e it X)=X(t)=expit -t t/2由定义由定义2.2.2可知，可知，XNp(,).定义定义2.2.32.2.3 若若p维随机向量维随机向量X的任意线的任意线性组合均服从一元正态分布，则称性组合均服从一元正态分布，则称X为为p维正态随机向量维正态随机向量.35第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 一元正态分布的密度函数一元正态分布的密度函数 在概率论中大家都知道一元正态随机在概率论中大家都知道一元正态随机变量的密度函数是变量的密

25、度函数是这个式子可改写为这个式子可改写为:36 作为一元正态随机变量的推广，以下性质来作为一元正态随机变量的推广，以下性质来导出多元正态随机向量的联合密度函数导出多元正态随机向量的联合密度函数.第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质5 5 性质性质5 5 设设XN Np(,),且且0(0(正定正定),),则则X的联合密度函数为的联合密度函数为 37第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质5 5 证明证明 因因0,rk()=0,rk()=p,由线性

26、由线性代数的知识知存在代数的知识知存在非奇异方阵非奇异方阵A,使得使得 =AA，且且 X=AU+其中其中U=(U1,Up),),且且U1,Up相互独相互独立同立同N(0N(0，1)1)分布。分布。d U的联合密度函数的联合密度函数(p元函数）元函数）为为38第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质5 5 利用利用U的联合密度函数及随机向量的的联合密度函数及随机向量的变换求变换求X=AU+的密度函数。的密度函数。对任给对任给BorelBorel可测集可测集B B，求求p元函数元函数fX(x)使得使得其中其中 D=u|u=A

27、-1(x-),x B39第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质5 5根据附录根据附录8(P397)公式公式(8.4),即有即有以下来求以下来求JacobiJacobi行列式行列式J(ux).40第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质5 5 积分变换的积分变换的JacobiJacobi行列式行列式J(ux)可利用可利用线性变换线性变换x=Au+及及J(xu)来计算：来计算：因因向量微商的公式见附录向量微商的公式见附录8(8.1)41第二章第二章

28、多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质5 5 关于积分变换的关于积分变换的JacobiJacobi行列式行列式J(ux)的有关内容请参阅附录部分。的有关内容请参阅附录部分。故故42第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质5 5 写出写出X=AU+的密度函数：的密度函数：(这里这里=AA,)43其中其中是是p维实向量维实向量,是是p阶正定阵阶正定阵,则称则称X=(=(X1,X2Xp )服从服从(非退化的非退化的)p元正态分布元正态分布.也称也称X为为p维正态随机

29、向量维正态随机向量,简记为简记为 XN Np(,).第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的第四种定义多元正态分布的第四种定义 定义定义2.2.42.2.4 p 维随机向量维随机向量X=(=(X1,X2Xp)的联合密度函数为的联合密度函数为44 第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的多种定义及关系多元正态分布的多种定义及关系 以上给出了多元正态分布的以上给出了多元正态分布的4 4种定义。种定义。定义定义2.2.42.2.4用密度函数给出定义，它可看用密度函数给出定义，它可看成一元正态密度的

30、直接推广；但在这个定成一元正态密度的直接推广；但在这个定义里要求义里要求是正定阵是正定阵,它给出的是非退化的它给出的是非退化的正态分布的定义。正态分布的定义。另三种定义中把另三种定义中把阵推广到非负定的情阵推广到非负定的情形形,这三种定义是等价的。这三种定义是等价的。45例例2.2.1(2.2.1(二元正态分布二元正态分布)第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.12.2.1 (即即1 10,0,2 20,|0,|1)1)(1)(1)试写出试写出X X的联合密度函数和边密度的联合密度函数

31、和边密度 函数；函数；(2)(2)试说明试说明的统计意义的统计意义.46第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.12.2.1解解:（1 1）因因注意改注意改p2647二元正态随机向量二元正态随机向量X的联合密度函数为的联合密度函数为第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.12.2.148另由性质另由性质2 2的推论，的推论，即得即得第二章第二章 多元正态分布及参数的估计多元正态分布

32、及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.12.2.1 (2)(2)因因Cov(Cov(X1,X2)=)=12 12=1 12 2,而而X1与与X2的相关系数的相关系数为为故二元正态分布的参数故二元正态分布的参数就是两个分量的相关系就是两个分量的相关系数数.49显然显然 当当=0时，f(x1,x2)=)=f1 1(x1)f2 2(x2)，即即X1与与X2相互独立相互独立.当当|=1时，|=0(退化退化,即即的列向量或行向量线性相关)，则存在非零向量则存在非零向量t=(t1,t2),使得使得t=0,从而从而t t=0，故而随机变量故而随机变

33、量=t (X-)的方差为的方差为 Vart (X-)=t t=0,这表示这表示 PPt (X-(X-)=0=1.第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.12.2.150即即 t1(X1-1)+t2(X2-2)=0以概率以概率1 1成立成立；反之，若反之，若X1与与X2以概率以概率1 1存在线性相关存在线性相关关系，则关系，则|=1.当当0 0时时,我们称我们称X1与与X2存在正相关存在正相关;当当0 0时时,我们称我们称X1与与X2存在负相关存在负相关.第二章第二章 多元正态分布及参数的

34、估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.12.2.151例例2.2.22.2.2 二元正态密度函数的图形及等高线的图形二元正态密度函数的图形及等高线的图形第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.22.2.2 为了对多维正态密度函数有更直观地了解，下面的为了对多维正态密度函数有更直观地了解，下面的例子给出几组参数下二维正态密度函数的几何图形例子给出几组参数下二维正态密度函数的几何图形.我们把具有等密度的点的轨迹称为等

35、高线我们把具有等密度的点的轨迹称为等高线(面面).).显然当显然当 p=2=2 时时它是一族中心在它是一族中心在(1 1,2 2 )的椭园的椭园.52一般的一般的p维正态密度等高面为维正态密度等高面为第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.22.2.2取取1 1=0,=0,2 2=0=0,以下绘制三组参数下以下绘制三组参数下二元正二元正态密度函数及密度等高线图形：态密度函数及密度等高线图形：（1）当当 时时（2）当当 时时（3）当当 时时53第二章第二章 多元正态分布及参数的估计多元正态

36、分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.22.2.254第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.22.2.255第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.22.2.256第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-独立性独立性以下是关于独立性的一条重要结论

37、：以下是关于独立性的一条重要结论：设设XNp(,)(p2),2),将将X,剖分剖分为为57第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-独立性独立性定理定理2.3.12.3.1 设设p维随机向量维随机向量XN Np(,)，则则 X(1)(1)与与X(2)(2)相互独立相互独立 1212Or(p-r)(即即X(1)(1)与与X(2)(2)不相关不相关)证明证明:必要性显然成立必要性显然成立.58第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-独立性独立性(充分性充分性

38、)：设：设12120 0，则则X的联合密度函数为的联合密度函数为所以所以X(1)(1)与与X(2)(2)相互独立相互独立.59第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-独立性独立性推论推论1 1 设设ri1(1(i=1,=1,k),),且且r1+r2+rk=p，则则X(1),X(k)相互独立相互独立ij0 0(一切一切ij)推论推论2 2 设设XN Np p(，)，若若为对角形矩为对角形矩阵，则阵，则X1,Xp 相互独立相互独立.60第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立

39、性条件分布和独立性-独立性例子独立性例子例如例如:设三维随机向量设三维随机向量X=(X1,X2,X3),且且则有则有(1)(2)61第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-独立性的例子独立性的例子(3)X1与与X3,X2与与X3,也相互独立也相互独立;(4)(5)令令62第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-独立性例子独立性例子(6)Y的密度函数为的密度函数为X3的密度函数为的密度函数为故二维随机向量故二维随机向量Z的联合密度函数为的联合密度函数为6

40、3第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2.4 4 多元正态分布的参数估计多元正态分布的参数估计 考虑考虑p维正态总体维正态总体XN Np(,),设设X(i)=(=(Xi1 1,Xip)()(i1,1,n)为为p维维总体总体X的简单随机样本，资料阵的简单随机样本，资料阵是一个随机矩阵是一个随机矩阵.64第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2.4-4-多元正态样本的数字特征多元正态样本的数字特征(1)(1)样本均值向量样本均值向量X 65第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2.4-4-多元正态样本的数字特征多

41、元正态样本的数字特征 中心化数据阵中心化数据阵:66第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2.4-4-多元正态样本的数字特征多元正态样本的数字特征 (2)(2)样本离差阵样本离差阵A(交叉乘积阵交叉乘积阵)其中其中67第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2.4-4-多元正态样本的数字特征多元正态样本的数字特征或者把或者把A表为表为:68第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2.4-4-多元正态样本的数字特征多元正态样本的数字特征或者把或者把A表为表为:69第二章第二章 多元正态分布及参数的估计多元正态分布及参

42、数的估计2.2.4-4-多元正态样本的数字特征多元正态样本的数字特征(3)(3)样本协方差样本协方差S:(4)(4)样本相关阵样本相关阵R:70第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2.4-4-多元正态样本数字特征的例子多元正态样本数字特征的例子 例例:设从某书店随机抽取设从某书店随机抽取4张收据了解图书的销售情张收据了解图书的销售情况况.每张收据记录售书数量每张收据记录售书数量X2及总金额及总金额X1,具体数值如具体数值如下下:试计算样本均值试计算样本均值,样本离差阵样本离差阵,样本协差阵和相关阵样本协差阵和相关阵.解解:71第二章第二章 多元正态分布及参数的估计

43、多元正态分布及参数的估计2.2.4-4-多元正态样本数字特征的例子多元正态样本数字特征的例子样本离差阵样本离差阵A的计算公式为的计算公式为:中心化数据阵中心化数据阵72第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2.4-4-多元正态样本数字特征的例子多元正态样本数字特征的例子73第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2.4-4-多元正态样本数字特征的例子多元正态样本数字特征的例子74第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2.4-4-，的最大似然估计的最大似然估计 设设X(i)(i1,1,n)为为p p维正态总体维正态

44、总体N(N(,)的随机样本，的随机样本，以下用最大似然法来求参数以下用最大似然法来求参数,的最的最大似然估计大似然估计.75 定理定理2.5.12.5.1 设设X(i)(i1,1,n)是是多元正态总体多元正态总体N Np(,)的随机样本，的随机样本，np，则则,的最大似然估计为的最大似然估计为第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2.4-4-，的最大似然估计的最大似然估计76第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2.4-4-最大似估计量的性质最大似估计量的性质 参数的最大似然估计有很多优参数的最大似然估计有很多优良性标准良性标准,如无偏性

45、，有效性如无偏性，有效性,相相合性等合性等.和和 的最大似然估计是的最大似然估计是否具有这些好的性质呢否具有这些好的性质呢?这是我们这是我们现在要讨论的问题现在要讨论的问题.77第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2.4-4-最大似估计量的性质最大似估计量的性质 定理定理2.5.22.5.2 设设X和和A分别为分别为p元正态总体元正态总体Np(,)的样本均值向量和样本离差阵的样本均值向量和样本离差阵,则则(S=A/(n-1）或）或S*=A/n)78第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2.4-4-最大似估计量的性质最大似估计量的性质 性

46、质性质1 1：无偏性无偏性因为因为故故X（样本均值）是样本均值）是的无偏估计的无偏估计.因因79故故的最大似然估计量的最大似然估计量 不是无偏估不是无偏估计计.而而样本协差阵样本协差阵S是是的无偏估计的无偏估计:第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2.4-4-最大似估计量的性质最大似估计量的性质性质性质2 2：有效性：有效性 可以证明可以证明X,S是是,的的“最小方差最小方差”无偏估计量无偏估计量,即即X,S是是,的有效估计量的有效估计量(见参考文献见参考文献2).2).80第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2.4-4-最大似估计量

47、的性质最大似估计量的性质 性质性质3 3：相合性：相合性(一致性一致性)利用强大数律利用强大数律还可以证明：还可以证明：nn81第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2.4-4-最大似估计量的性质最大似估计量的性质 性质性质4 4：其它：其它 还可以证明最大似估计量最大似估计量是,的充分充分统计量统计量;X X是的极小极大估计极小极大估计(最大风险达最小);且估计量具有渐近正态性渐近正态性.82第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2.4-4-参数函数的最大似然估计参数函数的最大似然估计 为了从参数为了从参数,的最大似然估计来导出参数函的最大似然估计来导出参数函数数 g(,)的最大似然估计的最大似然估计,下面我们来介绍一条下面我们来介绍一条有用的结论有用的结论.定理定理2.5.22.5.2 设参数向量设参数向量的函数为的函数为 g()=,是是的最大似然估计的最大似然估计.则有则有是是=g()的最大似然估计的最大似然估计.83