应用多元统计分析2.pptx

《应用多元统计分析2.pptx》由会员分享，可在线阅读，更多相关《应用多元统计分析2.pptx（146页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、会计学1应用多元统计分析应用多元统计分析22 在多元统计分析中,多元正态分布占有相当重要的地位.这是因为许多实际问题涉及到的随机向量服从正态分布或近似服从正态分布;当样本量很大时,许多统计量的极限分布往往和正态分布有关;此外,对多元正态分布,理论与实践都比较成熟,已有一整套行之有效的统计推断方法.基于这些理由,我们在介绍多元统计分析的种种具体方法之前，首先介绍多元正态分布的定义、性质及多元正态分布中参数的估计问题.第二章 多元正态分布及参数的估计第1页/共146页3第二章 多元正态分布及参数的估计目 录2.1 随机向量2.2 多元正态分布的定义与 基本性质2.3 条件分布和独立性2.4 随机矩

2、阵的正态分布2.5 多元正态分布的参数估计第2页/共146页4 本课程所讨论的是多变量总体.把p个随机变量放在一起得 X=(X1,X2,Xp)为一个p维随机向量,如果同时对p维总体进行一次观测,得一个样品为 p 维数据.常把n个样品排成一个np矩阵,称为样本资料阵.第二章 多元正态分布及参数的估计 2.1 随 机 向 量第3页/共146页5第二章 多元正态分布及参数的估计2.1 随 机 向 量 其中 X(i)(i=1,n)是来自p维总体的一个样品.=(X1,X2,Xp)def第4页/共146页6 在多元统计分析中涉及到的都是随机向量,或是多个随机向量放在一起组成的随机矩阵.本节有关随机向量的一

3、些概念(联合分布,边缘分布,条件分布,独立性;X的均值向量,X的协差阵和相关阵,X与Y的协差阵)要求大家自已复习.三 均值向量和协方差阵的性质 (1)设X,Y为随机向量,A,B为常数阵,则 E(AX)=AE(X)E(AXB)=AE(X)B 第二章 多元正态分布及参数的估计 2.1 随 机 向 量 第5页/共146页7 D(AX)=AD(X)A COV(AX,BY)=ACOV(X,Y)B (2)若X,Y相互独立,则COV(X,Y)=O;反之不成立.若COV(X,Y)=O,我们称X与Y不相关.故有:两随机向量若相互独立,则必不相关;两随机向量若不相关,则未必相互独立.(3)随机向量X=(X1,X2

4、,Xp)的协差阵D(X)=是对称非负定阵.即=,0(为任给的p维常量).第二章 多元正态分布及参数的估计 2.1 随 机 向 量 第6页/共146页8第二章 多元正态分布及参数的估计 2.1 随机向量协差阵的性质 (4)=L2,其中L为非负定阵.由于0(非负定),利用线性代数中实对称阵的对角化定理，存在正交阵,使第7页/共146页9第二章 多元正态分布及参数的估计 2.1 随机向量协差阵的性质 当矩阵0(正定)时，矩阵L也称为的平方根矩阵，记为1/2.当矩阵0(正定)时,必有pp非退化矩阵A使得 =AA 第8页/共146页10第二章 多元正态分布及参数的估计 2.1 随机向量协差阵的性质 若0

5、(非负定),必有pq矩阵A1使得 =A1A1 这里记=(1|2),1为pq列正交阵(p q).并设：第9页/共146页11 在一元统计中，若UN(0,1),则U的任意线性变换X=U+N(,2)。利用这一性质，可以从标准正态分布来定义一般正态分布：若UN(0,1),则称X=U+的分布为一般正态分布,记为X N(,2)。此定义中，不必要求0,当退化为0时仍有意义。把这种新的定义方式推广到多元情况，可得出多元正态分布的第一种定义。第二章 多元正态分布及参数的估计2.2 多元正态分布的定义第10页/共146页12 定义2.2.1 设U=(U1,Uq)为随机向量,U1,Uq相互独立且同N(0，1)分布；

6、设为p维常数向量，A为pq常数矩阵，则称X=AU+的分布为p维正态分布，或称X为p 维正态随机向量,记为X Np(,AA)。简单地说，称q个相互独立的标准正态随机变量的一些线性组合构成的随机向量的分布为多元正态分布。第二章 多元正态分布及参数的估计2.2 多元正态分布的第一种定义第11页/共146页13第二章 多元正态分布及参数的估计2.2 多元正态分布的性质1 在一元统计中,若XN(,2),则X的特征函数为 (t)=E(eitX)=expit-t 22/2第12页/共146页14第二章第二章 多元正态分布多元正态分布及参数的估计及参数的估计2.2 2.2 2.2 2.2 多元正态分布的性质多

7、元正态分布的性质多元正态分布的性质多元正态分布的性质1 1 1 1第13页/共146页15 性质1 设U=(U1,Uq)为随机向量,U1,Uq 相互独立且同 N(0,1)分布；令X=+AU,则X的特征函数为第二章 多元正态分布及参数的估计2.2 多元正态分布的性质1这里t=(t1,tp),故X(t)为p元函数.当 XN(0,1)时,(t)=exp-t 2/2.第14页/共146页16 性质1的证明 ：根据随机向量特征函数的定义和性质，经计算即可得出X的特征函数为 X(t)=E(eitX)=E(eit(AU+)第二章 多元正态分布及参数的估计2.2 多元正态分布的性质1令tA=s=(s1,sq)

8、第15页/共146页17第二章 多元正态分布及参数的估计2.2 多元正态分布的性质1(因U1,Uq相互独立,乘积的期望等于期望的乘积)第16页/共146页18 定义2.2.2 若p维随机向量X的特征函数为:第二章 多元正态分布及参数的估计2.2 多元正态分布的第二种定义一元正态:(p=1)则称X服从 p 维正态分布,记为 X Np(,).记=AA，则有以下定义。第17页/共146页19 性质2 设XNp(,),B为sp常数阵，d为s1常向量，令Z=BX+d,则 ZNs(B+d,BB).该性质指出正态随机向量的任意线性组合仍为正态分布.第二章 多元正态分布及参数的估计2.2 多元正态分布的性质2

9、第18页/共146页20第二章 多元正态分布及参数的估计2.2 多元正态分布的性质2 证明 因 0,可分解为=AA,其中A为pq 矩阵.已知XNp(,),由定义2.2.1可知 X=AU+(d表示两边的随机向量服从相同的分布.)其中U=(U1,Uq),且U1,Uq 相互独立同 N(0，1)分布。d第19页/共146页21 Z=BX+d=B(AU+)+d第二章 多元正态分布及参数的估计2.2 多元正态分布的性质2d =(BA)U+(B+d)由定义2.2.1可知 Z Ns(B+d,(BA)(BA)，即 Z Ns(B+d,BB).(这里=AA).第20页/共146页22 推论 设X=Np(,),将,剖

10、分为第二章 多元正态分布及参数的估计2.2 多元正态分布性质2的推论则 X(1)Nr(1),11),X(2)Np-r(2),22).X(1)rX(2)p-r第21页/共146页23证明：由性质2可得：类似地第二章 多元正态分布及参数的估计2.2 多元正态分布性质2的推论第22页/共146页24 此推论指出，多元正态分布的边缘分布仍为正态分布。但反之，若随机向量的任何边缘分布均为正态分布，也不一定能导出该随机向量服从多元正态分布.如例2.1.1,证明了X1,X2均为一元正态分布,但由(X1,X2)联合密度函数的形式易见它不是二元正态.第二章 多元正态分布及参数的估计2.2 多元正态分布性质2的推

11、论第23页/共146页25第二章 多元正态分布及参数的估计2.2 多元正态分布性质2的推论例2.1.1 (X1,X2)的联合密度函数为 我们从后面将给出的正态随机向量的联合密度函数的形式可知,(X1,X2)不是二元正态随机向量.但通过计算边缘分布可得出:X1N(0,1),X2N(0,1)这就说明若随机向量的任何边缘分布均为正态分布时，也不一定能导出该随机向量服从多元正态分布.第24页/共146页26第二章 多元正态分布及参数的估计2.2 多元正态分布的定义与基本性质简单例子例如:设三维随机向量X=(X1,X2,X3),且则有(1)X1 N(2,1),第25页/共146页27第二章 多元正态分布

12、及参数的估计2.2 多元正态分布的定义与基本性质简单例子由性质2知,Y为3维正态随机向量,且(2)第26页/共146页28第二章 多元正态分布及参数的估计2.2 多元正态分布的定义与基本性质简单例子第27页/共146页29第二章 多元正态分布及参数的估计2.2 多元正态分布的定义与基本性质简单例子 (3)设Z=2 X1-X2+3X3,试求随机变量Z的分布.Z=2 X1-X2+3X3=(2,-1,3)X=CX故有:所以 Z N(4,29).第28页/共146页30 性质3 若XNp(,),E(X)=,D(X)=.证明 因0,可分解为：=AA，则由定义2.2.1可知 X=AU+(A为pq实矩阵)其

13、中U=(U1,Uq),且U1,Uq相互独立同N(0，1)分布,故有 E(U)=0,D(U)=Iq.d第二章 多元正态分布及参数的估计2.2 多元正态分布的性质3第29页/共146页31第二章 多元正态分布及参数的估计2.2 多元正态分布的性质3利用均值向量和协差阵的有关性质可得：此性质给出多元正态分布中参数和的明确统计意义.是随机向量X的均值向量，是随机向量X的协差阵。如简单例子中,由性质2知Z服从正态分布,利用性质3,第30页/共146页32 性质4 设X=(X1,Xp)为p维随机向量，则X服从p维正态分布 对任一p维实向量a,=aX是一维正态随机变量.必要性的证明由性质2即得（只须取B=a

14、,d=0即可）.充分性的证明：首先说明随机向量X的均值和协方差阵存在:因对任给p维实向量 tR p,=tX一元正态分布，可知的各阶矩存在，第二章 多元正态分布及参数的估计2.2 多元正态分布的性质4第31页/共146页33第二章 多元正态分布及参数的估计2.2 多元正态分布的性质4如取t=ei=(0,1,0),Xi=eiX,且 E(Xi)(i=1,2,p)存在.E(Xi2)(i=1,2,p)也存在.再比如取 t=(0,1,0,1,.,0),=t X=Xi+Xj,且 E()=E(Xi+Xj)(i,j=1,2,p)存在.E(2)=E(Xi+Xj)2=E(Xi2)+2E(XiXj)+E(Xj2)也存

15、在,即E(XiXj)(i,j=1,2,p)存在.故E(Xi),Cov(Xi,Xj)=E(XiXj)-E(Xj)E(Xi)(i,j=1,p)存在.第32页/共146页34第二章 多元正态分布及参数的估计2.2 多元正态分布的性质4记 E(X)=,D(X)=.计算的特征函数:对任意给定的tRp,因随机变量=t X服从N(t,t t).，故知的特征函数为 ()=E(ei)=expi(t)-2(t t)/2 计算随机向量X的特征函数:在的特征函数中，取=1，即得第33页/共146页35第二章 多元正态分布及参数的估计2.2 多元正态分布的第三种定义 (1)=E(ei)=E(e it X)=X(t)=e

16、xpit-t t/2由定义2.2.2可知，XNp(,).定义2.2.3 若p维随机向量X的任意线性组合均服从一元正态分布，则称X为p维正态随机向量.第34页/共146页36第二章 多元正态分布及参数的估计2.2 一元正态分布的密度函数 在概率论中大家都知道一元正态随机变量的密度函数是这个式子可改写为:第35页/共146页37 作为一元正态随机变量的推广，以下性质来导出多元正态随机向量的联合密度函数.第二章 多元正态分布及参数的估计2.2 多元正态分布的性质5 性质5 设XNp(,),且0(正定),则X的联合密度函数为 第36页/共146页38第二章 多元正态分布及参数的估计2.2 多元正态分布

17、的性质5 证明 因0,rk()=p,由线性代数的知识知存在非奇异方阵A,使得 =AA，且 X=AU+其中U=(U1,Up),且U1,Up相互独立同N(0，1)分布。d U的联合密度函数(p元函数）为第37页/共146页39第二章 多元正态分布及参数的估计2.2 多元正态分布的性质5 利用U的联合密度函数及随机向量的变换求X=AU+的密度函数。对任给Borel可测集B，求p元函数fX(x)使得其中 D=u|u=A-1(x-),xB第38页/共146页40第二章 多元正态分布及参数的估计2.2 多元正态分布的性质5根据附录8(P397)公式(8.4),即有以下来求Jacobi行列式J(ux).第3

18、9页/共146页41第二章 多元正态分布及参数的估计2.2 多元正态分布的性质5 积分变换的Jacobi行列式J(ux)可利用线性变换x=Au+及J(xu)来计算：因向量微商的公式见附录8(8.1)第40页/共146页42第二章 多元正态分布及参数的估计2.2 多元正态分布的性质5 关于积分变换的Jacobi行列式J(ux)的有关内容请参阅附录部分。故第41页/共146页43第二章 多元正态分布及参数的估计2.2 多元正态分布的性质5 写出X=AU+的密度函数：(这里=AA,)第42页/共146页44其中是p维实向量,是p阶正定阵,则称X=(X1,X2Xp)服从(非退化的)p元正态分布.也称X

19、为p维正态随机向量,简记为 XNp(,).第二章 多元正态分布及参数的估计2.2 多元正态分布的第四种定义 定义2.2.4 p 维随机向量X=(X1,X2Xp)的联合密度函数为第43页/共146页45 第二章 多元正态分布及参数的估计2.2 多元正态分布的多种定义及关系 以上给出了多元正态分布的4种定义。定义2.2.4用密度函数给出定义，它可看成一元正态密度的直接推广；但在这个定义里要求是正定阵,它给出的是非退化的正态分布的定义。另三种定义中把阵推广到非负定的情形,这三种定义是等价的。第44页/共146页46例2.2.1(二元正态分布)第二章 多元正态分布及参数的估计2.2 多元正态分布的定义

20、与基本性质-例2.2.1 (即10,20,|1)(1)试写出X的联合密度函数和边密度 函数；(2)试说明的统计意义.第45页/共146页47第二章 多元正态分布及参数的估计2.2 多元正态分布的定义与基本性质-例2.2.1解:（1）因注意改p26第46页/共146页48二元正态随机向量X的联合密度函数为第二章 多元正态分布及参数的估计2.2 多元正态分布的定义与基本性质-例2.2.1第47页/共146页49另由性质2的推论，即得第二章 多元正态分布及参数的估计2.2 多元正态分布的定义与基本性质-例2.2.1(2)因Cov(X1,X2)=12=12,而X1与X2的相关系数为故二元正态分布的参数

21、就是两个分量的相关系数.第48页/共146页50显然 当=0时，f(x1,x2)=f1(x1)f2(x2)，即X1与X2相互独立.当|=1时，|=0(退化,即的列向量或行向量线性相关)，则存在非零向量t=(t1,t2),使得t=0,从而t t=0，故而随机变量=t(X-)的方差为 Vart(X-)=t t=0,这表示 Pt(X-)=0=1.第二章 多元正态分布及参数的估计2.2 多元正态分布的定义与基本性质-例2.2.1第49页/共146页51即 t1(X1-1)+t2(X2-2)=0以概率1成立；反之，若X1与X2以概率1存在线性相关关系，则|=1.当0时,我们称X1与X2存在正相关;当0时

22、,我们称X1与X2存在负相关.第二章 多元正态分布及参数的估计2.2 多元正态分布的定义与基本性质-例2.2.1第50页/共146页52例2.2.2 二元正态密度函数的图形及等高线的图形第二章 多元正态分布及参数的估计2.2 多元正态分布的定义与基本性质-例2.2.2 为了对多维正态密度函数有更直观地了解，下面的例子给出几组参数下二维正态密度函数的几何图形.我们把具有等密度的点的轨迹称为等高线(面).显然当 p=2 时它是一族中心在(1,2)的椭园.第51页/共146页53一般的p维正态密度等高面为第二章 多元正态分布及参数的估计2.2 多元正态分布的定义与基本性质-例2.2.2取1=0,2=

23、0,以下绘制三组参数下二元正态密度函数及密度等高线图形：（1）当 时（2）当 时（3）当 时第52页/共146页54第二章 多元正态分布及参数的估计2.2 多元正态分布的定义与基本性质-例2.2.2第53页/共146页55第二章 多元正态分布及参数的估计2.2 多元正态分布的定义与基本性质-例2.2.2第54页/共146页56第二章 多元正态分布及参数的估计2.2 多元正态分布的定义与基本性质-例2.2.2第55页/共146页57第二章 多元正态分布及参数的估计2.3 条件分布和独立性-独立性以下是关于独立性的一条重要结论：设XNp(,)(p2),将X,剖分为第56页/共146页58第二章 多

24、元正态分布及参数的估计2.3 条件分布和独立性-独立性定理2.3.1 设p维随机向量XNp(,)，则 X(1)与X(2)相互独立 12Or(p-r)(即X(1)与X(2)不相关)证明:必要性显然成立.第57页/共146页59第二章 多元正态分布及参数的估计2.3 条件分布和独立性-独立性(充分性)：设120，则X的联合密度函数为所以X(1)与X(2)相互独立.第58页/共146页60第二章 多元正态分布及参数的估计2.3 条件分布和独立性-独立性推论1 设ri1(i=1,k),且r1+r2+rk=p，则X(1),X(k)相互独立ij0(一切ij)推论2 设XNp(，)，若为对角形矩阵，则X1,

25、Xp 相互独立.第59页/共146页61第二章 多元正态分布及参数的估计2.3 条件分布和独立性-独立性例子例如:设三维随机向量X=(X1,X2,X3),且则有(1)(2)第60页/共146页62第二章 多元正态分布及参数的估计2.3 条件分布和独立性-独立性的例子(3)X1与X3,X2与X3,也相互独立;(4)(5)令第61页/共146页63第二章 多元正态分布及参数的估计2.3 条件分布和独立性-独立性例子(6)Y的密度函数为X3的密度函数为故二维随机向量Z的联合密度函数为第62页/共146页64第二章 多元正态分布及参数的估计2.3 条件分布和独立性-条件分布 考虑二维正态的条件分布(即

26、p=2,r=1),由条件密度的定义知，当X2 给定时,X1 的条件密度为 而第63页/共146页65第二章第二章 多元正态分布多元正态分布及参数的估计及参数的估计2.3 2.3 2.3 2.3 条件分布和独立性条件分布和独立性条件分布和独立性条件分布和独立性-条件分布条件分布条件分布条件分布第64页/共146页66第二章第二章 多元正态分布多元正态分布及参数的估计及参数的估计2.3 2.3 2.3 2.3 条件分布和独立性条件分布和独立性条件分布和独立性条件分布和独立性-条件分布条件分布条件分布条件分布所以第65页/共146页67第二章 多元正态分布及参数的估计2.3 条件分布和独立性-条件分

27、布推广到p维情况，利用-1的分块求逆公式：其中类似 p=2 的方法，可证明:且 为r维正态分布.第66页/共146页68第二章 多元正态分布及参数的估计2.3 条件分布和独立性-条件分布 定理2.3.2 设X为p维向量,X(1)为r维向量,且 则X(2)给定时X(1)的条件分布为 (X(1)|X(2)Nr(1 2,112),其中 (0)第67页/共146页69第二章 多元正态分布及参数的估计2.3 条件分布和独立性-条件分布证明 作非奇异线性变换，令因为 D(Z)=BB=第68页/共146页70第二章 多元正态分布及参数的估计2.3 条件分布和独立性-条件分布故有 这表明 Z(1)与Z(2)相

28、互独立.而且可得出第69页/共146页71第二章 多元正态分布及参数的估计2.3 条件分布和独立性-条件分布 Z的联合密度为这里因Z(2)=X(2),故有 g2(z(2)=f2(z(2).第70页/共146页72第二章 多元正态分布及参数的估计2.3 条件分布和独立性-条件分布 因为ZBX，利用积分变换公式，可以用g(z)来得到 f(x),即第71页/共146页73第二章 多元正态分布及参数的估计2.3 条件分布和独立性-条件分布 所以X(2)给定时X(1)的条件密度函数 为第72页/共146页74第二章 多元正态分布及参数的估计2.3 条件分布和独立性-条件分布第73页/共146页75第二章

29、 多元正态分布及参数的估计2.3 条件分布和独立性-条件分布所以X(2)给定时X(1)的条件分布为 (X(1)|X(2)Nr(1 2,112),其中第74页/共146页76第二章 多元正态分布及参数的估计2.3 条件分布和独立性-条件分布 推论 在定理2.3.2条件下可得:第75页/共146页77第二章 多元正态分布及参数的估计2.3 条件分布和独立性-条件分布的例子例:设4维正态随机向量X=(X1,X2,X3,X4),且(1)令试验证 Y(1)与X(2)相互独立.(由推论(1)可知Y(1)与X(2)相互独立).第76页/共146页78第二章 多元正态分布及参数的估计2.3 条件分布和独立性-

30、条件分布的例子(1)因第77页/共146页79第二章 多元正态分布及参数的估计2.3 条件分布和独立性-条件分布的例子经验证:COV(Y(1),X(2)=COV(BX,CX)=B D(X)C故Y(1)与X(2)相互独立.第78页/共146页80第二章 多元正态分布及参数的估计2.3 条件分布和独立性-条件分布的例子 (2)求X(2)给定时X(1)的条件分布.由定理2.3.2,X(2)=x(2)给定时X(1)的条件分布为 (X(1)|X(2)Nr(1.2,11.2).第79页/共146页81第二章 多元正态分布及参数的估计2.3 条件分布和独立性-条件分布的例子由此可见条件方差总是小于原方差:第

31、80页/共146页82第二章 多元正态分布及参数的估计2.3 条件分布和独立性-条件期望则称为条件期望,记为E(X(1)|X(2).并称12为X(1)对X(2)的回归，而 =B称为回归系数.设第81页/共146页83 设X，Y为p维随机向量，Y1,Yn均为随机向量，则有第二章 多元正态分布及参数的估计2.3 条件分布和独立性-条件期望的性质第82页/共146页84证明 以下来证明性质(4).第二章 多元正态分布及参数的估计2.3 条件分布和独立性-条件期望的性质 记 ,设p+p维随机向量Z的联合密度函数为 f(x,y),X的密度函数为fX(x)，则故 EE(h(Y)|X)=E(m(X)第83页

32、/共146页85第二章 多元正态分布及参数的估计2.3 条件分布和独立性-条件期望的性质第84页/共146页86 性质(4)给出，求E(h(Y)时，可通过另一随机向量X，当Xx时求得条件期望E(h(Y)|X).然后把X看为随机向量,求EE(h(Y)|X),其结果就等于直接求E(h(Y).第二章 多元正态分布及参数的估计2.3 条件分布和独立性-条件期望的性质第85页/共146页87第二章 多元正态分布及参数的估计2.3 条件分布和独立性-条件协差阵称为条件协差阵。记第86页/共146页88第二章 多元正态分布及参数的估计2.3 条件分布和独立性-偏相关系数称为X(2)=(xr+1,xp)给定时

33、,Xi与Xj(i,j=1,2,.,r)的偏相关系数。(i,j=1,2,.,r)第87页/共146页89第二章 多元正态分布及参数的估计2.3 条件分布和独立性-最佳预测 考虑 r=1,记X(1)Y,记 g(x(2)=E(X(1)|X(2)，则对任意函数(),可以证明(见习题2-16):E(X(1)-g(x(2)2E(X(1)-(x(2)2 即在均方差最小的准则下,条件期望g(x(2)是对Y 的最佳预测函数.第88页/共146页90第二章 多元正态分布及参数的估计2.4 随机矩阵的正态分布 把来自p元总体的容量为n的随机样本排成一矩阵X：其中 X(i)(i=1,n)是来自p维总体的一个样品，则样

34、本数据矩阵 X 就是一个随机矩阵.=(X1,X 2,Xp)def第89页/共146页91第二章 多元正态分布及参数的估计2.4 随机矩阵的正态分布-拉直运算 讨论随机矩阵X的分布时，可考虑把X的行向量(即样品)一个接一个连接起来构成一个np维长向量，然后讨论这个长向量的分布.所谓拉直运算，就是将矩阵X 的列一个接一个拉成一个长向量，记为第90页/共146页92第二章 多元正态分布及参数的估计2.4 随机矩阵的正态分布-拉直运算 符号“Vec”称为拉直运算.如果将矩阵X的行向量(样品)拉直为一个np维向量,用拉直运算的符号可记为第91页/共146页93第二章 多元正态分布及参数的估计2.4 随机

35、矩阵的正态分布-拉直运算 在多元统计分析中,经常需要考虑对称矩阵的拉直运算。设S是pp阶的对称随机矩阵，在S中只包含p(p+1)/2个不同的随机变量,故将其拉直为p2维向量是不合适的,应拉成p(p+1)/2维向量。设S=(Sij)pp为p阶对称阵，令 Svec(S)=(S11,Sp1,S22,Sp2,Spp)为p(p+1)/2维向量.符号“Svec”称为对称矩阵的拉直运算.第92页/共146页94第二章 多元正态分布及参数的估计2.4 随机矩阵的正态分布-Kronecker积 设A=(aij)和B分别为np和mq 的矩阵，A和B的Kronecker积AB定义为第93页/共146页95第二章 多

36、元正态分布及参数的估计2.4 随机矩阵的正态分布-Kronecker积 子块a11B为mq 的子矩阵，np个子块组成的矩阵是一个nmpq的大矩阵.在多元统计分析中Kronecker积(简称积或直积)是一个有用的工具.它的一些常用的性质在以后将会用到。其中子块第94页/共146页96 设X(i)=(Xi1,Xip)(i1,n)为来自p维正态总体Np(,)的随机样本(独立同分布),记随机矩阵X(Xij)np，利用拉直运算及直积的定义和性质,可知第二章 多元正态分布及参数的估计2.4 随机矩阵的正态分布 事实上，np维长向量Vec(X)的联合密度函数为第95页/共146页97第二章 多元正态分布及参

37、数的估计2.4 随机矩阵的正态分布第96页/共146页98第二章 多元正态分布及参数的估计2.4 随机矩阵的正态分布 由以上np维长向量Vec(X)的联合密度函数可看出它是正态随机向量,且:其中M为:第97页/共146页99第二章 多元正态分布及参数的估计2.4 随机矩阵的正态分布故第98页/共146页100第二章 多元正态分布及参数的估计2.4 随机矩阵的正态分布当随机阵X按行拉直后，如果有则称随机阵X服从矩阵正态分布，记作第99页/共146页101第二章 多元正态分布及参数的估计2.4 随机矩阵的正态分布也就是：其中第100页/共146页102第二章 多元正态分布及参数的估计2.5 多元正

38、态分布的参数估计 考虑p维正态总体XNp(,),设X(i)=(Xi1,Xip)(i1,n)为p维总体X的简单随机样本，资料阵是一个随机矩阵.第101页/共146页103第二章 多元正态分布及参数的估计2.5-多元正态样本的数字特征(1)样本均值向量X 第102页/共146页104第二章 多元正态分布及参数的估计2.5-多元正态样本的数字特征 中心化数据阵:第103页/共146页105第二章 多元正态分布及参数的估计2.5-多元正态样本的数字特征 (2)样本离差阵A(交叉乘积阵)其中第104页/共146页106第二章 多元正态分布及参数的估计2.5-多元正态样本的数字特征或者把A表为:第105页

39、/共146页107第二章 多元正态分布及参数的估计2.5-多元正态样本的数字特征或者把A表为:第106页/共146页108第二章 多元正态分布及参数的估计2.5-多元正态样本的数字特征(3)样本协方差S:(4)样本相关阵R:第107页/共146页109第二章 多元正态分布及参数的估计2.5-多元正态样本数字特征的例子 例:设从某书店随机抽取4张收据了解图书的销售情况.每张收据记录售书数量X2及总金额X1,具体数值如下:试计算样本均值,样本离差阵,样本协差阵和相关阵.解:第108页/共146页110第二章 多元正态分布及参数的估计2.5-多元正态样本数字特征的例子样本离差阵A的计算公式为:中心化

40、数据阵第109页/共146页111第二章 多元正态分布及参数的估计2.5-多元正态样本数字特征的例子第110页/共146页112第二章 多元正态分布及参数的估计2.5-多元正态样本数字特征的例子第111页/共146页113第二章 多元正态分布及参数的估计2.5-，的最大似然估计 设X(i)(i1,n)为p维正态总体N(,)的随机样本，以下用最大似然法来求参数,的最大似然估计.把随机数据阵X按行拉直后形成的np维长向量Vec(X)的联合密度函数看成未知参数,的函数，并称为样本X(i)(i1,n)的似然函数,记为L(,).第112页/共146页114第二章 多元正态分布及参数的估计2.5-，的最大

41、似然估计(矩阵迹的性质见P391)第113页/共146页115第二章 多元正态分布及参数的估计2.5-，的最大似然估计记号etr(A)=exp tr(A)第114页/共146页116第二章 多元正态分布及参数的估计2.5-，的最大似然估计其中pp矩阵A1可作如下分解:第115页/共146页117第二章 多元正态分布及参数的估计2.5-，的最大似然估计 由于lnx是x的单调函数,故L(,)与lnL(,)有相同的最大值点.以下只须讨论lnL(,)的最大值问题.下面给出与迹有关的一条引理.引理2.5.1 设B为p阶正定阵，则trB-ln|B|p且等号成立的充分必要条件是B=Ip.第116页/共146

42、页118第二章 多元正态分布及参数的估计2.5-，的最大似然估计 证明 因B0,故B的全部特征值1,p0,且|B|=1p.利用不等式ln(1+x)x(当x+10),可得(x=i-1)所以trB-ln|B|p第117页/共146页119第二章 多元正态分布及参数的估计2.5-，的最大似然估计 因不等式ln(1+x)x中的等号仅当x=0时成立，故引理给出的不等式仅当 i-1=0(i=1,p)时成立,即 B=Ip.反之，当 B=Ip 时，ln|Ip|=0,trB=p,故引理给出的不等式中等号成立.第118页/共146页120第二章 多元正态分布及参数的估计2.5-，的最大似然估计 下面讨论当给定0时

43、，LnL(,)的最大值点.第119页/共146页121第二章 多元正态分布及参数的估计2.5-，的最大似然估计 以上不等式仅当=X时等号成立,即对于固定的0，下面利用迹的有关性质及引理2.5.1来证明：当取 时第120页/共146页122第二章 多元正态分布及参数的估计2.5-，的最大似然估计(取B=0 由引理2.5.1 可得)第121页/共146页123第二章 多元正态分布及参数的估计2.5-，的最大似然估计由引理2.5.1，以上不等式的等号仅当成立.所以第122页/共146页124而似然函数的最大值为第二章 多元正态分布及参数的估计2.5-，的最大似然估计或者第123页/共146页125

44、定理2.5.1 设X(i)(i1,n)是多元正态总体Np(,)的随机样本，np，则,的最大似然估计为第二章 多元正态分布及参数的估计2.5-，的最大似然估计第124页/共146页126第二章 多元正态分布及参数的估计2.5-最大似估计量的性质 参数的最大似然估计有很多优良性标准,如无偏性，有效性,相合性等.和 的最大似然估计是否具有这些好的性质呢?这是我们现在要讨论的问题.第125页/共146页127第二章 多元正态分布及参数的估计2.5-最大似估计量的性质 定理2.5.2 设X和A分别为p元正态总体Np(,)的样本均值向量和样本离差阵,则(S=A/(n-1）或S*=A/n)第126页/共14

45、6页128第二章 多元正态分布及参数的估计2.5-最大似估计量的性质证明的思路：引入正交阵,形式如下：作线性变换,由随机阵X得另一随机阵Z.令第127页/共146页129第二章 多元正态分布及参数的估计2.5-最大似估计量的性质 Z的行向量Zt是X的行向量（样品）的线性组合:可以计算Zt的均值 和协方差：第128页/共146页130第二章 多元正态分布及参数的估计2.5-最大似估计量的性质当tn 时当t=n 时第129页/共146页131第二章 多元正态分布及参数的估计2.5-最大似估计量的性质 O 当 时=当=时所以 ZNp(0,),当=1,2,n-1,ZnNp(,),第130页/共146页

46、132第二章 多元正态分布及参数的估计2.5-最大似估计量的性质(1)因为故有(2)因为第131页/共146页133第二章 多元正态分布及参数的估计2.5-最大似估计量的性质故有第132页/共146页134第二章 多元正态分布及参数的估计2.5-最大似估计量的性质是Z1,Zn-1的函数,X是Zn的函数，而Z1,Zn-1,Zn相互独立,故A与X独立.（3）因第133页/共146页137第二章 多元正态分布及参数的估计2.5-最大似估计量的性质 性质1：无偏性因为故X（样本均值）是的无偏估计.因第136页/共146页138故的最大似然估计量 不是无偏估计.而样本协差阵S是的无偏估计:第二章 多元正

47、态分布及参数的估计2.5-最大似估计量的性质性质2：有效性 可以证明X,S是,的“最小方差”无偏估计量,即X,S是,的有效估计量(见参考文献2).第137页/共146页139第二章 多元正态分布及参数的估计2.5-最大似估计量的性质 性质3：相合性(一致性)利用强大数律还可以证明：nn第138页/共146页140第二章 多元正态分布及参数的估计2.5-最大似估计量的性质 性质4：其它 还可以证明最大似估计量是,的充分统计量;X是的极小极大估计(最大风险达最小);且估计量具有渐近正态性.第139页/共146页141第二章 多元正态分布及参数的估计2.5-参数函数的最大似然估计 为了从参数,的最大

48、似然估计来导出参数函数 g(,)的最大似然估计,下面我们来介绍一条有用的结论.定理2.5.2 设参数向量的函数为 g()=,是的最大似然估计.则有是=g()的最大似然估计.第140页/共146页142第二章 多元正态分布及参数的估计2.5-参数函数的最大似然估计的例子1 例2.5.1 设p维正态随机向量 X=(X1,Xp),求 Xi,Xj 的相关系数ij最大似然估计.解：Xi,Xj 的相关系数ij为第141页/共146页143第二章 多元正态分布及参数的估计2.5-参数函数的最大似然估计的例子1其中ij是协差阵的第i行第j列的元素.给定样本X(t)(t=1,n)，则的最大似然估计为的元素ij的

49、最大似然估计第142页/共146页144第二章 多元正态分布及参数的估计2.5-参数函数的最大似然估计的例子1 由定理2.5.3知,相关系数ij 的最大似然估计量rij 为(i,j=1,2,p)第143页/共146页145第二章 多元正态分布及参数的估计2.5 -参数函数的最大似然估计的例子2 例2.5.2 设求 X(1)对X(2)的回归系数B和条件协差阵112的最大似然估计。解：由样本X(t)(t=1,n)，计算离差阵A,且第144页/共146页146第二章 多元正态分布及参数的估计2.5 -参数函数的最大似然估计的例子2条件协差阵112的最大似然估计为则X(1)对X(2)的回归系数B的最大似然估计为第145页/共146页