多元正态分布.ppt

《多元正态分布.ppt》由会员分享，可在线阅读，更多相关《多元正态分布.ppt（66页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、2020/10/25,1,2020/10/25,2,第一章 多元正态分布,2020/10/25,3,第一章 多元正态分布,一元正态分布在统计学的理论和实际应用中都有着重要的地位。同样，在多变量统计学中，多元正态分布也占有相当重要的位置。原因是： 许多随机向量确实遵从正态分布，或近似遵从正态分布； 对于多元正态分布，已有一整套统计推断方法，并且得到了许多完整的结果。,2020/10/25,4,第一章 多元正态分布,多元正态分布是最常用的一种多元概率分布。除此之外，还有多元对数正态分布，多项式分布，多元超几何分布，多元 分布、多元 分布、多元指数分布等。本章从多维变量及多元分布的基本概念开始，着重

2、介绍多元正态分布的定义及一些重要性质。,2020/10/25,5,1.1多元分布的基本概念,1.1.1 随机向量,1.1.2 分布函数与密度函数,1.1.3 多元变量的独立性,1.1.4 随机向量的数字特征,2020/10/25,6,1.1.1 随机向量,表示对同一个体观测的 个变量。若观测了 个个体，则可得到如下表1-1的数据，称每一个个体的 个变量为一个样品，而全体 个样品形成一个样本。,假定所讨论的是多个变量的总体，所研究的数据是同时观测 个指标（即变量），又进行了 次观测得到的，把这 个指标表示为 常用向量,2020/10/25,7,1.1.1 随机向量,2020/10/25,8,1.

3、1.1 随机向量,因此,样本资料矩阵可用矩阵语言表示为:,若无特别说明，本书所称向量均指列向量,定义1.1 设 为p个随机变量，由它们组成 的向量 称为随机向量。,2020/10/25,9,1.1.2 分布函数与密度函数,描述随机变量的最基本工具是分布函数，类似地描述随机向量的最基本工具还是分布函数。,多元分布函数的有关性质此处从略。,定义1.2 设 是P 维随机向量，它的多元分布 函数是,式中：,2020/10/25,10,1.1.2 分布函数与密度函数,2020/10/25,11,若 有密度 ，用 分别表示 和 的分布密度，则 和 独立当且仅当 (1.5),1.1.3 多元变量的独立性,2

4、020/10/25,12,1.1.4 随机向量的数字特征,1、随机向量 X的均值 设 有P个分量。若 存在，我们定义随机向量X的均值为:,当 为常数矩阵时，由定义可立即推出如下性质：,.,(1.6),2020/10/25,13,1.1.4 随机向量的数字特征,2、随机向量 自协方差阵,2020/10/25,14,1.1.4 随机向量的数字特征,当A、B为常数矩阵时，由定义可推出协差阵有如下性质：,2020/10/25,15,1.1.4 随机向量的数字特征,（3）设X为 维随机向量，期望和协方差存在记 则,对于任何随机向量 来说，其协差阵都是对称阵，同时总是非负定（也称半正定）的。大多数情形下是

5、正定的。,2020/10/25,16,1.1.4 随机向量的数字特征,4、随机向量X 的相关阵 若随机向量 的协差阵存在,且每个分量的方差大于零，则X的相关阵定义为:,也称为分量 与 之间的（线性）相关系数。,2020/10/25,17,在数据处理时，为了克服由于指标的量纲不同对统计分析结果带来的影响，往往在使用某种统计分析方法之前，常需将每个指标“标准化”，即做如下变换,1.1.4 随机向量的数字特征,何为标准化？,标准化的作用？,2020/10/25,18,1.2 统计距离和马氏距离,欧氏距离,马氏距离,2020/10/25,19,1.2 统计距离和马氏距离,欧氏距离,在多指标统计分析中,

6、距离的概念十分重要,样品间的不少特征都可用距离去描述。大部分多元方法是建立在简单的距离概念基础上的。即平时人们熟悉的欧氏距离,或称直线距离.如几何平面上的点P=(x1,x2)到原点O=(0,0)的欧氏距离,依勾股定理有,2020/10/25,20,1.2 统计距离和马氏距离,但就大部分统计问题而言，欧氏距离是不能令人满意的。这里因为，每个坐标对欧氏距离的贡献是同等的。当坐标轴表示测量值时，它们往往带有大小不等的随机波动，在这种情况下，合理的办法是对坐标加权，使得变化较大的坐标比变化小的坐标有较小的权系数，这就产生了各种距离。 欧氏距离还有一个缺点，这就是当各个分量为不同性质的量时，“距离”的大

7、小竟然与指标的单位有关。,2020/10/25,21,1.2 统计距离和马氏距离,例如，横轴 代表重量（以kg为单位），纵轴 代表长度（以cm为单位）。有四个点A、B、C、D见图1.1，它们的坐标如图1.1所示,2020/10/25,22,1.2 统计距离和马氏距离,这时,显然AB比CD要长。,结果CD反而比AB长！这显然是不够合理的。,现在，如果 用mm作单位， 单位保持不变，此时A坐标为（0，50），C坐标为（0，100），则,2020/10/25,23,1.2 统计距离和马氏距离,因此，有必要建立一种距离，这种距离要能够体现各个变量在变化大小上的不同，以及有时存在着的相关性，还要求距离与

8、各变量所用的单位无关。看来我们选择的距离要依赖于样本方差和协方差。因此，采用“统计距离” 这个术语，以区别通常习惯用的欧氏距离。最常用的一种统计距离是印度统计学家马哈拉诺比斯（Mahalanobis）于1936年引入的距离，称为“马氏距离”。,2020/10/25,24,1.2 统计距离和马氏距离,下面先用一个一维的例子说明欧氏距离与马氏距离在概率上的差异。,设有两个一维正态总体 。若有一个样品，其值在A处，A点距离哪个总体近些呢？由图1-2,图1-2,2020/10/25,25,1.2 统计距离和马氏距离,由图1-2可看出,从绝对长度来看,A点距左面总体G1近些,即A点到 比A点到 要“近一

9、些”（这里用的是欧氏距离，比较的是A点坐标与 到 值之差的绝对值），但从概率观点来看，A点在 右侧约4 处，A点在 的左侧约3 处，若以标准差的观点来衡量，A点离 比A点离 要“近一些”。显然，后者是从概率角度上来考虑的，因而更为合理些，它是用坐标差平方除以方差（或说乘以方差的倒数），从而化为无量纲数，推广到多维就要乘以协方差阵的逆矩阵 ，这就是马氏距离的概念，以后将会看到，这一距离在多元分析中起着十分重要的作用。,1,m,2020/10/25,26,1.2 统计距离和马氏距离,马氏距离,设X、Y从均值向量为，协方差阵为的总体G中抽取的两个样品，定义X、Y两点之间的马氏距离为,2020/10/

10、25,27,1.2 统计距离和马氏距离,设 表示一个点集， 表示距离，它是 到 的函数，可以证明,马氏距离符合如下距离的四条基本公理 :,；,（1）,，,（2） 当且仅当 ；,（3）,（4）,2020/10/25,28,1.3 多元正态分布,多元正态分布是一元正态分布的推广。迄今为止,多元分析的主要理论都是建立在多元正态总体基础上的,多元正态分布是多元分析的基础。另一方面，许多实际问题的分布常是多元正态分布或近似正态分布，或虽本身不是正态分布，但它的样本均值近似于多元正态分布。 本节将介绍多元正态分布的定义，并简要给出它的基本性质。,2020/10/25,29,1.3 多元正态分布,2020/

11、10/25,30,1.3.1 多元正态分布的定义,一元正态分布N(,2)的概率密度函数为 若随机向量 的概率密度函数为 则称x服从p元正态分布，记作xNp (, )，其中，参数和分别为x的均值和协差阵。,2020/10/25,31,例1.3.1（二元正态分布 ）,设xN2(, )，这里 易见，是x1和 x2的相关系数。当|1时，可得x的概率密度函数为,2020/10/25,32,1.3.2 多元正态分布的性质,（1）若随机向量的协方差阵是对角阵I，则其个分量相互独立。 （2）设x是一个p维随机向量，则x服从多元正态分布，当且仅当它的任何线性函数 均服从一元正态分布。 性质（2）常可用来证明随机

12、向量服从多元正态分布。 （3）设xN p (, )，y=Cx+b其中C为rp 常数矩阵，则 该性质表明，（多元）正态变量的任何线性变换仍为（多元）正态变量。,2020/10/25,33,1.3.2 多元正态分布的性质,例1.3.2 设xNp (, )，a为p维常数向量，则由上述性质（2）或（3）知， （4）设xNp (, )，则x的任何子向量也服从（多元）正态分布，其均值为的相应子向量，协方差矩阵为的相应子矩阵。 该性质说明了多元正态分布的任何边缘分布仍为（多元）正态分布。 需注意，随机向量的任何边缘分布皆为（多元）正态分布未必表明该随机向量就服从多元正态分布。 数理统计中二元正态分别就有这样

13、的一个反例。,2020/10/25,34,1.3.2 多元正态分布的性质,还需注意，正态变量的线性组合未必就是正态变量。 证明 反证法。 若命题 “一元正态变量x1,x2, ,xn的一切线性组合一定是一元正态变量” 成立，则由性质（2）知，x1,x2, ,xn的联合分布必为多元正态分布，于是命题“一元正态变量的联合分布必为多元正态分布”成立，从而矛盾。 例1.3.3 设xN4(, )，这里,2020/10/25,35,1.3.2 多元正态分布的性质,则 （i） ； （ii） ； （iii） 。,2020/10/25,36,1.3.2 多元正态分布的性质,（5）设x1,x2, ,xn相互独立，且

14、xiN p (i, i) ，i=1,2,n，则对任意n个常数，有 此性质表明，独立的多元正态变量（维数相同）的任意线性组合仍为多元正态变量。 （6）设xN p (, )，对x, , (0)作如下的剖分：,2020/10/25,37,1.3.2 多元正态分布的性质,则子向量x1和x2相互独立，当且仅当12=0。 该性质指出，对于多元正态变量而言，其子向量之间互不相关和相互独立是等价的。 （7）设xN p (, ), 0，则 例1.3.4 设xN3(,)，其中 则x2和x3不独立，x1和(x2,x3)独立。 *（8）略,2020/10/25,38,1.3.2 多元正态分布的性质,*（9）略*（10

15、）略 （11）设xN p (, ), 0，作如下剖分 则给定x2时x1的条件分布为 ，其中 12和112分别是条件数学期望和条件协方差矩阵，112通常称为偏协方差矩阵。,2020/10/25,39,1.3.2 多元正态分布的性质,这一性质表明，对于多元正态变量，其子向量的条件分布仍是（多元）正态的。,2020/10/25,40, 1.3.3 条件分布和独立性,我们希望求给定 的条件分布，即 的分布。下一个定理指出：正态分布的条件分布仍为正态分布。,设 p2,将X、和剖分如下：,2020/10/25,41,证明参见文献3。, 1.3.3 条件分布和独立性,定理1.2：设 ，0，则,2020/10

16、/25,42,(1.28), 1.3.3 条件分布和独立性,定理1.3：设 ，0，将X，剖分如下：,2020/10/25,43,则 有如下的条件均值和条件协差阵的递推公式：,(1.29),(1.30),其中,，,证明参见3, 1.3.3 条件分布和独立性,2,1,),|,(,),3,(,),(,3,=,=,i,E,i,i,X,X,2020/10/25,44,在定理1.2中，我们给出了对X、和作形如(1.25)式剖分时条件协差阵 的表达式及其与非条件协差阵的关系，令 表示 的元素，则可以定义偏相关系数的概念如下：,定义1.6：当 给定时， 与 的偏相关系数为：, 1.3.3 条件分布和独立性,2

17、020/10/25,45, 1.3.3 条件分布和独立性,定理1.4：设 将X、按同样方式剖分为,其中，,证明参见文献3,2020/10/25,46,1.4 均值向量和协方差阵的估计,上节已经给出了多元正态分布的定义和有关的性质,在实际问题中,通常可以假定被研究的对象是多元正态分布,但分布中的参数和是未知的,一般的做法是通过样本来估计。,2020/10/25,47,1.4 均值向量和协方差阵的估计,均值向量的估计,在一般情况下,如果样本资料阵为：,2020/10/25,48,1.4 均值向量和协方差阵的估计,即均值向量的估计量,就是样本均值向量.这可由极大似然法推导出来。推导过程参见文献3。,

18、设样品 相互独立,同遵从于P元正态分布 ,而且 ,0,则总体参数均值的估计量是,2020/10/25,49,1.4 均值向量和协方差阵的估计,协方差阵的估计,总体参数协差阵的极大似然估计是,2020/10/25,50,1.4 均值向量和协方差阵的估计,其中L是离差阵，它是每一个样品（向量）与样本均值（向量）的离差积形成的n个 阶对称阵的和。同一元相似， 不是的无偏估计，为了得到无偏估计我们常用样本协差阵 作为总体协差阵的估计。,2020/10/25,51,1.5常用分布及抽样分布,多元统计研究的是多指标问题,为了了解总体的特征,通过对总体抽样得到代表总体的样本,但因为信息是分散在每个样本上的,

19、就需要对样本进行加工,把样本的信息浓缩到不包含未知量的样本函数中,这个函数称为统计量,如前面介绍的样本均值向量 、样本离差阵 等都是统计量.统计量的分布称为抽样分布.,在数理统计中常用的抽样分布有 分布、 分布和 分布.在多元统计中,与之对应的分布分别为Wishart分布、 分布和Wilks分布.,2020/10/25,52,1.5常用分布及抽样分布,1.5.2 分布与 分布（霍特林分布）,1.5.1 分布与Wishart分布（维希特分布）,1.5.3 中心分布与Wilks分布,（威尔克斯分布）,2020/10/25,53,分布有两个重要的性质:,1.5.1 分布与Wishart分布,在数理统

20、计中,若 ( ),且相互独立,则 所服从的分布为自由度为 的 分布(chi squared distribution),记为 .,1、若 , 且相互独立,则,称为相互独立 的具有可加性,2020/10/25,54,2. 设 ( ),且相互独立, 为 个 阶对称阵,且 (阶单位阵),记 , 则 为相互独立的 分布的充要条件为 .此时 , .,这个性质称为Cochran定理（次方分布的分解定理）,在方差分析和回归分析中起着重要作用.,1.5.1 分布与Wishart分布,2020/10/25,55,1.5.1 分布与Wishart分布,2020/10/25,56,由Wishart分布的定义知,当

21、时, 退化为 ,此时中心Wishart分布就退化为 ,由此可以看出, Wishart分布实际上是 分布在多维正态情形下的推广.,下面不加证明的给出Wishart分布的5条重要性质:,相互独立.,和,(1),(2),1.5.1 分布与Wishart分布,2020/10/25,57,1.5.1 分布与Wishart分布,2020/10/25,58,特别的,设 和 分别为 和 的第 个对角元,则：,5. 若 , 为任一 元非零常向量,比值,1.5.1 分布与Wishart分布,2020/10/25,59,1.5.2 分布与 分布,在数理统计中,若 , ,且 与 相互独立,则称 服从自由度为 的 分布

22、,又称为学生分布(student distribution),记为 .如果将 平方,即 ,则 ,即 分布的平方服从第一自由度为1第二自由度为 的中心分布.,2020/10/25,60,定义1.8 设 , , , , , 与相互独立,则称随机变量,(1.33),所服从的分布称为第一自由度为 第二自由度为 的中心 分布,记为,1.5.2 分布与 分布,2020/10/25,61,1.5.3 中心分布与Wilks分布,在数理统计中,若 , ,且与相互独立,则称 所服从的分布为第一自由度为 第二自由度为 的中心 分布.记为 . 分布本质上是从正态总体 随机抽取的两个样本方差的比.,2020/10/25

23、,62,1.5.3 中心分布与Wilks分布,2020/10/25,63,1.5.3 中心分布与Wilks分布,由于分布在多元统计中的重要性,关于它的近似分布和精确分布不断有学者进行研究,当和中的一个比较小时, 分布可化为F分布,表1-2列举了常见的情况.,表1-2,2020/10/25,64,1.5.3 中心分布与Wilks分布,当 不属于表1-2情况时, Bartlett指出用 分布来近似表示,即 近似服从 .,Rao 后来又研究用F分布来近似,即,2020/10/25,65,1.5.3 中心分布与Wilks分布,近似服从 ,其中,不一定是整数,用与它最近的整数来作为F分布的第二自由度.,2020/10/25,66,1.5.3 中心分布与Wilks分布,若 ,有 .该结论说明,在使用统计量时也可考虑 的情形,有关统计量的其他性质参见文献1.,