高等数理统计-假设检验(课堂PPT).ppt

《高等数理统计-假设检验(课堂PPT).ppt》由会员分享，可在线阅读，更多相关《高等数理统计-假设检验(课堂PPT).ppt（77页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第三章第三章 假设检验假设检验 学习目的和要求学习目的和要求学习重点学习重点学习难点学习难点 教学方法教学方法 授课时数授课时数 基本内容基本内容 1学习目的和要求学习目的和要求 目的和要求：假设检验的基本概念，理解Neyman-Pearson基本思想。在此基础上，掌握一致最优势检验、一致最优势无偏检验的数学方法、掌握多参数指数型分布族的假设检验、似然比检验、U统计量检验和秩检验。2学习重点学习重点 1、Neyman-Pearson基本思想基本思想 2、几种类型的假设检验的基本思想。、几种类型的假设检验的基本思想。3学习难点学习难点秩检验4教学方法教学方法 n讨论讨论n讲授讲授5授课时数授课时

2、数8学时 6基本内容基本内容 第一节第一节 基本概念基本概念第二节第二节 Neyman-Peason Neyman-Peason引理引理第三节第三节 一致最优势检验一致最优势检验第四节第四节 一致最优势无偏检验一致最优势无偏检验第五节第五节 多参数指数型分布族的假设检验多参数指数型分布族的假设检验 第六节第六节 似然比检验、似然比检验、U U统计量检验、秩检统计量检验、秩检验验7什么是假设检验?8在很久以前的一次有各方人士参加的社交聚会中,一位女士为活跃气氛,声称她能区分在熬好的咖啡中，是先加奶还是先放糖。众人不信，于是有爱凑热闹的人弄来8杯加了奶，放了糖的咖啡请该女士鉴别，结果该女士判断正确

3、7杯，错误1杯。9于是很多人都承认该女士的鉴别能力，但是也有一些人却固执地认为该女士既然有鉴别能力，应该都说对，不应该猜错1杯，7对1错的结果完全是瞎蒙出来的。两派人争执不下，正好也出席联欢会的一位统计学者，他认为该问题很有意思，思索良久，写出了推理思路。101112假设检验相关概念定义1、设（，F，P ）为一统计结构，则P的非空子集称为假设，在参数分布族中 时,的非空子集称为假设。13 定义2、在一个假设检验问题中常涉及两个假设。所要检验的问题称为原假设。与原假设不相容的假设称为备择假设。在参数分布族中,原假设和备择假设分别为：14定义3、在检验问题中，所谓检验法则（或称检验法、或检验）就是

4、设法把样本空间划分成不相交的两个可测集。W称为检验的拒绝域15定义4、1617181920在参数统计结构中21定义5 称样本值落在拒绝域的概率为检验的势函数，记为22在 时，是检验犯第一类错误的概率。在 时，是检验犯第二类错误的概率。23定义6 检验的水平24Neyman-Pearson假设检验理论的基本思想，就是使得犯第一类错误的概率在某一个范围内，然后寻找使犯第二类错误的概率尽可能小的检验。25定义7 检验函数其势函数为26定义8 设 是定义在P上的可测函数，满足条件 ，则称 为随机化检验函数。其势函数为27第二节 Neyman-Pearson基本引理定义（MPT）：在检验问题 中，设 是

5、水平为 的检验，如果对任意一个水平为 的检验 ，都有则称检验 是水平为 的最优势检验，记为MPT(most powerful test)28定理（N-P基本引理）设 和 是可测空间 上两个不同的概率测度，关于某个 有限的测度 ，有设原假设和备择假设分别为:29（1）对给定的水平 存在一个检验函数 及常数k,使得则30（2）满足该条件的检验函数 是水平为 的MPT，反之，如果 是水平为 的MPT，则一定存在常数k,使得 满足上式.31注1满足该定理条件的检验函数 通常称为似然比检验函数（或称为概率比检验函数）。如定义似然检验比函数32注2 在似然比函数具有连续分布函数时，MPT检验函数可以取为非

6、随机化的形式其中k由 确定33若似然比函数为离散型随机变量时，可在集合 实施随机化。MPT函数可取为34例题设样本是来自正态总体，考虑如下的假设：在水平为 时，构造似然比统计量35则MPT的拒绝域具有形式36令即可37此题中若 呢?38例题设样本来自Poisson分布族在水平为 时，构造似然比统计量39取统计量40由N-P基本引理，检验函数为41关于简单假设对简单假设的检验问题，N-P基本引理给出了令人满意的解决方案。在实际问题中，往往出现的是复合假设的情况。42定义（UMPT）：在检验问题 中，设 是水平为 的检验，如果对任意一个水平为 的检验 ，都有则称检验 是水平为 的一致最优势检验，记

7、为UMPT(uniformly most powerful test)一致最优势检验问题(UMPT)43在某些情况下,UMPT可以直接从N-P引理推出性质1 设 是 检验,是的 子集,如果 是 的UMPT,则 是 的UMPT。44 性质2 设 是 检验，则 是 的UMPT的充要条件是，对每一个 ，是 的MPT。45性质3 设 是 检验，假设对某个 的 和对某一个 ，都是 的MPT，则 也是 的UMPT。46如果简单原假设对简单备择假设的检验问题的MPT不依赖于备择假设的具体数值，则可适当扩大备择假设；而当势函数是单调函数时，也可适当扩大原假设。反之，对于复合假设检验问题，MPT的 依赖于备择假

8、设中的 ,则UMPT不一定存在。47对下面几种检验问题进行讨论:类型III,IV一般无UMPT,所以不讨论。类型I，II类似，V过于复杂，且不实用,所以只讨论类型I即可。48定义：设 是含有实参数 的概率密度族，其中 是实直线上的一个区间。如果存在实值统计量T(X)，使得对任意 ，都有（1）概率分布 与 是不同的；（2）似然比 是T(x)的单调函数，则称概率密度族 关于T(x)具有单调似然比MLR(montone likelihood ratio)。49如单数指数型分布族若Q函数是单调函数，则是T(x)的单调函数50定理：设单参数概率密度族关于实值统计量T(x)具有非降MLR，则对于单边假设检

9、验问题（I），存在水平为a的UMPT检验函数r由下式确定51同学们请参考例3.5（P189)52所以在很多情况下，对于一个复合假设的检验问题，UMPT不存在所以必须找出构造检验法（不管是简单假设还是复合假设）的一般方法人们提出了似然比检验方法53似然比检验设X=(X1,X2,Xn)的分布密度函数是p(x;),对于简单假设：检验问题的似然比为：54对于复合假设：我们可定义这里，0和1分别是H0和H1成立时，的MLE。55P(x;1)是备择假设成立时,观察到样本点x的可能性的一个度量;P(x;0)是原假设成立时,观察到样本点x的可能性的一个度量.在(x)比较大时,备择假设成立观察到样本点x的可能性

10、比较大,因此可拒绝原假设.故检验的拒绝域可设为:56请同学们参考例题3.14(P220)57一般来说,为了更好地确定c的值,要对似然比检验函数的分布形式进行研究,但似然函数一般没有确定的分布形式和分布规则.1938年,统计学家Wilks研究了似然比统计量的极限分布,并得到了一个重要的定理。58定理3.18(P222)其中，是参数 的MLE。原假设成立时59例题3.16(P225)60例题样本 且全部样本独立.要检验假设61记则62所以大样本似然比检验有否定域63非参数统计结构的假设检验问题前述各种检验方法基本上适用于参数统计结构，这些方法往往要求总体分布族的密度函数的数学形式已知，且只含有限个

11、未知参数，但有些时候，人们难于由经验或某种理论得到总体的参数统计结构，而只能得到非参数统计结构。因此有必要寻求非参数统计结构的检验方法。64游程检验检验随机性的一个重要方法。65Bernoulli实验：掷一个硬币，以概率p得正面（记为1)，以概率1-p得反而（记为0)。得到下面的结果:00000001111110000111100称连在一起的0或者1为游程（run），则上面这组数中有3个0游程，2个1游程，总共有5个游程(R=5)。0的总个数m=13,1的总个数为n=10。记总的实验次数为N,N=m+n。66由常识得知，如果这个实验是随机的，则不大可能出出太多的1或0的游程。67原假设成立时，

12、算出 或 的值，也就可以做检验了在m或n不大时，可直接计算得出。68而当样本很大时，即 时，在零假设下可以借助于正态分布表得到p值和检验结果，在给定水平a后，可以用下面的近似公式来得到临界值69在实际问题中，不一定都碰到只有0或1所代表的二元数据，但是可以把它转换成二元数据来分析。例：在工厂的质量管理中，生产出来的20个元件的某一尺寸按顺序为:12.27,9.92,10.81,11.79,11.87,10.90,11.2210.80,10.33,9.30,9.81,8.85,9.32,8.67,9.329.53,9.58,8.94,7.89,10.77(cm)我们想知道生产出来的尺寸变化是否只

13、是由于随机因素，还是有其它非随机因素。70先找出中位数9.695,把大于中位数的记为1,小于中位数的记为0,于是得到一串1和011111111100000000001此时R=3 m=n=10P(R=3)=P(R=2)+P(R=3)=0.00011在给定a水平较小的情况下，如果原假设成立，则R=3的概率很小。71所以原假设不成立，可以说，在生产过程 中有非随机性因素在起作用。把所有数目转换成0或者1失去了一些信息，但是此方法对于检验随机性来说是一个简单易行的方法。72符号检验法在有了一个样本之后,要知道它所代表的总体的”中心”在哪里。例如，在对人们的收入进行了抽样之后，就自然要涉及“人均收入”和

14、“中间收入”等概念。这就是统计中的对总体的均值、中位数和众数等位置参数的推断。73假定用总体中位数M来表示中间位置，这意味着样本点取大于M的值的概率与小于M的概率应该相等。如果排除样本点等于M的情况，该概率应就0.5。X为连续型变量时，样本点等于M的概率为零；X若为离散型，一些样本点可能等于M，则在符号检验时，去掉这些点，同时相应减少n的值。这样M的确是有关总体的中位数（零假设），每一个样本点都以0.5的概率小于M,也以0.5的概率大于M。74大于M的样本点个数S+与小于S-都服从二项分布B(n,0.5)，S+和S-都可以做检验统计量。取零假设 ，则S+和S-分别是这个差值 大于零（正号）和小于零（负号）的个数，所以此检验称为符号检验（sign test)。75以单边检验为例当S+的取值S+很小时（即只有少数观察值大于M0),否定原假设，备择假设更为合理。76参考资料1 陈希孺.非参数统计.上海：上海科学技术出版社，1989.2 吴喜之.非参数统计.中国统计出版社,1999.3 Lehman E L.Testing Statistical Hypotheses(Second Edition).New York：John Wiley&Sons,1986.77