概率与数理统计8[1].4 总体分布的假设检验.ppt

《概率与数理统计8[1].4 总体分布的假设检验.ppt》由会员分享，可在线阅读，更多相关《概率与数理统计8[1].4 总体分布的假设检验.ppt（62页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第四节第四节 总体分布的假设总体分布的假设检验检验-拟合优度检验拟合优度检验 在前面的课程中，我们已经了解了假设检验的基本思想，并讨论了当总体分布为正态时，关于其中未知参数的假设检验问题.然而可能遇到这样的情形，总体服从何种理论分布并不知道，要求我们直接对总体分布提出一个假设.例如，从例如，从15001500到到19311931年的年的432432年间，每年爆发年间，每年爆发战争的次数可以看作一个随机变量，椐统计，战争的次数可以看作一个随机变量，椐统计，这这432432年间共爆发了年间共爆发了299299次战争，具体数据如下次战争，具体数据如下:战争次数战争次数X01234 223142481

2、54 发生发生 X次战争的年数次战争的年数 在概率论中，大家对泊松分布产生的一般条件已有所了解，容易想到，每年爆发战争的次数，可以用一个泊松随机变量来近似描述.也就是说，我们可以假设每年爆发战争次数分布X近似泊松分布.上面的数据能否证实上面的数据能否证实X 具有具有泊松分布的假设是正确的？泊松分布的假设是正确的？现在的问题是：现在的问题是：又如，某钟表厂对生产的钟进行精确性检查，抽取100个钟作试验，拨准后隔24小时以后进行检查，将每个钟的误差（快或慢）按秒记录下来.问该厂生产的钟的误差是否服从正态问该厂生产的钟的误差是否服从正态分布？分布？再如，某工厂制造一批骰子，再如，某工厂制造一批骰子，

3、声称它是均匀的声称它是均匀的.为检验骰子是否均匀，要把骰子实地投掷若为检验骰子是否均匀，要把骰子实地投掷若干次，统计各点出现的频率与干次，统计各点出现的频率与1/6的差距的差距.也就是说，在投掷中，出也就是说，在投掷中，出现现1点，点，2点，点，6点的概点的概率都应是率都应是1/6.得到的数据能否说明得到的数据能否说明“骰子均匀骰子均匀”的假设是可信的？的假设是可信的？问题是：问题是：K.皮尔逊皮尔逊这是一项很重要的工作，不少人把它视为近代统计学的开端.2-检验法.解决这类问题的工具是英国统计学家K.皮尔逊在1900年发表的一篇文章中引进的所谓2检验法检验法是在总体是在总体X 的分布未知时，根

4、据来的分布未知时，根据来自总体的样本，检验关于总体分布的假设的自总体的样本，检验关于总体分布的假设的一种检验方法一种检验方法.H0：总体X的分布函数为F(x)然后根据样本的经验分布和所假设的理论分布之间的吻合程度来决定是否接受原假设.这种检验通常称作拟合优度检验，它是一种非参数检验.使用2-检验对总体分布进行检验时，我们先提出原假设:似然估计法估计参数，然后作检验似然估计法估计参数，然后作检验.类型已知，但其参数未知，这时需要先用极大类型已知，但其参数未知，这时需要先用极大分布拟合的分布拟合的2-检验的基本原理和步骤如下的基本原理和步骤如下:在用在用2-检验法法检验假设检验假设H0时，若在时，

5、若在H0下分布下分布3.根据所假设的理论分布,可以算出总体X的值落入每个Ai的概率pi,于是npi就是落入Ai的样本值的理论频数.1.将总体X的取值范围分成k个互不重迭的小区间,记作A1,A2,Ak.2.把落入第i个小区间Ai的样本值的个数记作ni，称为实测频数.所有实测频数之和n1+n2+nk等于样本容量n.标志着经验分布与理论分布之间的差异的大小标志着经验分布与理论分布之间的差异的大小.皮尔逊引进如下统计量表示经验分布皮尔逊引进如下统计量表示经验分布与理论分布之间的差异与理论分布之间的差异:统计量统计量2的分布是什么的分布是什么?在理论分布在理论分布已知的条件下已知的条件下,npi是常量是

6、常量实测频数实测频数理论频数理论频数皮尔逊证明了如下定理皮尔逊证明了如下定理:若原假设中的理论分布若原假设中的理论分布F(x)已经完全给定，已经完全给定，那么当那么当n 时，统计量时，统计量 如果理论分布如果理论分布F(x)中有中有r个未知参数需用相个未知参数需用相应的估计量来代替，那么当应的估计量来代替，那么当n 时，统计量时，统计量2 的分布渐近服从的分布渐近服从(k-r-1)个自由度的个自由度的2分布分布.的分布渐近的分布渐近k-1个自由度的个自由度的2 分布分布.为了便于理解，我们对定理作一为了便于理解，我们对定理作一点直观的说明点直观的说明.在理论分布在理论分布F(x)完全给定的情况

7、下，每个完全给定的情况下，每个pi 都是确定的常数都是确定的常数.由棣莫佛拉普拉斯中心极由棣莫佛拉普拉斯中心极限定理，当限定理，当n充分充分大时，实测频数大时，实测频数 fi 渐近正态，渐近正态，因此因此是是k个近似个近似正态正态的变量的平方和的变量的平方和.这些变量之间存在着一个制约关系：这些变量之间存在着一个制约关系：故统计量故统计量2渐近服从渐近服从(k-1)个自由度的个自由度的2分布。分布。在在F(x)尚未完全给定的情况下，每个未知尚未完全给定的情况下，每个未知参数用相应的估计量代替，就相当于增加一个参数用相应的估计量代替，就相当于增加一个制约条件，制约条件，因此，自由度也随之减少一个

8、因此，自由度也随之减少一个.若若有有r个未知参数需用相应的估计量来代个未知参数需用相应的估计量来代替，替，自由度就减少自由度就减少r个个.故统计量故统计量2渐近服从渐近服从(k-r-1)个自由度的个自由度的2分布。分布。如果根据所给的样本值如果根据所给的样本值 X1,X2,Xn算得统计算得统计量量2的实测值落入拒绝域，则拒绝原假设，否则的实测值落入拒绝域，则拒绝原假设，否则就认为差异不显著而接受原假设就认为差异不显著而接受原假设.得拒绝域得拒绝域:(不需估计参数不需估计参数)(估计估计r r 个参数个参数)根据这个定理，对给定的显著性水平根据这个定理，对给定的显著性水平，查查2 分布表可得临界

9、值分布表可得临界值2 ，使得，使得 皮尔逊定理是在皮尔逊定理是在n无限无限增大时推导出来增大时推导出来的，因而在使用时要注意的，因而在使用时要注意n要足够大，以及要足够大，以及npi 不太小这两个条件不太小这两个条件.根据计算实践，要求根据计算实践，要求n不小于不小于50，以及，以及npi 都都不小于不小于 5.否则应适当合并区间，使否则应适当合并区间，使npi满满足这个要求足这个要求.让我们回到开始的一个例子，检验每年让我们回到开始的一个例子，检验每年爆发战争次数分布是否服从泊松分布爆发战争次数分布是否服从泊松分布.将有关计算结果列表如下将有关计算结果列表如下:提出假设提出假设H0:X服从参

10、数为服从参数为 的泊松分布的泊松分布根据观察结果，得参数根据观察结果，得参数 的极大似然估计为的极大似然估计为按参数按参数为为0.69的泊松分布，计算事件的泊松分布，计算事件X=i 的概率的概率pi，i=0,1,2,3,4pi的估计是的估计是 因因H0所假设的理论分布中有一个未知所假设的理论分布中有一个未知参数，故自由度为参数，故自由度为4-1-1=2.x 0 1 2 3 4ni 223 142 48 15 4 0.58 0.31 0.18 0.01 0.02n 216.7 149.5 51.6 12.0 2.16 战争次数战争次数实测频数实测频数14.160.1830.376 0.251 1

11、.6232.43将将n 5的组予以合并，即将发生的组予以合并，即将发生3次及次及4次次战争的组归并为一组战争的组归并为一组.故认为每年发生战争的次数故认为每年发生战争的次数X服从服从参数为参数为0.69的泊松分布的泊松分布.按按 =0.05，自由度为，自由度为4-1-1=2查查 分布表得分布表得=5.991=2.435.991，由于统计量由于统计量的实测值的实测值未落入否定域未落入否定域.奥地利生物学家孟德尔进行了长奥地利生物学家孟德尔进行了长达八年之久的豌豆杂交试验达八年之久的豌豆杂交试验,并根据并根据试验结果试验结果,运用他的数理知识运用他的数理知识,发现了发现了遗传的基本规律遗传的基本规

12、律.在此，我们以遗传学上的一项伟大发现为在此，我们以遗传学上的一项伟大发现为例，说明统计方法在研究自然界和人类社会的例，说明统计方法在研究自然界和人类社会的规律性时，是起着积极的、主动的作用规律性时，是起着积极的、主动的作用.孟德尔孟德尔子二代子二代子一代子一代黄色纯系黄色纯系绿色纯系绿色纯系他的一组观察结果为：他的一组观察结果为：黄黄70，绿，绿27近似为近似为2.59:1，与理论值相近，与理论值相近.根据他的理论，子二代中根据他的理论，子二代中,黄、绿之比黄、绿之比 近似为近似为3:1，由于随机性，观察结果与由于随机性，观察结果与3:1总有些差距，总有些差距，因此有必要去考察某一大小的差异

13、是否已构因此有必要去考察某一大小的差异是否已构成否定成否定3:1理论的充分根据，这就是如下的检理论的充分根据，这就是如下的检验问题验问题.这里，这里，n=70+27=97,k=2,检验孟德尔的检验孟德尔的3:1理论理论:提出假设提出假设H0:p1=3/4,p2=1/4理论频数为：理论频数为：np1=72.75,np2=24.25实测频数为实测频数为70，27.由于统计量由于统计量的实测值的实测值统计量统计量自由度为自由度为k-1=1=0.41583.841，按按 =0.05，自由度为，自由度为1，查，查 分布表得分布表得=3.841未落入否定域未落入否定域.故认为试验结果符合故认为试验结果符合

14、孟德尔的孟德尔的3:1理论理论.这些试验及其它一些试验，都显这些试验及其它一些试验，都显 示孟德尔的示孟德尔的3:1理论与实际是符合的理论与实际是符合的.这本身就是这本身就是统计方法在科学中的一项统计方法在科学中的一项 重要应用重要应用.用于客观地评价理论上的某个结论是否用于客观地评价理论上的某个结论是否与观察结果相符，以作为该理论是否站与观察结果相符，以作为该理论是否站得住脚的印证得住脚的印证.在对总体的分布进行检验时经常使用。这一讲我们介绍了拟合优度的 检验法检验法,例例8从按某工艺条件生产的针织品用纤维中随机地抽取了120件，测得其断裂强力的数据如下（单位：N）20.3 19.1 21.

15、0 19.5 19.9 20.7 21.5 19.6 19.4 20.521.8 19.7 20.3 20.5 19.2 20.6 21.4 18.9 20.4 20.721.0 20.3 19.8 20.2 20.6 20.3 21.1 19.6 20.5 20.820.2 20.9 21.2 20.4 19.7 20.8 21.3 18.0 19.4 20.920.0 19.8 20.4 20.9 21.4 22.3 21.2 20.2 20.0 21.420.4 20.9 20.6 21.7 18.8 19.7 20.6 20.7 21.1 19.519.8 20.5 20.9 22.1

16、 21.2 19.9 19.3 20.1 20.4 21.320.1 19.8 18.6 21.3 20.5 19.6 20.3 20.9 21.8 20.619.2 20.4 22.4 21.2 20.8 21.0 20.0 19.7 20.2 19.921.0 20.3 20.1 19.6 20.2 20.4 20.8 19.0 20.7 20.518.5 20.0 20.6 20.1 21.1 20.1 20.9 21.4 20.0 20.619.9 21.0 20.5 20.8 20.4 19.4 20.2 20.7 21.5 20.3试以显著性水平检验针织品用纤维的断裂强力是否服从正

17、态分布.解解 将所得数据从小到大依次排列，可得样本频数分布和样本频率分布如下表 参考教材。例例12掷一颗骰子60次，每次出现的点数为随机变量，测得如下数据：出现点数1 2 3 4 5 6频 数13 19 11 8 5 4在显著性水平下检验这颗骰子是否是均匀的？解解待检假设：所以应拒绝H0,即认为这骰子不是均匀的.列联表是将观测数据按两个或更多属性(定性变量)分类时所列出的频数表。例如，对随机抽取的1000人按性别（男或女）及色觉(正常或色盲)两个属性分类,得到如下二维列联表，又称22表或四格表。列联表的独立性检验男53565女38218性别视觉正常色盲一般,若总体中的个体可按两个属性A与B分类

18、，A 有r 个类 ，B 有c个类从总体中抽取大小为n的样本，设其中有 个个体既属于 类又属于 类，称为频数，将rc个 排列为一个r行c列的二维列联表，简称rc表(表7.4.3)。表7.4.3 rc列联表列联表分析的基本问题是:考察各属性之间有无关联，即判别两属性是否独立。如在前例中，问题是：一个人是否色盲与其性别是否有关？在rc表中，若以 和 分别表示总体中的个体仅属于 ，仅属于 和同时属于 与 的概率,可得一个二维离散分布表（表7.4.4），则“A、B两属性独立”的假设可以表述为表7.4.4 二维离散分布表这就变为上一小节中诸 不完全已知时的分布拟合检验。这里诸 共有rc个参数，在原假设H0

19、成立时，这rc个参数 由r+c个参数 和 决定。在这r+c后个参数中存在两个约束条件：所以，此时pij实际上由r+c-2个独立参数所确定。据此，检验统计量为 在H0成立时，上式服从自由度为rc-(r+c-2)-1的 分布。其中诸 是在H0成立下得到的 的极大似然估计，其表达式为 对给定的显著性水平 ，检验的拒绝域为:例7.4.3 为研究儿童智力发展与营养的关系，某 研究机构调查了1436名儿童，得到如表7.4.5的 数据，试在显著性水平0.05下判断智力发展与 营养有无关系。表7.4.5 儿童智力与营养的调查数据营养良好营养不良合计 智 商合计3423672663291304564020132

20、16423382286345143680 8090 9099 100解：用A表示营养状况，它有两个水平：表示 营养良好，表示营养不良；B表示儿童智商,它有四个水平，分别表示表中四种 情况。沿用前面的记号，首先建立假设 H0：营养状况与智商无关联，即A与B独立的。统计表示如下：在原假设H0成立下，我们可以计算诸参数的极大似然估计值:进而可给出诸 ，如其它结果见表7.4.6 表7.4.6 诸 的计算结果 营养良好 384.1677 346.8724 259.7631 313.3588 0.90810.29460.26600.19920.2403营养不良 38.877935.103626.28813

21、1.71200.09197.815，故拒绝原假设，认为营养状况对智商有影响。本例中检验的p 值为0.0002。7.4.3 正态性检验正态分布是最常用的分布，用来判断总体分布是否为正态分布的检验方法称为正态性检验，它在实际问题中大量使用。一、正态概率纸正态概率纸可用来作正态性检验，方法如下：利用样本数据在概率纸上描点，用目测方法看这些点是否在一条直线附近，若是的话，可以认为该数据来自正态总体，若明显不在一条直线附近，则认为该数据来自非正态总体。例7.4.4 随机选取10个零件，测得其直径与标 准尺寸的偏差如下：（单位：丝）9.4 8.8 9.6 10.2 10.1 7.2 11.1 8.2 8.

22、6 9.6 在正态概率纸上作图步骤如下：(1)首先将数据排序：7.2 8.2 8.6 8.8 9.4 9.6 9.8 10.1 10.2 11.1;(2)对每一个i，计算修正频率 (i-0.375)/(n+0.25),i=1,2,n,(3)将点 逐一点在正态概率纸上,(4)观察上述n个点的分布:若诸点在一条直线附近,则认为该批数 据来自正态总体；若诸点明显不在一条直线附近，则认为 该批数据的总体不是正态分布。从图7.4.2可以看到，10个点基本在一条直线附近，故可认为直径与标准尺寸的偏差服从正态分布。如果从正态概率纸上确认总体是非正态分布时，可对原始数据进行变换后再在正态概率纸上描点，若变换后

23、的点在正态概率纸上近似在一条直线附近，则可以认为变换后的数据来自正态分布，这样的变换称为正态性变换。常用的正态性变换有如下三个：对数变换 、倒数变换 和根号变换 。图7.4.3 给出这10个点在正态概率纸上的图形，这10个点明显不在一条直线附近，所以可以认为该电子元件的寿命的分布不是正态分布。例7.4.5 随机抽取某种电子元件10个,测得其寿 命数据如下:110.47,99.16,97.04,77.60,4269.82,539.35,179.49,782.93,561.10,286.80.图7.4.3 例7.4.5 的正态概率纸对该10个寿命数据作对数变换,结果见表7.4.8 表7.4.8 对

24、数变换后的数据 1 32.623.4849 0.061 6286.80 5.6588 0.5492 97.04 4.5752 0.159 7539.35 6.2904 0.6463 99.16 4.5967 0.256 8561.10 6.3299 0.7434 110.47 4.7048 0.354 9 782.936.6630 0.8415 179.49 5.1901 0.451 10 2269.82 7.7275 0.939ii利用表7.4.8 中最后两列上的数据在正态概率纸上描点，结果见图7.4.4，从图上可以看到10个点近似在一条直线附近，说明对数变换后的数据可以看成来自正态分布。这

25、也意味着，原始数据服从对数正态分布图7.4.4 变换后数据的正态概率纸二、夏皮洛威尔克(Shapiro-Wilk)检验 夏皮洛威尔克检验也简称W 检验。这个检验当8n50时可以利用。过小样本(n8)对偏离正态分布的检验不太有效。W 检验是建立在次序统计量的基础上。检验统计量为:(7.4.5)其中系数ai 可查附表6。拒绝域为:WW。其中 分位数W 可查附表7.系数 还具有如下几条性质：据此可将(7.4.5)简化为例7.4.6 某气象站收集了44个独立的年降雨量数 据，资料如下（已排序）：520 556 561 616 635 669 686 692 704 707 711713 714 719

26、 727 735 740 744 745 750 776 777786 786 791 794 821 822 826 834 837 851 862873 879 889 900 904 922 926 952 963 10561074我们要根据这批数据作正态性检验。首先由这批数据可算得:我们将计算W 的过程列于表7.4.9中。为便于计算，值 ，和 安排在同一行。表7.4.9 某一气象站收集的年降雨量 152010745540.3872255610565000.266735619634020.232346169523360.207256359262910.186866699222530.16

27、9576869042180.1542kk86929002080.140597048891850.1278107078791720.1160117118731620.1049127138621490.0943137148511370.0842147198371180.0745157278341070.0651k16735826910.056017740822820.047118744821770.038319745794490.029620750791410.021121776786100.01262277778690.0042从表7.4.9可以计算出W 的值：由于计算得到的W 值大于该值，所以在显著性水平 =0.05上不拒绝零假设，即可以认为该批数据服从正态分布。若取 =0.05，查附表7，在n=44时给出: