数理统计与随机过程ch8.pptx

《数理统计与随机过程ch8.pptx》由会员分享，可在线阅读，更多相关《数理统计与随机过程ch8.pptx（96页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第八章:假设检验8.1 基本概念 下面，我们讨论不同于参数估计问题的另一类统计推断问题根据样本提供的信息，检验总体的某个假设是否成立的问题。这类问题称为假设检验。第1页/共96页假设检验参数检验非参数检验总体分布已知情形下，检验未知参数的某个假设总体分布未知情形下的假设检验问题先看一个例子。第2页/共96页例1：某车间用一台包装机包装葡萄糖,包得的袋装糖重是一个随机变量,它服从正态分布。当机器正常时,其均值为0.5kg,标准差为0.015 kg。某日开工后为检验包装机是否正常,随机地抽取它所包装的糖9袋,称得净重量(kg)为：0.497,0.506,0.518,0.524,0.498,0.51

2、1,0.520,0.515,0.512。问:从样本看机器是否正常?以和分别表示这一天袋装葡萄糖重量总体的均值和标准差。由于长期实践表明标准差比较稳定，我们就设=0.015。检验“机器是否正常”等价于检验“X是否服从正态分布N(,0.0152)”。第3页/共96页 确定总体：记记 X 为该车间包装机包装的袋装 葡萄糖的重量，则 X N(,0.0152)；明确任务：通过样本推断“是否等于0.5”；建立假设：上面的任务是要通过样本检验 “=0.5”的假设是否成立。I.如何建立检验模型第4页/共96页 原假设的对立面是“0.5”，称为 “对立假设”或“备择假设”,记成 “H1 1:0.5”。把原假设和

3、对立假设合写在一起，就是:H0：=0.5；H1：0.5.在数理统计中，把“=0.5”这样一个待检验的假设记为“原假设”或“零假设”,记成“H0：=0.5”。第5页/共96页II.解决问题的思路 因样本均值是 的一个很好的估计。所以，当 =0.5，即原假设 H0 成立时,应比较小；如果该值过大,想必 H0 0 不成立。于是，我们就用 的大小来判定 H0 0 是否成立。合理的做法应该是：找出一个界限 c，第6页/共96页 这里的问题是：如何确定常数 c 呢？细致地分析:根据定理，有于是，当原假设 H0 0:=0.5 成立时，有第7页/共96页为确定常数 c，我们考虑一个很小的正数，如 =0.05。

4、当原假设 H0 0:=0.5成立时，有第8页/共96页于是，我们就得到如下检验准则:为H0 0 的拒绝域。第9页/共96页用以上检验准则处理我们的问题，所以，拒绝 H0:=0.5，认为机器异常。第10页/共96页 因为，当 H0:=0.5 成立时，所以，当 很小时，若 H0 0 为真(正确),),则检验统计量落入拒绝域是一小概率事件(概率很小,为 )。前面曾提到过：“通常认为小概率事件在一次试验中基本上不会发生”。III.方法原理 那么，一旦小概率事件发生，即:发生,就认为 H0 0不正确。第11页/共96页IVIV.两类错误与显著性水平 当我们检验一个假设 H0 时，有可能犯以下两类错误之一

5、：H0 正确，但我们认为其不正确，这就犯了“弃真”的错误，即抛弃了正确的假设；H0 不正确，但被却误认为正确，这就犯了“取伪”的错误，即采用了伪假设。因为检验统计量总是随机的，所以，我们总是以一定的概率犯以上两类错误。第12页/共96页 通常分别用 和 记犯第一、第二类错误的概率，即 在检验问题中，犯“弃真”和“取伪”两类错误都总是不可避免的，并且减少犯第一类错误的概率，就会增大犯第二类错误的概率;反之亦然。所以，犯两类错误的概率不能同时得到控制。第13页/共96页 在统计学中，通常控制犯第一类错误的概概率。一般事先选定一个数 (0 0 而现在要处理的对立假设为H1:0,称为右边对立假设。类似

6、地,H0:=0;H1:0 中的对立假设H1:0 第24页/共96页在 2 2未知情况下，当原假设 成立时，第25页/共96页例 2：某厂生产一种工业用绳,其质量指标是绳子所承受的最大拉力，假定该指标服从正态分布，且该厂原来生产的绳子指标均值 0 0 =15公斤，采用一种新原材料后,厂方称这种原材料提高了绳子的质量，也就是说绳子所承受的最大拉力 比15公斤增大了。为检验该厂的结论是否真实，从其新产品中随机抽取5050件，测得它们所承受的最大拉力的平均值为15.8公斤，样本标准差S=0.5公斤。取显著性水平 =0.01。问从这些样本看：能否接受厂方的结论。第26页/共96页解：问题归结为检验如下假

7、设 H0:=15;H1:15 (2未知)于是，从而，拒绝原假设，即认为新的原材料确实提高了绳子所能承受的最大拉力。第27页/共96页两个正态总体 N(1,12)和 N(2,22)均值的比较 在应用上，经常会遇到两个正态总体均值的比较问题。例如：比较甲、乙两厂生产的某种产品的质量。将两厂生产的产品的质量指标分别看成正态总体 N(1,12)和 N(2,22)。比较它们的产品质量指标的问题，就变为比较这两个正态总体的均值 1 1和 2 2的的问题。第28页/共96页 又如：考察一项新技术对提高产品质量是否有效。将新技术实施前后生产的产品质量指标分别看成正态总体 N(1,12)和 N(2,22)。这时

8、，所考察的问题就归结为检验这两个正态总体的均值 1 1和 2 2是否相等的问题。设X1,X2,Xm与Y1,Y2,Yn 分别为抽自正态总体 N(1,12)和 N(2,22)的样本，记考查如下检验假设:第29页/共96页1.H0:1=2;H1:1 2 当 1 12 2 和 2 22 2 已知时，根据定理，有当 H0:1=2为真时，第30页/共96页故，拒绝域为 第31页/共96页 在 12=22=2，2未知情况下，根据定理，有当 H0:1=2 为真时，有第32页/共96页拒绝域为 从而 第33页/共96页 上面，我们假定 12=22。当然，这是个不得已而强加上去的条件，因为如果不加此条件，就无法使

9、用简单易行的 t 检验。在实用中，只要我们有理由认为 12和 22相差不是太大，往往就可使用上述方法。通常是：如果方差比检验未被拒绝(见下节),就认为 12和 22相差不是太大。说明：第34页/共96页例3：假设有A和B两种药，欲比较它们在服用2小时后在血液中的含量是否一样。对药品A，随机抽取8个病人服药，服药2小时后，测得8个病人血液中药物浓度(用适当的单位)分别为:1.23,1.42,1.41,1.62,1.55,1.51,1.60,1.76.对药品B，随机抽取6个病人服药，服药2小时后，测得血液中药的浓度分别为:1.76,1.41,1.87,1.49,1.67,1.81.假定这两组观测值

10、抽自具有共同方差的两个正态总体，在显著性水=0.10下，检验病人血液中这两种药的浓度是否有显著不同?第35页/共96页故，接受原假设。即,认为病人血液中这两种药浓度无显著差异。解：问题就是从总体 N(1,2)和N(2,2)中分别抽取样本X1,X2,X8 和Y1,Y2,Y6，样本均值和样本方差分别为：第36页/共96页与1.1.的分析完全类似，可以得到:2.单边检验 H0:1 2;H1:1 2 1 12 2和 2 22 2已知情况下，H0 0的拒绝域为 1 12 2与 2 22 2未知，但二者相等情况下，H0 0的 拒绝域为第37页/共96页与1.1.的分析完全类似，可以得到:3.单边检验 H0

11、:1 2;H1:1 2 1 12 2和 2 22 2已知情况下，H0 0的拒绝域为 1 12 2与 2 22 2未知，但二者相等情况下，H0 0的 拒绝域为第38页/共96页 两个正态总体与成对数据的区别u两个正态总体假定来自这两个正态总体 的两组样本，是相互独立的。u成对数据两组样本可以是来自对同一个 总体上的重复测量，它们是成对出现的，可 以是相关的。成对数据的 t 检验第39页/共96页例如:为了考察一种降血压药的效果，测试了n 个高血压病人服药前、后的血压分别为X1,X2,Xn 和Y1,Y2,Yn。这里(Xi,Yi)是第 i个病人服药前和服药后的血压，它们是相关的。处理成对数据的思路

12、因(Xi,Yi)是在同一人身上观测到的血压。所以，Xi-Yi 就消除了人的体质等诸方面的条件差异，仅剩下降血压药的效果。所以，我们可以把 di=Xi-Yi，i=1,2,n.看成抽自正态总体 N(,2)的样本。其中 就是降血压药的平均效果。第40页/共96页 一般的成对数据同样也是这样转变的。从前面所学内容可以看出：其实就是作 H0:=0;H1:0；H0:0;H1:0 方差 2 2未知情况下的检验。上述三种检验的拒绝域分别为：第41页/共96页例4：为了检验A,B两种测定铁矿石含铁量的方法是否有明显差异,现用这两种方法测定了取自12个不同铁矿的矿石标本的含铁量(%)，结果列于表 中。取=0.05

13、,问这两种测定方法是否有显著差异?第42页/共96页解:将方法A和方法B的测定值分别记为X1,X2,X12 和 Y1,Y2,Y12.第43页/共96页因这12个标本来自不同铁矿，所以,X1,X2,X12 不能看成来自同一个总体的样本。同理,Y1,Y2,Y12也不能看成来自同一个总体的样本。故,用成对 t 检验。记 di=Xi-Yi,i=1,2,12.所以，接受原假设，即认为两种测定方法无显著性差异。第44页/共96页 利用样本方差 S S 2 2是 2的一个无偏估计，且(n-1)S2/2 2n-1 的结论。单个正态总体方差的2 检验 设 X1,X2,Xn 为来自总体 N(,2)的样本，和 2

14、2未知，求下列假设的显著性水平为 的检验。思路分析:1.H0:2=02；H1:2 02 8.3 正态总体方差的检验第45页/共96页 当原假设 H0:2=02成立时，S2 2和 0 02 2应该比较接近，即比值 S S 2 2/0 02 2应接近于1 1。所以,这个比值过大或过小 时，应拒绝原假设。合理的做法是:找两个合适的界限 c1 和 c2,当 c1(n-1)S2/02 02 同理，当 H0:2=02成立时，有，此检验法也称 2 2 检验法。3*.H0:2 02；H1:2 02(同2.)第48页/共96页例1：某公司生产的发动机部件的直径(单位:cm)服从正态分布，并称其标准差 0=0.0

15、48。现随机抽取5个部件，测得它们的直径为 1.32,1.55,1.36,1.40,1.44.取=0.05，问:(1).能否认为该公司生产的发动机部件的直径 的标准差确实为=0?(2).能否认为 0?解:(1).的问题就是检验 H0:2=02;H1:2 02.其中，n=5，=0.05，0=0.048.第49页/共96页故，拒绝原假设 H0，即认为部件直径标准差不是 0.048 cm。经计算，得 S2=0.00778,第50页/共96页故，拒绝原假设 H0，即认为部件的直径标准差超过了 0.048 cm。(2).的问题是检验 H0:2 02;H1:2 02.第51页/共96页 该检验主要用于上节

16、中实施两样本 t 检验之前，讨论 1 12 2 =2 22 2 的假设是否合理。两正态总体方差比的 F 检验1.H0:12=22；H1:12 22.设X1,X2,Xm和Y1,Y2,Yn 分别为抽自正态总体 N(1,12)和 N(2,22)的样本,欲检验第52页/共96页 当 H0:12=22 成立时,12/22=1,作为其估计，S12/S22也应与 1 相差不大。当该值过分地大或过分地小时，都应拒绝原假设成立。合理的思路是：找两个界限c1和c2,当 c1 S12/S22 22 同理，当 H0:12=22成立时，有 S12/S22 Fm-1,n-1，第56页/共96页例2：甲乙两厂生产同一种电阻

17、，现从甲乙两厂的产品中分别随机地抽取1212个和1010个样品,测得它们的电阻值后，计算出样本方差分别为S12=1.40，S22=4.38。3.H0:12 22；H1:12 22结论同 2 2。以上检验都用到了F分布，因此称上述检验为 F 检验。假设两厂生产的电阻的电阻的阻值分别服从正态分布 N(1,12)和 N(2,22)。第57页/共96页在显著性水平 =0.10下,是否可接受：(l).(l).1 12 2 =2 22 2；(2).(2).1 12 2 2 22 2.解：(1).的问题是检验 H0:12=22；H1:12 22.其中，m=12,n=10,=0.10,S12=1.40,S22

18、=4.38,S12/S22=0.32。利用第六章学过的第58页/共96页及P237的附表5，有 Fm-1,n-1(1-/2)=F11,9(0.95)=1/F9,11(0.05)=1/(2.90)=0.34.因 S12/S22=0.32 0.34，所以，无须再考虑Fm-1,n-1(/2)的值，就可得到拒绝 12=22的结论。第59页/共96页 查P237 附表5，因查不到 F11,9(0.10)，改用F10,9(0.10)和F12,9(0.10)的平均值近似之，得 F11,9(0.10)=F10,9(0.10)+F12,9(0.10)/2 2.42+2.38/2 =2.40.因 S12/S22=

19、0.32 22.第60页/共96页 在前面的讨论中，我们总假定总体的分布形式是已知的。例如，假设总体分布为正态分布 N(,2),总体分布为区间(a,b)上的均匀分布，等等。然而，在实际问题中，我们所遇到的总体服从何种分布往往并不知道。需要我们先对总体的分布形式提出假设，如：总体分布是正态分布N(,2)，总体分布是区间(a,b)上均匀分布等，然后利用数据(样本)对这一假设进行检验，看能否获得通过。8.4 分布拟合检验第61页/共96页 这是一项非常重要的工作,许多学者视它为近代统计学的开端。解决这类问题的方法最早由英国统计学家 K.Pearson(皮尔逊)于1900年在他发表的一篇文章中给出,该

20、方法后被称为 Pearson 2检验法，简称 2检验。第62页/共96页 设F(x)为一已知的分布函数，现有样本X1,X2,Xn，但我们并不知道样本的总体 分布是什么。现在试图检验 H0：总体 X 的分布函数为F(x)；(1)对立假设为 H1：总体 X 的分布函数非F(x)。如果 F(x)形式已知，但含有未知参数 或参数向量=(1,2,r)，记为F(x,)。这种检验通常称为分布的拟合优度检验。2检验第63页/共96页 不妨设总体 X 是连续型分布。检验思想与步骤如下:(1).将总体 X 的取值范围分成 k 个互不重叠的 小区间 I1,I2,Ik，(2).计算各子区间 Ii 上的理论频数。如果总

21、体的分布函数为F(x,)，那么，各点落在区间 Ii 上的概率均为第64页/共96页n 个点中，理论上有n pi()个点落在 Ii 上,(称为理论频数)。当分布函数中含有未知参数 时，理论频数也未知，要用来估计 n pi()，为 的极大似然估计。(3).计算各子区间 Ii 上的实际频数 fi。fi=X1,X2,Xn Ii ，i=1,2,k.计数符号，取集合中元素的个数第65页/共96页(4).计算理论频数与实际频数的偏差平方和。可以证明：在 H0 成立，且 n时,第66页/共96页(5).H0 的显著性水平为 的检验的拒绝域为 注意：该检验方法是在 n 充分大时使用的，因而，使用时要注意 n 必

22、须足够地大,以及 npi 不能太小这两个条件。在实用上，一般要求 n 50，以及所有npi 5。如果初始子区间划分不满足后一个条件,则适当地将某些子区间合并，可使 npi 满足上述要求。第67页/共96页例1:在一实验中,每隔一定时间观察一次由某种铀所放射到计数器上的 粒子数X,共观察了100次,得到结果如下表8.1所示。给定=0.05,检验假设 H0：X 服从泊松分布 P().其中 fi 是观测到有 i 个 粒子的次数。注：XP()表示第68页/共96页解:因H0中含有未知参数,所以应先估计该参数。由极大似然估计法，得 在H0成立前提下，X 可能的取值为0,1,2,将该集合分成A0=0，A1

23、=1，,A11=11,A A1212=12,13,=12,13,，则 PX=i=pi 的估计为将检验统计量计算用数据填入下表，得 第69页/共96页第70页/共96页所以，在 =0.05下,接受原假设，可以认为数据服从泊松分布。第71页/共96页例2:自1965年1月1日至1971年2月9日共2231天中,全世界记录到里氏4级或4级以上地震共计162次，相继两次地震间隔天数X统计如下:给定=0.05,检验假设X服从指数分布。解:根据题意，检验假设：H0：X服从指数分布，即X有概率密度函数 第72页/共96页 在这里，H0中含有未知参数,应先估计。由极大似然估计法，得 在H0成立前提下，X 可能

24、的取值为0,),将其分成 A1=0,4.5)，A2=4.5,9.5),A9=39.5,)，则 P(Ai)=pi 的估计为其中Ai=ai,ai+1)，i=1,2,9,9。第73页/共96页故，在 =0.05下,接受原假设，即认为数据服从指数分布。第74页/共96页例3:为检验棉纱的拉力强度 X(单位:kg)服从正态分布，从一批棉纱中随机抽取300条进行拉力试验，结果列在表8.2中。给定 =0.01,检验假设 H0：拉力强度 X N(,2).第75页/共96页解：本例中，并未给出各观测值 Xi 的具体值,只给出了各观测值的取值范围，这样的数据称为区间数据。样本均值与样本方差可通过下列式计算：第76

25、页/共96页(1).先将数据 Xi 分成13组，每组落入一个区 间，区间的端点为：(2).计算数据落入各子区间的理论频数。因分布中含有两个未知参数，所以，理论频数只能近似地估计。落入第 i 个子区间Ii 的理论频数的估计为 ，其中第77页/共96页第78页/共96页(3).计算数据落入各子区间上的实际频数 fi。fi=X1,X2,Xn Ii ，i=1,2,10.(4).计算检验统计量的值因为 k=10，r=2，所以上述 2分布的自由度为 k-r-1=7。由(5).H0 的显著性水平为 的检验 于是，拒绝原假设，即认为棉纱拉力强度不服从正态分布。第79页/共96页 孟德尔在关于遗传问题的研究中，

26、用豌豆做实验。豌豆有黄和绿两种颜色，在对它们进行两代杂交之后，发现一部分杂交豌豆呈黄色，另一部分呈绿色。其数目的比例大致是 3:1。2检验的一个著名应用例子是孟德尔豌豆实验。奥地利生物学家孟德尔在1865年发表的论文，事实上提出了基因学说，奠定了现代遗传学的基础。他的这项伟大发现的过程有力地证明了统计方法在科学研究中的作用。因此，我们有必要在这里将这一情况介绍给大家。第80页/共96页 这只是一个表面上的统计规律。但它启发孟德尔去发展一种理论，以解释这种现象。他大胆地假定存在一种实体，即现在我们称为“基因”的东西，决定了豌豆的颜色。这基因有黄绿两个状态，一共有四种组合：孟德尔把他的实验重复了多

27、次，每次都得到类似结果。(黄,黄)，(黄,绿)，(绿,黄)，(绿,绿).第81页/共96页(黄,黄)，(黄,绿)，(绿,黄)，(绿,绿).孟德尔认为,前三种配合使豆子呈黄色,而第四种配合使豆子呈绿色。从古典概率的观点看，黄色豆子出现的概率为3/4，绿色豆子出现的概率为1/4。这就解释了黄绿颜色豆子之比为什么总是接近 3:1 这个观察结果。孟德尔这个发现的深远意义是他开辟了遗传学研究的新纪元。下面的例子就是用 2检验来检验孟德尔提出黄绿颜色豌豆数目之比为 3:1的论断。第82页/共96页例4：孟德尔豌豆试验中，发现黄色豌豆为25粒,绿色豌豆11粒，试在 =0.05下,检验豌豆黄绿之比为3:1。解

28、：定义随机变量 X(1).将(-,)分成两个区间第83页/共96页(2).计算每个区间上的理论频数，这里 n=25+11=36,不存在要估计的未知参数,故(3).实际频数为，f1=25，f2=11.(4).计算统计量的值第84页/共96页(5).H0 的显著性水平为 的检验 所以，接受原假设，即认为豌豆的黄绿之比为 3:1。第85页/共96页例5：某医院一年中出生的婴儿共计1521人,其中男婴802人，女婴719人。给定 =0.05，试问：能否认为男婴、女婴出生概率相同？解：用 X 表示服从两点分布的随机变量,X 取0,1两个值，X=1表示男婴，X=0表是女婴。则问题就是检验假设 H0：p1=

29、PX=0=0.5.(1).将(-,)分成两个区间第86页/共96页(2).计算每个区间上的理论频数。因为两个区 间上的理论概率 p1=p2=0.5,而 n=1521,故(3).各区间上实际频数：f1=802，f2=719.(4).计算统计量的值第87页/共96页(5).H0 的显著性水平为 的检验 所以，拒绝原假设，即认为男婴女婴出生概率有显著差异。第88页/共96页偏度、峰度偏度、峰度检验检验 2检验虽然是检验总体分布的一种方法,但用它检验正态总体时,犯第二类错误(取伪)的概率往往较大。为此，统计学家们对检验正态总体的各种方法进行了比较，得出了如下结论：在正态总体的检验方法中，“偏度、峰度检

30、验法”和“Shapiro,S.S.&Wilk,M.B.(1965)检验法”较为有效。第89页/共96页设X为一随机变量，称其标准化变量的三阶矩和四阶矩分别为X的偏度和峰度。当 X 服从正态分布时,1=0,2=3。第90页/共96页1与2的矩估计量分别为：设 X1,X2,Xn 是抽自总体X X的简单样本，则 当 X 服从正态分布，且n充分大(30)时，近似地有第91页/共96页设 X1,X2,Xn 是抽自总体X 的简单样本,则 第92页/共96页例6：下面列出了84个伊特拉斯坎(Etruscan)人男子头颅的最大宽度(mm)。给定 =0.1，试用偏度、峰度检验法检验数据是否来自正态总体？141

31、148 132 138 154 142 150 146 155 158 150 140 147 148 144 150 149 145 149 158 143 141 144 144126 140 144 142 141 140 145 135 147 146 141 136140 146 142 137 148 154 137 139 143 140 131 143 141 149 148 135 148 152 143 144 141 143 147 146 150 132 142 142 143 153 149 146 149 138 142 149142 137 134 144 146 147 140 142 140 137 152 145解：设数据来自总体X，现在来检验假设第93页/共96页在这里，下面计算样本2,3,4阶中心矩B1,B2和B3。计算时可利用第94页/共96页其中，经计算，得第95页/共96页感谢您的观看！第96页/共96页