浙江大学概率论与数理统计盛骤第四.pptx

《浙江大学概率论与数理统计盛骤第四.pptx》由会员分享，可在线阅读，更多相关《浙江大学概率论与数理统计盛骤第四.pptx（156页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、11 1 假设检验 统计推断的另一类重要问题是假设检验问题。它包括（1）已知总体分布的形式，但不知其参数的情况，提出参数的假设，并根据样本进行检验.（2）在总体的分布函数完全未知的情况下，提出总体服从某个已知分布的假设，并根据样本进行检验.第1页/共156页2例1 设某种清漆的设某种清漆的9个样品，其干燥时间（以小时计）个样品，其干燥时间（以小时计）分别分别 为：为：6.0 5.7 5.5 6.5 7.0 5.8 5.2 6.1 5.0根据以往经验，干燥时间的总体服从正态分布根据以往经验，干燥时间的总体服从正态分布N(6.0,0.36),现根据样本检验均值是否与以往有显著差异？现根据样本检验均

2、值是否与以往有显著差异？例2 一种摄影药品被其制造商声称其贮藏寿命是均值180天、标准差不多于10天的正态分布。某位使用者担心标准差可能超过10天。他随机选取12个样品并测试，得到样本标准差为14天。根据样本有充分证据证明标准差大于10天吗？例3 孟德尔遗传理论断言，当两个品种的豆杂交时，圆的和黄的、起皱的和黄的、圆的和绿的、起皱的和绿的豆的频数将以比例9：3：3：1发生。在检验这个理论时，孟德尔分别得到频数315、101、108、32、这些数据提供充分证据拒绝该理论吗？第2页/共156页3 参数的假设检验问题处理步骤1.根据实际问题的要求，提出原假设 和备择假设 ；2.根据样本X_i，确定检

3、验统计量T(X_i)以及拒绝域（拒 绝原假设的区域）的形式；3.给定显著性水平，按照“在原假设H0成立时，拒绝原假设的概率不大于显著性水平”这一原则，确定拒绝域；4根据样本观测值作出决策，接受原假设还是拒绝原假设。第3页/共156页4例1 设某种清漆的设某种清漆的9个样品，其干燥时间（以小时计）个样品，其干燥时间（以小时计）分别为：分别为：6.0 5.7 5.5 6.5 7.0 5.8 5.2 6.1 5.0根据以往经验，干燥时间的总体服从正态分布根据以往经验，干燥时间的总体服从正态分布N(6.0,0.36),现根据样本检验均值是否与以往有显著差异？现根据样本检验均值是否与以往有显著差异？由于

4、作出决策的依据是一个样本，因此，可能出现“实际上原假设成立，但根据样本作出拒绝原假设”的决策。这种错误称为“第一类错误”，实际中常常将犯第一类错误的概率控制在一定限度内，即事先给定较小的数(01)（称为显著性水平）,使得第4页/共156页5上述检验法则符合实际推断原理。第5页/共156页6注释1：假设检验中的假设检验中的4种可能结果种可能结果通常，犯第一类错误的概率、犯第二类错误的概率、样本容量可以看作为“三方拔河”。决策 原假设H0真的 假的不拒绝H0拒绝H0正确决策 第二类错误第一类错误 正确决策 第一类错误：原假设H0成立时，作出拒绝原假设的决策；第二类错误：备择假设H1成立时，作出接受

5、原假设的决策。第6页/共156页7这是一对矛盾，要同时减少犯第一、第二类错误，只有增大样本容量。第7页/共156页8注释2：假设检验与区间估计的比较。假设检验与区间估计的比较。即拒绝域可以这样得到：将置信区间不等号反向，将原假设成立时的值代入到参数中即可。第8页/共156页9 22 正态总体均值方差的假设检验正态总体均值方差的假设检验第9页/共156页10第10页/共156页11第11页/共156页12 第12页/共156页13例2 某种元件的寿命X（以小时记）服从正态分布 均未知。现测得16只元件的寿命如下：159 280 101 212 224 379 179 264 222 362 16

6、8 250 149 260 485 170问是否有理由认为元件的平均寿命大于225（小时）？（取显著性水平为0.05）t没有落在拒绝域内，故接受原假设，认为元件的平均寿命不大于225小时。第13页/共156页14例3 要求某种元件的平均使用寿命不得低于1000小时，生产者从一批这种元件中随机抽取25件，测得其平均寿命为950小时，标准差为100小时。已知这批元件的寿命服从正态分布。试在显著性水平0.05下确定这批元件是否合格？t落在拒绝域内，故拒绝原假设，认为这批元件的平均寿命小于1000小时，不合格。第14页/共156页15第15页/共156页16第16页/共156页17第17页/共156页

7、18 例4：某厂使用两种不同的原料A,B生产同一类型产品。各在一周的产品中取样分析。取用原料A生产的样品220件，测得平均重量为2.46（公斤），样本标准差s=0.57（公斤）。取用原料B生产的样品205件，测得平均重量为2.55（公斤），样本标准差为0.48（公斤）。设两样本独立，来自两个方差相同的独立正态总体。问在水平0.05下能否认为用原料B的产品平均重量较用原料A的为大。第18页/共156页19 基于成对数据的检验例5：为了试验两种不同谷物种子的优劣，选取了十块土质不同的土地，并将每块土地分为面积相同的两部分，分别种植这两种种子。设在每块土地的两部分人工管理等条件完全一样。下面给出各块

8、土地上的产量。土地 1 2 3 4 5 6 7 8 9 10种子A(xi)23 35 29 42 39 29 37 34 35 28种子B(yi)26 39 35 40 38 24 36 27 41 27di=xi-yi -3 -4 -6 2 1 5 1 7 -6 1问：以这两种种子种植的谷物产量是否有显著的差异（取显著性水平为0.05)?第19页/共156页20 第20页/共156页21第21页/共156页22 第22页/共156页23（四）两个正态总体方差的检验第23页/共156页24 例7：两台机床生产同一个型号的滚珠，从甲机床生产的滚珠中 抽取8个，从乙机床生产的滚珠中抽取9个，测得这

9、些滚珠 的直径(毫米)如下:甲机床 15.0 14.8 15.2 15.4 14.9 15.1 15.2 14.8 乙机床 15.2 15.0 14.8 15.1 14.6 14.8 15.1 14.5 15.0第24页/共156页25第25页/共156页26第26页/共156页待估参数 原假设枢轴量 检验统计量 分 布置信区间拒绝域 一个正态总体两个正态总体正态总体均值、方差的置信区间与假设检验第27页/共156页28 定义 若C是参数的某检验问题的一个检验法，称为检验法C的施行特征函数或OC函数，其图形称为OC曲线。33 样本容量的选取样本容量的选取第28页/共156页29 1。Z检验法的

10、OC函数第29页/共156页30第30页/共156页31第31页/共156页32 例8（工业产品质量抽验方案）设有一大批产品，产品质量指标X服从 。以小者为佳，厂方要求所确定的验收方案对高质量的产品 能以高概率1为买方所接受。买方则要求低质产品 能以高概率1被拒绝。，有厂方与买方协商给出。并采取一次抽样以确定该批产品是否为买方所接受。问应怎样安排抽样方案。已知 且由工厂长期经验知 。经商定=0.05。第32页/共156页33 2。t检验法的OC函数第33页/共156页34第34页/共156页35 第35页/共156页364.4.分布拟合检验分布拟合检验 前面介绍的各种检验法都是在总体服从正态分

11、布前提下，对参数进行假设检验的。实际中可能遇到这样的情形，总体服从何种理论分布并不知道，要求我们直接对总体分布提出一个假设。例如，要检验在计算机上产生随机数的一个程序。指令该程序产生0到9之间的100个单个数字。观察整数的频数如下表。那么以0.05的显著性水平，有充分的理由相信该批整数不是均匀产生的吗？整数 0 1 2 3 4 5 6 7 8 9频数 11 8 7 7 10 10 8 11 14 14第36页/共156页37 例如，从1500到1931年的432年间，每年爆发战争的次数可以看作一个随机变量，据统计，这432年间共爆发了299次战争，具体数据如下:战争次数X 0 1 2 3 4发

12、生 X次战争的年数 223 142 48 15 4 通常假设每年爆发战争的次数服从泊松分布。那么上面的数据是否有充分的理由推翻每年爆发战争的次数服从泊松分布假设？第37页/共156页38它是在总体X 的分布未知时，根据来自总体的样本，检验关于总体分布的假设的一种检验方法。（一）拟合检验法第38页/共156页39第39页/共156页40第40页/共156页41第41页/共156页42战争次数X 0 1 2 3 4发生 X次战争的年数 223 142 48 15 4 例1，从1500到1931年的432年间，每年爆发战争的次数可以看作一个随机变量，据统计，这432年间共爆发了299次战争，具体数据

13、如下:通常假设每年爆发战争的次数服从泊松分布。那么上面的数据是否有充分的理由推翻每年爆发战争的次数服从泊松分布假设？战争次数x 0 1 2 3 4实测频数 223 142 48 15 4概率估计 0.502 0.346 0.119 0.027 0.006理论频数 217 149 51 12 3第42页/共156页43战争次数x 0 1 2 3 4实测频数 223 142 48 15 4概率估计 0.502 0.346 0.119 0.027 0.006理论频数 217 149 51第43页/共156页44 例2 孟德尔遗传理论断言，当两个品种的豆杂交时，圆的和黄的、起皱的和黄的、圆的和绿的、起

14、皱的和绿的豆的频数将以比例9：3：3：1发生。在检验这个理论时，孟德尔分别得到频数315、101、108、32、这些数据提供充分证据拒绝该理论吗？豆子状态x 1 2 3 4实测频数 315 101 108 32 概率 9/16 3/16 3/16 1/16理论频数 312.75 104.25 104.25 34.75第44页/共156页45141141 148148132132 138138154154142142150150146146155155158158150150 140140147147 148148144144 1501501491491451451491491581581431

15、43141141144144 144144126126 140140144144 142142141141140140145145135135147147146146141141 136136140140 146146142142 137137148148154154137137139139143143140140131131 143143141141 149149148148 135135148148152152143143144144141141143143147147 146146150150 132132142142 1421421431431531531491491461461491

16、49138138142142 149149142142 137137134134 144144146146147147140140142142140140137137152152 145145 例3下面列出了84个伊特拉斯坎(Etruscan)人男子的头颅的最大宽度(mm)，试检验这些数据是否来自正态总体（取=0.1）第45页/共156页46解为粗略了解数据的分布情况，先画出直方图。步骤如下：1.找出数据的最小值、最大值为126、158，取区间124.5,159.5,它能覆盖126,158；2.将区间124.5,159.5等分为7个小区间,小区间的长度=(159.5-124.5)/7=5,称为

17、组距，小区间的端点称为组限，建立下表：组组 限限频数 fi频率率 fi/n累累计频率率124.5-129.5124.5-129.5129.5-134.5129.5-134.5134.5-139.5134.5-139.5139.5-144.5139.5-144.5144.5-149.5144.5-149.5149.5-154.5149.5-154.5154.5-159.5154.5-159.51 14 41010333324249 93 30.01190.01190.04760.04760.11910.11910.39290.39290.28570.28570.10710.10710.03570

18、.03570.01190.01190.05950.05950.17860.17860.57150.57150.85720.85720.95240.95241 1第46页/共156页473.自左向右在各小区间上作以fi/n为高的小矩形 如下图，即为直方图。注：直方图的小区间可以不等长，但小区间的长度不能太大，否则平均化作用突出，淹没了密度的细节部分；也不能太小，否则受随机化影响太大，产生极不规则的形状。第47页/共156页48从本例的直方图看，有一个峰，中间高，两头低，较对称，样本象来自正态总体。于是检验第48页/共156页49 x129.5 x129.5129.5x134.5129.5x134

19、.5134.5x139.5134.5x139.5139.5x144.5139.5x144.5144.5x149.5144.5x149.5149.5x154.5149.5x154.5154.5x154.5x2)个水平，n个对象参与了试验。假定对应于因素第j个水平的组中有个试验对象，响应变量数据为通常假定第71页/共156页72检验假设假设等价于第72页/共156页73（二）平方和分解第73页/共156页74证明：第74页/共156页75第75页/共156页76第76页/共156页77方差来源平方和自由度均方F比因素As-1误差n-s总和n-1单因素试验方差分析表第77页/共156页78第78页/

20、共156页79例1设有5种治疗荨麻疹的药，要比较它们的疗效。假设将30个病人分成5组，每组6人，令同组病人使用一种药，并记录病人从使用药物开始到痊愈所需时间，得到下面的记录：(=0.05)药物x治愈所需天数y15，8，7，7，10，824，6，6，3，5，636，4，4，5，4，347，4，6，6，3，559，3，5，7，7，6第79页/共156页80这里药物是因子，共有5个水平，这是一个单因素方差分析问题，要检验的假设是“所有药物的效果都没有差别”。方差分析表方差来源平方和自由度均方F比因素A36.466749.1167 3.90误差58.5000252.3334总和94.966729第80

21、页/共156页81未知参数的估计第81页/共156页82第82页/共156页832 双因素试验的方差分析 例假设某药物研究者为检验a,b两种化学物质的抗癌效果，要做动物试验。通常的作法是：将一些患有某种癌的白鼠随机地分成三组。其中两组分别注射a,b两种化学物质，而第三组不作处理，作为对照。记第一组：注射a物质，第二组：注射b物质，第三组：不做处理。经过一段时间观察后，得到寿命数据。在这个药物试验中，如果白鼠的性别有可能对其寿命有显著的影响。这时应该考虑将“性别”作为一个因素“双因素试验”。因素A：药物，三个水平；因素B：性别，二个水平；两个因素共有236种组合。第83页/共156页84（一）双

22、因素等重复试验的方差分析 因素B因素A第84页/共156页85第85页/共156页86分别检验假设第86页/共156页87第87页/共156页88第88页/共156页89第89页/共156页90第90页/共156页91双因素试验的方差分析表方差来源平方和自由度均方F比因素A因素B交互作用误差总和第91页/共156页92例3为了比较3种松树在4个不同的地区的生长情况有无差别，在每个地区对每种松树随机地选取5株，测量它们的胸径，得到的数据列表如下。松树数据表松树种类地区1234123,15,26,13,2125,20,21,16,1821,17,16,24,2714,17,19,20,24228,

23、22,25,19,2630,26,26,20,2819,24,19,25,2917,21,18,26,23318,10,12,22,1315,21,22,14,1223,25,19,13,2218,12,23,22,19第92页/共156页93这是一批等重复的两种方式分组数据，记树种因素为A，地区因素为B，则A因素有3个水平，B因素有4个水平，总共有12个水平组合，每个组合（单元）有5个重复观测。将树的胸径作为度量树的生长情况是否良好的数值指标，我们的目标是：由以上数据来判断不同树种及不同地区对松树的生长情况是否有影响（好或坏）？这里要考虑的影响有三种：树种的单独影响（A因素主效应），地区的单

24、独影响（B因素主效应），以及不同树种和不同地区的结合所产生的交互影响（AB因素的交互效应）。这是一个典型的等重复双因素方差分析模型。第93页/共156页94输出各单元总和及因素水平总和：松树数据的总和表单元总和B1B2B3B4水平总和A19810010594397A2120130116105471A3758410294355水平总和2933143232931223第94页/共156页95方差来源平方和自由度均方F比F值=0.05因素A344.93332172.46679.453.19因素B46.0500315.35000.842.80交互作用113.6000618.93331.042.30误差

25、875.60004818.2417总和1380.183359双因素方差分析表第95页/共156页96 进一步考查A因素不同水平的均值。注意到A因素的第二水平为最大：23.55，而第三水平的均值为最小：17.65，可以认为树种2的生长情况优于树种3。能够得出这个结论，得益于观测的等重复性。然后再来看B因素的主效应，即在扣除松树种类的效应后，不同地区对树的胸径的影响。由方差分析表知，B因素的主效应不显著，即不同的地区对树的胸径没有显著影响。最后来看AB因素的交互效应，即在扣除两种效应后，由不同树种和不同地区的结合而产生的对树的胸径的影响，这种影响可以解释为某些地区特别适合（或特别不适合）某个树种的

26、生长。结果也不显著。首先来看A因素主效应，即在扣除地区效应后，松树的不同种类对树的胸径的影响。由方差分析表可以看出，A因素主效应是显著的，即松树的不同种类对树的胸径有显著影响。第96页/共156页97（二）双因素无重复试验的方差分析 因素B因素A第97页/共156页98第98页/共156页99分别检验假设第99页/共156页100第100页/共156页101第101页/共156页102第102页/共156页103双因素无重复试验的方差分析表方差来源平方和自由度均方F比因素A因素B误差总和第103页/共156页104例4假定对3个小麦品种和3块试验地块进行区组设计试验，得到如下的数据：表小麦品种

27、区组试验数据小麦品种（A）试验地块（B）总和B1B2B3A1258279242779A2302314336952A3321318327966总和8819119052697第104页/共156页105在这个问题中我们关心的是小麦的不同品种之间在产量上的差异。由于地块不同对小麦的产量也会有影响，因此在比较试验结果时，要扣除地块的影响之后再来比较品种的差异。假定品种与地块之间无交互效应，则可对上述数据进行双因素可加效应模型的方差分析。第105页/共156页106双因素无重复试验的方差分析表方差来源平方和自由度均方F比F值=0.05因素A7232.666723616.333312.506.94因素B1

28、68.0000284.0000 0.296.94误差1157.33334289.3333总和8558.00008第106页/共156页107在这个问题中我们所关心的是因素A的效应，由方差分析表知，原假设不成立，即认为小麦品种的产量之间有显著差异。在这里，品种3的单产最高，而品种1的产量最低，因此可以断定品种3明显地优于品种1。第107页/共156页1083 一元线性回归分析一、确定性关系：当自变量给定一个值时，就确定应变量的值与之对应。如：在自由落体中，物体下落的高度h与下落时间t之间有函数关系：变量与变量之间的关系第108页/共156页109二、相关性关系：变量之间的关系并不确定，而是表现为

29、具有随机性的一种“趋势”。即对自变量x的同一值，在不同的观测中，因变量Y可以取不同的值，而且取值是随机的，但对应x在一定范围的不同值，对Y进行观测时，可以观察到Y随x的变化而呈现有一定趋势的变化。如：身高与体重，不存在这样的函数可以由身高计算出体重，但从统计意义上来说，身高者，体也重。再如：父亲的身高与儿子的身高之间也有一定联系，通常父亲高，儿子也高。回归分析研究相关性关系的最基本，应用最广泛的方法。第109页/共156页110（一）一元线性回归第110页/共156页111在实际问题中，回归函数(x)一般是未知的，需要根据试验数据去估计。第111页/共156页112第112页/共156页113

30、一元线性回归要解决的问题：第113页/共156页114（二）a,b的估计最小二乘估计第114页/共156页115正规方程系数行列式第115页/共156页116 在误差为正态分布假定下，最小二乘估计等价于极大似然估计。事实上，似然函数第116页/共156页117第117页/共156页118第118页/共156页119例1K.Pearson收集了大量父亲身高与儿子身高的资料。其中十对如下：父亲身高x（吋）60626465666768707274儿子身高y（吋）63.665.2 6665.5 66.9 67.1 67.4 68.370.1 70求Y关于x的线性回归方程。第119页/共156页120第

31、120页/共156页121（三）误差方差的估计第121页/共156页122第122页/共156页123例2求例1中误差方差的无偏估计。第123页/共156页124（1）影响Y取值的，除了x，还有其他不可忽略的因素；（2）E(Y)与x的关系不是线性关系，而是其他关系；（3）Y与x不存在关系。（四）线性假设的显著性检验采用最小二乘法估计参数采用最小二乘法估计参数a和b，并不需要事先知道Y与x之间一定具有相关关系，即使是平面图上一堆完全杂乱无章的散点，也可以用公式求出回归方程。因此(x)是否为x的线性函数，一要根据专业知识和实践来判断，二要根据实际观察得到的数据用假设检验方法来判断。若原假设被拒绝，

32、说明回归效果是显著的，否则，若接受原假设，说明Y与x不是线性关系，回归方程无意义。回归效果不显著的原因可能有以下几种：第124页/共156页125第125页/共156页126例3检验例1中回归效果是否显著，取=0.05。第126页/共156页127（五）回归系数b的置信区间当回归效果显著时，常需要对回归系数b作区间估计。第127页/共156页128 (六)回归函数 函数值的点估计和置信区间第128页/共156页129第129页/共156页130（七）Y的观察值的点预测和预测区间第130页/共156页131第131页/共156页132第132页/共156页133注：在预测时，一定要落在已有的 的

33、数据范围内部，否则预测常常没有意义。第133页/共156页134例4，在例1中F.Galton曾断言“儿子身高会受到父亲身高的影响，但身高偏离父代平均水平的父亲，其儿子身高的影响有回归到子代平均水平的趋势。”试问例1这组数据能证实这一论断吗(=0.05)?并给出x=69吋时,y的预测区间。(1)回归到平均水平的趋势，即检验第134页/共156页135第135页/共156页136例5合金钢的强度y与钢材中碳的含量x有密切关系。为了冶炼出符合要求强度的钢常常通过控制钢水中的碳含量来达到目的，为此需要了解y与x之间的关系。其中x：碳含量（）y：钢的强度（kg/mm2）数据见下：x0.030.040.

34、050.07 0.090.10 0.120.150.17 0.20y40.539.541.041.5 43.042.0 45.047.553.0 56.0（1）画出散点图；（2）设(x)=a+bx,求a,b的估计；（3）求误差方差的估计，画出残差图；（4）检验回归系数b是否为零（取=0.05)；（5）求回归系数b的95置信区间；（6）求在x=0.06点，回归函数的点估计和95置信区间；（7）求在x=0.06点，Y的点预测和95区间预测。第136页/共156页137 0.03 0.05 0.07 0.09 0.11 0.13 0.15 0.17 0.1956 54 52 50 48 46 44

35、42 40 38 （1）合金钢的强度y与钢材中碳的含量x的散点图第137页/共156页138x0.030.040.050.07 0.090.10 0.120.150.17 0.20y40.539.541.041.5 43.042.0 45.047.553.0 56.0第138页/共156页139 0.03 0.05 0.07 0.09 0.11 0.13 0.15 0.17 0.19 x0e第139页/共156页140 0.03 0.05 0.07 0.09 0.11 0.13 0.15 0.17 0.1956 54 52 50 48 46 44 42 40 38 合金钢的强度y与钢材中碳的含

36、量x的回归直线图第140页/共156页141第141页/共156页142第142页/共156页143（八）可化为一元线性回归的例子实际中常会遇到很复杂的回归问题，但在某些情况下，通过适当的变量变换，可将其化为一元线性回归来处理。下面是三种常见的可转化为一元线性回归的模型。第143页/共156页144第144页/共156页1454 多元线性回归在实际问题中，影响Y（因变量）的因素（自变量）往往不止一个，设有第145页/共156页146第146页/共156页147第147页/共156页148第148页/共156页149第149页/共156页150第150页/共156页151例6某公司在各地区销售一

37、种特殊化妆品。该公司观测了15个城市在某月内对该化妆品的销售量Y及各地区适合使用该化妆品的人数X1和人均收入X2，得到数据如下：表化妆品销售的调查数据地区i销售（箱）Yi人数（千人）Xi1人均收入（元）Xi21162274245021201803254322337538024131205283856786234761692653782781983008第151页/共156页152地区i销售（箱）Yi人数（千人）Xi1人均收入（元）Xi281923302450911619521371055532560112524304020122323724427131442362660141031572088

38、152123702605化妆品销售的调查数据（续）第152页/共156页153第153页/共156页154由回归方程可知，若固定人均收入不变，则人数每增加1千人，销售量增加0.496箱；若固定人数不变，收入每增加1元，销售量增加0.0092箱。多元线性回归也可以像一元线性回归一样，检验模型的回归效果是否显著。所不同的是，在模型的回归效果显著的情况下，还要检验每个自变量对因变量的效应是否显著，不显著就要剔除，通常用逐步回归法可以使回归方程变得简洁、明确、显著。在此基础上可以对给定点处对应的Y进行点预测和区间预测。所有这些都可以通过SAS软件实现。第154页/共156页2023/4/20课件结束!第155页/共156页156感谢您的观看！第156页/共156页