统计建模与R软件第五讲-(2017).pptx

《统计建模与R软件第五讲-(2017).pptx》由会员分享，可在线阅读，更多相关《统计建模与R软件第五讲-(2017).pptx（30页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、主要内容5.1 假设检验的基本概念5.2 重要的参数检验5.3 若干重要的非参数检验第1页/共30页定义5.1对假设检验问题，设x1 xn 为样本，W为样本空间中的一个子集，对于给定的(0,1),若W满足：则称由W构成(H0的)拒绝域的检验方法为显著性水平的检验。5.1 5.1 基本概念注解基本概念注解WS1S2+=第2页/共30页假设检验的两类错误：第一类型错误：否定了真实的原假设。(弃真)犯第一类型错误的概率为显著性水平，即：犯第一类型错误的概率可以通过显著性水平来控制。第二类型错误：接受了错误的原假设。(取伪)犯第二类型错误的概率常用表示，即：第3页/共30页犯错误的概率的计算是比较复杂

2、的，以正态分布为例,H0:=0,但是实际上H0为伪,即:!=0,=1.在H0 假设下,我们可以在总体均值为H0和H1两种情况下，分别作出两条正态分布曲线(A线和B线),见图1。在理论上存在的若干个样本均值中,只要某个样本 均值XiX B/2时，我们将误认为H0为真，也就是不拒绝H0。由于真实情况是H1为真(H0为假),这样我们就犯了错误,即纳伪的错误。犯错误的概率大小就是相对真实情况H1(正态曲线A)而言，图1中阴影部分的面积：=(ZX B1-/2)-(ZXB/2)(ZX B1-/2,ZXB/2 分别是H0假设下的分位点)X B1-/2(H0)(H1)真实的情况:关于取伪：X B/2第4页/共

3、30页4.功效和样本量：功效就是正确地否定了错误的原假设的概率，常用表示：功效可以告诉我们，在备择假设是真时(应该否定H0)时,我们可以否定H0 的可信程度.若功效太低,即使真实的与0之间有差异,也很难被所用的检验方法发现.而不充分的样本量总是造成检验的低功效.已知方差时正态分布均值的单样本z检验的功效:H H0 01-a1-a 0 0+1-H H1 1单侧备择单侧备择:第5页/共30页双侧备择=影响功效的因素:变小,则z减小,所以功效也减小;若备择均值远离无效均值(即|0-1|增加),则功效增加;增加,功效减小;样本量n增加,功效增加;和 1固定,样本量n多大才能达到希望的功效?在单侧检验：

4、双侧备择下的样本量：第6页/共30页2.使用power.t.test()函数power.t.test(n=NULL,delta=NULL,sd=1,sig.level=0.05,power=NULL,type=c(two.sample,one.sample,paired),alternative=c(two.sided,one.sided),strict=FALSE)ArgumentsnNumber of observations(per group)deltaTrue difference in meanssdStandard deviationsig.levelSignificance l

5、evel(Type I error probability)powerPower of test(1 minus Type II error probability)typeType of t testalternative One-or two-sided teststrictUse strict interpretation in two-sided casePower calculations for one and two sample t testsUsage 第7页/共30页例子：power.t.test(n=20,delta=1)#已知样本量,求功效power.t.test(po

6、wer=.90,delta=1)#已知功效,求样本量 Two-sample t test power calculation n=20 delta=1 sd=1 sig.level=0.05 power=0.8689528 alternative=two.sided NOTE:n is number in*each*group Two-sample t test power calculation n=22.02110 delta=1 sd=1 sig.level=0.05 power=0.9 alternative=two.sided NOTE:n is number in*each*gro

7、up 第8页/共30页5.2.1正态总体的假设检验一个正态总体的情况双边单边 已知时：未知时：拒绝域:拒绝域:已知时：未知时：拒绝域:拒绝域:第9页/共30页R实现P_value-function(cdf,x,paramet=numeric(0),side=0)n-length(paramet)#得到参数个数 P-switch(n+1,cdf(x),cdf(x,paramet),cdf(x,paramet1,paramet2),cdf(x,paramet1,paramet2,paramet3)if(side0)1-P else if(P1/2)2*P else 2*(1-P)#根据参数的个数计

8、算#左侧检验：=P(下分位点)#右侧检验：=1-P(上分位点)#双侧检验：=2P 与与比较，如果比较，如果 ，则拒绝则拒绝H0H H0 0 0P P第10页/共30页mean.test1:mean.test1-function(x,mu=0,sigma=-1,side=0)source(P_value.R)n-length(x);xb=0)z-(xb-mu)/(sigma/sqrt(n)P-P_value(pnorm,z,side=side)data.frame(mean=xb,df=n,Z=z,P_value=P)else t-(xb-mu)/(sd(x)/sqrt(n)P P 值,则在显著

9、性水平下拒绝原假设.如果 P 值,则在显著性水平下接受原假设.第11页/共30页例5.2：某种元件的寿命X(以h计)服从正态分布N(,2),其中,2未知,现测得16只元件的寿命如下：159 280 101 212 224 379 179 264 222 362 168 250 149 260 485 170问是否有理由认为元件的平均寿命大于225？x=c(159,280,101,212,224,379,179,264,222,362,168,250,149,260,485,170)source(mean.test1.R)mean.test1(x,mu=225,side=1)mean df T

10、P_value1 241.5 15 0.6685177 0.2569801t.test(x,alternative=greater,mu=225)One Sample t-testdata:x t=0.6685,df=15,p-value=0.257alternative hypothesis:true mean is greater than 225 95 percent confidence interval:198.2321 Inf sample estimates:mean of x 241.5 side=-10.05,平均寿命不大于(小于)225p-value=0.743020.05

11、,平均寿命不小于(大于)225是否有理由认为元件的平均寿命小于225?平均寿命小于225是小概率事件拒绝域比显著性水平小问题重点:第12页/共30页二个正态总体的情况 已知时：拒绝域:单边II:双边:单边I:未知时：未知时：单边II:双边:单边I:拒绝域:单边II:双边:单边I:拒绝域:单边II:双边:单边I:第13页/共30页R实现：mean.test2-function(x,y,sigma=c(-1,-1),var.equal=FALSE,side=0)source(P_value.R)n1-length(x);n2-length(y)xb-mean(x);yb=0)z-(xb-yb)/s

12、qrt(sigma12/n1+sigma22/n2)P-P_value(pnorm,z,side=side)data.frame(mean=xb-yb,df=n1+n2,Z=z,P_value=P)else if(var.equal=TRUE)Sw-sqrt(n1-1)*var(x)+(n2-1)*var(y)/(n1+n2-2)t-(xb-yb)/(Sw*sqrt(1/n1+1/n2)nu-n1+n2-2 else S1-var(x);S2-var(y)nu-(S1/n1+S2/n2)2/(S12/n12/(n1-1)+S22/n22/(n2-1)t-(xb-yb)/sqrt(S1/n1+S

13、2/n2)P-P_value(pt,t,paramet=nu,side=side)data.frame(mean=xb-yb,df=nu,T=t,P_value=P)已知时 未知时 未知时#P-value#P-value第14页/共30页例5.3在平炉上进行一项实验以确定改变操作方法的建议是否会增加钢的得率，试验是在同一个平炉上进行的，每练一炉钢时除操作方法外，其他条件都尽可能做到相同。先用标准方法练一炉，然后用新方法练一炉，以后交替进行，各练了10炉，其得率分别为：标准方法78.172.476.274.377.478.476.075.576.777.3新方法79.181.077.379.18

14、0.079.179.177.380.282.1设这两样本相互独立，且分别来自正态总体N(12)和N(22)，其中1、2和2未知，问新的操作能否提高得率？(=0.05)x=c(78.1,72.4,76.2,74.3,77.4,78.4,76.0,75.5,76.7,77.3)y=c(79.1,81.0,77.3,79.1,80.0,79.1,79.1,77.3,80.2,82.1)source(mean.test2.r)mean.test2(x,y,var.equal=TRUE,side=-1)mean df T P_value-3.2 18 -4.295743 0.00021759270.05

15、,落在拒绝域内，所以拒绝原假设，接受10.05,不能拒绝H0,即接受H0:10.05,不能拒绝H0,即接受H0:1 2mean.test2(y,x,var.equal=TRUE,side=1)mean df T P_value1 3.2 18 4.295743 0.0002175927单边I:单边II:1新的操作对提高得率是否具有显著性？成立,说明H0小概率事件发生了,忽略H0,接受H1也即,新操作不如旧操作是否是小概率偶然事件，H0是不是小概率事件？问题重点：第16页/共30页5.2.2正态总体方差的假设检验1.单个总体的情况：单边II:双边:单边I:已知时：未知时：单边II:双边:单边I:

16、单边II:双边:单边I:第17页/共30页R实现：var.test1-function(x,sigma2=1,mu=Inf,side=0)source(P_value.R)n-length(x)if(muInf)S2-sum(x-mu)2)/n;df=n else S2-var(x);df=n-1 chi2-df*S2/sigma2;P0.05,不能拒绝H0,接受H0,=149source(var.test1.r)var.test1(x,sigma2=75)mean df T P_value149.5 19 0.2536130 0.80251860.05,不能拒绝H0,接受H0,2=75第19

17、页/共30页5.2.3 二项分布总体的假设检验2)单侧检验I：H0:pp0;H1:pp03)单侧检验II：H0:p p0;H1:pp01)双侧检验:H0:p=p0;H1:pp0n已知,对p检验:kpk1-/2k/2拒绝域由:解得分位点拒绝域:由:解得分位点拒绝域:拒绝域:第20页/共30页例5.6例5.6有一批蔬菜种子的平均发芽率p0=0.85,现随机抽取500粒,用种衣剂进行处理,结果有445粒发芽,试检验种衣剂对种子发芽率有无效果.H0:p=p0=0.85;H1:pp0DescriptionPerforms an exact test of a simple null hypothesis

18、 about the probability of success in a Bernoulli experiment.Exact Binomial TestExact Binomial TestUsage:binom.test(x,n,p=0.5,alternative=c(two.sided,less,greater),conf.level=0.95)xnumber of successes,or a vector of length 2 giving the numbers of successes and failures,respectively.nnumber of trials;

19、ignored if x has length 2.phypothesized probability of success.alternativeindicates the alternative hypothesis and must be one of two.sided,greater or less.You can specify just the initial letter.conf.levelconfidence level for the returned confidence interval.第21页/共30页R实现：Exact binomial testdata:445

20、 and 500 number of successes=445,number of trials=500,p-value=0.01207alternative hypothesis:true probability of success is not equal to 0.85 95 percent confidence interval:0.8592342 0.9160509 sample estimates:probability of success 0.89 binom.test(445,500,p=0.85)0.25(单侧检验)binom.test(5,10,p=0.25,alte

21、rnative=greater)p-value=0.078130.05,接受H0,他是瞎猜的,不能录取.binom.test(6,10,p=0.25,alternative=greater)p-value=0.01973 pro1 0拒绝H0,认为消费者对5种品牌啤酒的喜好有明显差异.H0:喜好5种啤酒的人数服从均匀分布第25页/共30页chisq.test():Test for Count Data chisq.test performs chi-squared contingency table tests and goodness-of-fit tests.Usagechisq.test

22、(x,y=NULL,correct=TRUE,p=rep(1/length(x),length(x),rescale.p=FALSE,simulate.p.value=FALSE,B=2000)xa vector or matrix.ya vector;ignored if x is a matrix.correcta logical indicating whether to apply continuity correction when computing the test statistic for 2x2 tables:one half is subtracted from all|

23、O-E|differences.No correction is done if simulate.p.value=TRUE.pa vector of probabilities of the same length of x.An error is given if any entry of p is negative.rescale.pa logical scalar;if TRUE then p is rescaled(if necessary)to sum to 1.If rescale.p is FALSE,and p does not sum to 1,an error is gi

24、ven.simulate.p.valuea logical indicating whether to compute p-values by Monte Carlo simulation.Ban integer specifying the number of replicates used in the Monte Carlo test.第26页/共30页例5.9用pearson拟合优度检验方法检验例3.6中学生成绩是否服从正态分布。x=c(25,45,50,54,55,61,64,68,72,75,75,78,79,81,83,84,84,84,85,86,86,86,87,89,89,

25、89,90,91,91,92,100)a=table(cut(x,br=c(0,69,79,89,100)p=pnorm(c(70,80,90,100),mean(x),sd(x)p=c(p1,p2-p1,p3-p2,1-p3)chisq.test(a,p=p)p=pnorm(70,mean(x),sd(x)p=pnorm(80,mean(x),sd(x)p=pnorm(90,mean(x),sd(x)p=pnorm(100,mean(x),sd(x)Chi-squared test for given probabilitiesdata:a X-squared=8.334,df=3,p-va

26、lue=0.03959注：1.要求在分组后,每组中的频数至少要大于等于5,如果出现频数小于5的组,将该组与其他组合并.2.Chisq.test是将密度函数与密度描述为P的标准密度对比；所以pearson检验是密度检验第27页/共30页5.3.2Kolmogorov-Smirnov检验检验观测分布与假想分布之间的最大差距是一个样本量的函数（表格或P值）H0:X具有分布F;统计量D所对应的显著性水平p由可靠性分布函数Qks表示:,其中:KS检验属于分布函数检验第28页/共30页例5.12对一台设备进行寿命检验,记录10次无故障工作时间,并按从小到大的次序排列如下：420,500,920,1380,1510,1650,1760,2100,2300,2350试用Kolmogorov-Smirnov检验方法检验次设备无故障工作时间的分布是否服从=1/1500的指数分布?x=c(420,500,920,1380,1510,1650,1760,2100,2300,2350)ks.test(x,pexp,1/1800)One-sample Kolmogorov-Smirnov testdata:x D=0.271,p-value=0.3845alternative hypothesis:two-sided 第29页/共30页感谢您的观看！第30页/共30页