实验设计第三讲方差分析和回归分析幻灯片.ppt

《实验设计第三讲方差分析和回归分析幻灯片.ppt》由会员分享，可在线阅读，更多相关《实验设计第三讲方差分析和回归分析幻灯片.ppt（76页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、实验设计第三讲方差分析和回归分析第1页，共76页，编辑于2022年，星期五2简单比较实验回顾n两独立样本t检验n小样本，方差未知，分方差齐和方差不齐两种情形。n两独立样本Z检验n两个总体为正态，且方差已知；或者大样本情形。n配对样本t检验实质转化为一个总体均值与已知值（0）的比较。第2页，共76页，编辑于2022年，星期五3假设两种配方的方差是相等的，检验统计量是，是的一个估计量第3页，共76页，编辑于2022年，星期五4假设两种配方的方差不相等，检验统计量是，第4页，共76页，编辑于2022年，星期五5若 已知，且在原假设为真的前提下有第5页，共76页，编辑于2022年，星期五6第6页，共7

2、6页，编辑于2022年，星期五7本例第7页，共76页，编辑于2022年，星期五8单侧检验第8页，共76页，编辑于2022年，星期五9样品杆尖1杆尖2di=y1i-y2i17612330335-2443158806321724-2899095411045-1第9页，共76页，编辑于2022年，星期五10配对样本的基本模型是杆尖i在样品j上的读数是杆尖i的硬度平均读数值是样品j的硬度效应（区组效应）第10页，共76页，编辑于2022年，星期五11计算第j个配对值dj因此，就等价于当用配对方式出现是，硬度效应就会消失第11页，共76页，编辑于2022年，星期五12模型转换转化为总体方差未知时，单总体

3、样本与已知均值u=0的比较t检验第12页，共76页，编辑于2022年，星期五13本例第13页，共76页，编辑于2022年，星期五14配对与独立的比较：置信区间配对独立第14页，共76页，编辑于2022年，星期五15关于方差齐性检验n两个正态总体方差是否相等？当H0为真时，第15页，共76页，编辑于2022年，星期五16第16页，共76页，编辑于2022年，星期五17平衡设计与非平衡设计n当每一种处理的重复次数相等的时候，我们称这种设计为平衡设计，相应的实验为平衡实验。n反之，如果重复次数不相等，则称之为非平衡设计与非平衡实验。第17页，共76页，编辑于2022年，星期五18样本量的有关问题第1

4、8页，共76页，编辑于2022年，星期五19样本量与正态性假设（一）n前述t检验其实要求总体符合正态分布，意味着之前要对总体是否是正态总体进行一个所谓的正态性检验。n当样本量很小时候，进行正态性检验的效率本身不高。因此只能根据常识判断是否符合正态分布。n如果是小样本，总体的确不符合正态分布，此时需要用到非参数检验的方法，此时效率更低，而且在小样本情况下难以得出有效结论。第19页，共76页，编辑于2022年，星期五20样本量与正态性假设（二）n事实上，只要实验数据满足随机化原则，即使总体不符合正态分布，用t检验方法与非参数方法检验结果总是很接近的。n而在大样本的情况下，即使总体不符合正态分布，也

5、可以利用中心极限定理认为统计量总是近似符合正态分布。因此，总体是否为正态，我们并不太关注。因此，总体是否为正态，我们并不太关注。此约束条件可以放松。此约束条件可以放松。第20页，共76页，编辑于2022年，星期五21样本量与检验的效率n样本量越大，检验的效率越高，即当样本量很大时，即使是细微的差异，也可能在统计上是显著的。n但是这在统计上并非总是需要的，有些统计上的显著差异在专业上也许是无意义的。因此，对统计检验往往不能简单地关心两个处理之间是否存在差异，而是关心这种差异是否达到某种极限。第21页，共76页，编辑于2022年，星期五22样本量与检验的条件n等方差检验的效率要高于异方差，在样本量

6、较小的条件下，这种差异比较明显，但是在大样本的场合下，两种检验的效率就非常接近了。但这时推荐使用异方差的检验结果。n因为等方差假设总是“软”的，总是我们不能“拒绝原假设”的条件下做出的，而异方差则是硬结论。可以在任何样本量下先做异方差条件下的检验，如果此时都能拒绝原假设，则就不必进行等方差条件下的检验了。若检验不出显著差异，则可以进行方差齐性检验，再在方差齐的条件下进行检验。第22页，共76页，编辑于2022年，星期五23方差分析第23页，共76页，编辑于2022年，星期五24方差分析在实验设计中的作用n影响实验指标的因素可以只有一个，也可以有多个，这些称为factor。n各个因素可以取多个水

7、平，因此，不同的因素及其不同的水平，都可以看作不同的总体。n通过实验数据来分析不同因素和不同水平对实验指标的影响程度的方法，就是方差分析方法。第24页，共76页，编辑于2022年，星期五25方差分析的主要内容n单因素实验的方差分析n双因素实验的方差分析n多因素实验的方差分析第25页，共76页，编辑于2022年，星期五26单因素实验的方差分析第26页，共76页，编辑于2022年，星期五27单因素方差分析模型因素水平 12niA1x11x12x1n1A2x21x22x2n2Aixi1xi2xiniAaxa1xa2xana第27页，共76页，编辑于2022年，星期五28模型的三项基本假定n正态性：所

8、有数据符合正态分布；（均值不一定相等）n方差齐性：所有数据的方差相等；（不同总体的方差相等）n随机性（所有实验数据相互独立，即误差项相互独立）。第28页，共76页，编辑于2022年，星期五29模型nAi水平下有样本数据xi1，xi2，xinin来自于正态总体第29页，共76页，编辑于2022年，星期五30第30页，共76页，编辑于2022年，星期五31n方差分析的任务是检验该线性统计模型中a个总体 的均值 是否相等第31页，共76页，编辑于2022年，星期五32固定效应模型与随机效应模型简单了解第32页，共76页，编辑于2022年，星期五33固定效应模型na个处理（水平）由实验者具体选定。且满

9、足约束条件n得到的相关结论仅适用于分析中所考虑的因素水平，不能推广至未曾明确考虑的相似处理中。第33页，共76页，编辑于2022年，星期五34随机效应模型（方差分量模型）n把a个处理（水平）看作是来自一个较大的处理总体的一个随机样本。在此情形下，希望能够把结论推广至总体所有可能的处理当中。而不管它在分析中是否明确考虑。此时 是随机变量。n例如实验者关注很多可能水平的因素，若从这多个水平中随机选取a个水平，则称因素是随机的。第34页，共76页，编辑于2022年，星期五35总离差平方和的分解水平Ai下的样本均值样本数据的总均值总离差平方和第35页，共76页，编辑于2022年，星期五36总离差平方和

10、的分解第36页，共76页，编辑于2022年，星期五37总离差平方和的分解总离差平方和因素A效应平方和，组间差Ai水平下样本值与样本均值之间的差异，由于随机误差引起的，称为误差平方和第37页，共76页，编辑于2022年，星期五38总离差平方和的分布H0成立时（即因素水平效应为零时，即所有样本数据来自于同一个正态总体）第38页，共76页，编辑于2022年，星期五39误差平方和的分布无论无论H0成立与否成立与否第39页，共76页，编辑于2022年，星期五40因素A效应的平方和第40页，共76页，编辑于2022年，星期五41第41页，共76页，编辑于2022年，星期五42第42页，共76页，编辑于20

11、22年，星期五43在原假设成立的条件下而第43页，共76页，编辑于2022年，星期五44事实上第44页，共76页，编辑于2022年，星期五45在H0成立的条件下，统计量Mean Square均方第45页，共76页，编辑于2022年，星期五46方差来源平方和自由度均方F比因素ASAa-1MSAF=MSA/MSE误差ESEn-aMSE总和TSTn-1第46页，共76页，编辑于2022年，星期五47简化计算公式nP8n例题1.1.1n思考：请问这里的思考：请问这里的F检验是单侧还是双侧检验是单侧还是双侧的？的？第47页，共76页，编辑于2022年，星期五48完全随机化的单因素实验设计完全随机化的单因

12、素实验设计例：产品开发工程师考虑让合成纤维的抗拉强度增加的方案。根据经验，抗拉强度会受纤维中所含的棉花的比例的影响。而且还知道，若要成品布具有所希望的质量特性（受恒压加工处理），棉花的含量应当在10-40%之间。现在决定检验15%，20%，25%，30%，35%这五种棉花含量水平。每种水平试验5种样品。a=5,n1=n2=n3=n4=n5=5如何来安排实验？第48页，共76页，编辑于2022年，星期五49实验编号棉花含量实验序号15%1234520%67891025%111213141530%161718192035%2122232425第49页，共76页，编辑于2022年，星期五50如何进行

13、实验？第50页，共76页，编辑于2022年，星期五51随机抽选序号进行实验n例如利用随机数表选择序号，直到做完25个实验为止。n之所以如此进行，是为了防止未知的干扰因素对实验结果造成污染。因此即是进行所谓的随机化。n如果依次按照1-25号做完实验，会有什么后果？第51页，共76页，编辑于2022年，星期五52为何说检验若干个均值是否相等的恰当方法是方差分析？n例如前例检验五个均值是否相等 u1=u2=u3=u4=u5一种做法是可以利用两个独立样本的t检验来检验所有可能样本对需要检验多少次？假设检验犯错误的概率大为增加：1-0.9510=1-0.60=0.40 第52页，共76页，编辑于2022

14、年，星期五53多重比较 在否定了原假设之后，并未明确指出哪些均值不同。此时需要进一步比较各组均值之间的差异，即所谓的多重比较。需要检验 个假设：第53页，共76页，编辑于2022年，星期五54最小显著性差异法（LSD）第54页，共76页，编辑于2022年，星期五55第55页，共76页，编辑于2022年，星期五56第56页，共76页，编辑于2022年，星期五57双边检验，则当就认为 与 有显著差异就是所谓的最小显著性差异此时只需要将每对均值差的绝对值与LSD比较，如果大于LSD，就显著。否则就不显著。第57页，共76页，编辑于2022年，星期五58LSD方法的问题n可能极大地提高犯第一类错误的风

15、险；n有时候方差分析的F值是显著的，但利用LSD方法找不到任何有显著差异的水平对。即有些差异不一定以两个水平的均值之差表现出来。LSD方法与Duncan方法在众多的多重比较方法中，功效是最强的。第58页，共76页，编辑于2022年，星期五59正态性检验n正态概率纸法n残差图法第59页，共76页，编辑于2022年，星期五60正态概率纸法n横坐标等间隔，表示观察值大小；n纵坐标表示观察值中不超过值x的数据个数占全部观察值个数的比例；n任意两个方差相等的正态分布函数呈现平行的直线状。第60页，共76页，编辑于2022年，星期五61正态分布右偏分布左偏分布正态概率纸第61页，共76页，编辑于2022年

16、，星期五62具体操作n检验x1,x2,xm是否来自于正态总体的一个样本。1）把样本数据进行排序x(1)x(2)x(m),一般要求m8。2）计算x(j)处的累积概率 用修正频率 来估计，计算出这些估计值3）把m个点x(j),j/(m+1)逐一点在正态概率纸张上。4）用目测判断，若大致在一条直线周围，则来自于正态总体，若非，则不是正态总体。第62页，共76页，编辑于2022年，星期五63正态概率纸法的缺陷n实验设计中，重复次数少于8的情形很多，此时单独就每组样本数据使用正态概率纸来检验，效果不好。容易判断失误；第63页，共76页，编辑于2022年，星期五64可行办法一：汇总残差项数n把各组的残差合

17、并成一个大样本之后再利用正态概率纸法来诊断第64页，共76页，编辑于2022年，星期五65n若ni相同，均为m，则诸残差来自于同一正态分布总体n因此，在各处理重复次数接近时，就可以利用正态概率纸法，将残差合并进行正态性检验。第65页，共76页，编辑于2022年，星期五66残差对原始数据的散点图第66页，共76页，编辑于2022年，星期五67方差齐性检验（略）第67页，共76页，编辑于2022年，星期五68双因素方差分析第68页，共76页，编辑于2022年，星期五69两个因素A与BB1B2BbA1x111,x112,x11nx121,x122,x12nx1b1,x1b2,x1bnA2x211,x

18、212,x21nx221,x222,x22n x2b1,x2b2,x2bnAaxa11,xa12,xa1nxa21,xa22,xa2nxab1,xab2,xabn第69页，共76页，编辑于2022年，星期五70第70页，共76页，编辑于2022年，星期五71第71页，共76页，编辑于2022年，星期五72第72页，共76页，编辑于2022年，星期五73第73页，共76页，编辑于2022年，星期五74P18第74页，共76页，编辑于2022年，星期五75关于自由度及方差分析表nP18-19n例1.2.2 P19第75页，共76页，编辑于2022年，星期五76谢谢！谢谢！第76页，共76页，编辑于2022年，星期五