第7章方差分析与实验设计.pptx

《第7章方差分析与实验设计.pptx》由会员分享，可在线阅读，更多相关《第7章方差分析与实验设计.pptx（81页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、August 1,2010不同运动队的平均成绩之间是否有显著差异？n奥运会女子团体射箭比赛，每个对有3名 运 动 员。进 入最后决赛的运动队需要进行4组射击，每个队员进行两次射击。这样，每个组共射出6箭，4组共射出24箭n在2008年8月10日进行的第29届北京奥运会女子团体射箭比赛中，获得前3名 的 运 动 队 最 后决赛的成绩如下表所示第1页/共81页August 1,2010不同运动队的平均成绩之间是否有显著差异？n每个队伍的24箭成绩可以看作是该队伍射箭成绩的一个随机样本。获得金牌、银牌和铜牌的队伍之间的射箭成绩是否有显著差异呢？n如果采用第6章介绍的假设检验方法，用分布做两两的比较，

2、则需要做次比较。这样做不仅繁琐，而且每次检验犯第类错误的概率都是，作多次检验会使犯第类错误的概率相应地增加，检验完成时，犯第类错误的概率会大于。同时，随着检验的次数的增加，偶然因素导致差别的可能性也会增加n采用方差分析方法很容易解决这样的问题，它是同时考虑所有的样本数据，一次检验即可判断多个总体的均值是否相同，这不仅排除了犯错误的累积概率，也提高了检验的效率方差分析方法就很容易解决这样的问题，它是同时考虑所有的样本数据，一次检验即可判断多个总体的均值是否相同，这不仅排除了犯错误的累积概率，也提高了检验的效率 第2页/共81页7.1 方差分析的基本原理 7.1.1 什么是方差分析？7.1.2 从

3、误差分析入手 7.1.3 在什么样的前提下分析？第 7 章 方差分析与实验设计第3页/共81页7.1.1 什么是方差分析？7.1 方差分析的基本原理第4页/共81页August 1,2010什么是方差分析(ANOVA)?(analysis of variance)1.方差分析的基本原理是在20世纪20年代由英国统计学家Ronald A.Fisher在进行实验设计时为解释实验数据而首先引入的 2.检验多个总体均值是否相等通过分析数据的误差判断各总体均值是否相等3.研究分类型自变量对数值型因变量的影响 一个或多个分类型自变量l两个或多个(k 个)处理水平或分类一个数值型因变量4.有单因子方差分析和

4、双因子方差分析单因子方差分析：涉及一个分类的自变量双因子方差分析：涉及两个分类的自变量第5页/共81页August 1,2010什么是方差分析?(例题分析)【例例 】确定超市的位置和竞争者的数量对销售额是否有确定超市的位置和竞争者的数量对销售额是否有显著影响，获得的年销售额数据显著影响，获得的年销售额数据(单位：万元单位：万元)如下表如下表因子因子水平或处理水平或处理样本数据样本数据第6页/共81页August 1,2010什么是方差分析?(例题分析)1.如果只考虑“超市位置”对销售额是否有显著影响，实际上也就是要判断不同位置超市的销售额均值是否相同若它们的均值相同，意味着“超市位置”对销售额

5、没有显著影响；若均值不全相同，则意味着“超市位置”对销售额有显著影响“超市位置”就是分类自变量，“销售额”则是数值因变量。“超市位置”是要检验的对象，称为因子(factor)，商业区、居民小区、写字楼是因子的3个取值，称为水平(level)或处理(treatment)。每个因子水平下得到的销售额为样本观测值2.方差分析要解决的问题就是判断超市的位置对销售额是否有显著影响。设商业区、居民小区和写字楼3个位置超市的销售额均值是否相同 第7页/共81页7.1.2 从误差分析入手7.1 方差分析的基本原理第8页/共81页August 1,2010方差分析的基本原理(误差分解)1.总误差(total e

6、rror)反映全部观测数据的误差称所抽取的全部36家超市的销售额之间差异 2.随 机 误 差(random error)组 内 误 差(within-group error)由于抽样的随机性造成的误差反映样本内部数据之间的随机误差3.处理误差(treatment error)组间误差(between-group error)不同的处理影响所造成的误差反映样本之间数据的差异 第9页/共81页August 1,2010方差分析的基本原理(误差分解)1.数据的误差用平方和(sum of squares)表示，记为SS2.总平方和(sum of squares for total)记为SST反映全部数

7、据总误差大小的平方和抽取的全部36家超市销售额之间的误差平方和3.组内平方和(within-group sum of squares)记为SS组内反映组内误差大小的平方和 比如，每个位置超市销售额的误差平方和 只包含随机误差4.组间平方和(between-group sum of squares)记为SS组间反映组间误差大小的平方和 比如，同位置超市销售额之间的误差平方和 既包括随机误差，也包括处理误差第10页/共81页August 1,2010方差分析的基本原理(误差分解)误差平方和的分解及其关系误差平方和的分解及其关系总误差总平方和(SST)随机误差处理误差组内平方和(SS组内)组间平方和

8、(SS组间)=+第11页/共81页August 1,2010方差分析的基本原理(误差分析)1.误差的大小用均方(mean square)来表示，也称为方差(variance)平方和除以相应的自由度总平方和(SST)的自由度为n-1；组内平方和(SS组内)的自由度为n-k；组间平方和(SS组间)的自由度为k-12.组内平方和除以相应的自由度结果称为组内方差(within-group variance)；组间平方和除以相应的自由度结果称为组间方差(between-group variance)第12页/共81页August 1,2010方差分析的基本原理(误差分析)1.判断原假设是否成立，就是判断

9、组间方差与组内方差是否有显著差异2.若原假设成立，组间均方与组内均方的数值就应该很接近，它们的比值就会接近13.若原假设不成立，组间均方会大于组内均方，它们之间的比值就会大于14.当这个比值大到某种程度时，就可以说不同水平之间存在着显著差异，即自变量对因变量有影响第13页/共81页7.1.3 在什么样的前提下分析？7.1 方差分析的基本原理第14页/共81页August 1,2010方差分析的基本假定1.正态性(normality)。每个总体都应服从正态分布，即对于因子的每一个水平，其观测值是来自正态分布总体的简单随机样本在例7.1中，要求每个位置超市的销售额必须服从正态分布检验总体是否服从正

10、态分布的方法有很多，包括对样本数据作直方图、茎叶图、箱线图、正态概率图做描述性判断，也可以进行非参数检验等 2.方差齐性(homogeneity variance)。各个总体的方差 必 须 相 同，对 于 分 类 变 量 的 k个 水 平，有12=22=k2在例7.1中，要求不同位置超市的销售额的方差都相同3.独立性(independence)。每个样本数据是来自因子各水平的独立样本(该假定不满足对结果影响较大)在例7.1中，3个样本数据是来自不同位置超市的3个独立样本第15页/共81页August 1,2010方差分析中基本假定 如果原假设成立，即H0：1=2=3不同位置超市的平均销售额相等

11、 意味着每个样本都来自均值为、方差为 2的同一正态总体 X X Xf(X)f(X)f(X)1 1 1 1 2 2 2 2 3 3 3 3 4 4 4 4 第16页/共81页August 1,2010方差分析中基本假定若备择假设成立，即H1：i(i=1,2,3)不全相等至少有一个总体的均值是不同的3个样本分别来自均值不同的3个正态总体 X X Xf(X)f(X)f(X)1 1 1 1 2 2 2 2 3 3 3 3 第17页/共81页7.2 单因子方差分析 7.2.1 检验步骤 7.2.2 关系有多强？7.2.3 哪些均值之间有显著差异？第 7 章 方差分析与实验设计第18页/共81页7.2.1

12、 检验步骤7.2 单因子方差分析第19页/共81页August 1,2010单因子方差分析(one-way analysis of variance)1.只考虑一个分类型自变量影响的方差分析比如，在例7.1中，只考虑超市位置一个因子对销售额度影响，或者只考虑竞争者数量对销售额的影响，都属于单因子方差分析2.分析步骤包括提出假设构造检验统计量做出决策 第20页/共81页August 1,2010提出假设1.一般提法H0：1=2=k 自变量对因变量没有显著影响 H1：1，2，k不全相等自变量对因变量有显著影响 2.注意：拒绝原假设，只表明至少有两个总体的均值不相等，并不意味着所有的均值都不相等 第

13、21页/共81页August 1,2010构造检验的统计量F1.将组间方差MS组间除以组内方差MS组内即得到所需要的检验统计量F2.当H0为真时，二者的比值服从分子自由度为k-1、分母自由度为 n-k 的 F 分布，即 组间平方和组间平方和组内平方和组内平方和第22页/共81页August 1,2010做出决策 将统计量的值F与给定的显著性水平的临界值F进行比较(或计算出统计量的P值)，做出决策若PF ，不拒绝原假设H0，无证据表明所检验的因子对观察值有显著影响 第23页/共81页August 1,2010作出决策(F分布与拒绝域)如果均值相等，如果均值相等，如果均值相等，F F F=MS=M

14、S=MS组间组间组间/MS/MS/MS组内组内组内1 1 1 F 分布F(k-1,n-k)0 0拒绝拒绝HH0 0不拒绝不拒绝H H H H0 0 0 0F F第24页/共81页August 1,2010单因子方差分析(例题分析)【例】检验超市位置对销售额是否有显著影响(=0.05)第25页/共81页August 1,2010单因子方差分析(例题分析)1.提出假设。设不同位置超市销售额的均值分别为 1(商业区)、2(居民小区)和 3(写字楼)，提出的假设为H0：1 2 3 H1：1,2,3 不全相等2.检验方差分析的前提3.进行分析并做出决策第26页/共81页August 1,2010单因子方

15、差分析(方差分析假定的判断)箱线图分析好像不一样？第27页/共81页August 1,2010单因子方差分析(方差分析假定的判断)概率图分析第28页/共81页August 1,2010用Excel进行方差分析第1步：选择“工具”下拉菜单第2步：选择【数据分析】选项第3步：在分析工具中选择【单因子方差分析】，然后选择【确定】第4步：当对话框出现时 在【输入区域】方框内键入数据单元格区域 在【】方框内键入0.05(可根据需要确定)在【输出选项】中选择输出区域 用Excel进行方差分析第29页/共81页August 1,2010单因子方差分析(例题分析)拒绝H0第30页/共81页August 1,2

16、010方差方差来源来源平方和平方和SSSS自由度自由度dfdf均方均方MSMSF F值值组间组间组内组内SSTRSSTRSSESSESSTSSTr-1r-1n nT T-r-rn nT T-1-1MSTRMSTRMSEMSEMSTTR/MSTTR/MSEMSE方差分析表单因子方差分析第31页/共81页7.2.2 关系有多强？7.2 单因子方差分析第32页/共81页August 1,2010关系强度的测量 1.拒绝原假设表明因子(自变量)与观测值之间有显著关系2.组间平方和(SS组间)度量了自变量(超市位置)对因变量(销售额)的影响效应当组间平方和比组内平方和(SSE)大，而且大到一定程度时，就

17、意味着两个变量之间的关系显著，大得越多，表明它们之间的关系就越强。反之，就意味着两个变量之间的关系不显著，小得越多，表明它们之间的关系就越弱第33页/共81页August 1,2010关系强度的测量 1.变量间关系的强度用自变量平方和(SS组间)占总平方和(SST)的比例大小来反映2.自变量平方和占总平方和的比例记为R2,即3.其平方根R可以用来测量两个变量之间的关系强度 例题分析：R2=44.74%，R=0.6689。表明超市位置(自变量)对销售额(因变量)的影响效应占总效应的44.74%。尽管并不高，但超市位置对销售额的影响都已经达到了统计上显著的程度。R表明超市位置与销售额之间已达到中等

18、以上的相关第34页/共81页7.2.2 哪些均值之间有显著差异？7.2 单因子方差分析第35页/共81页August 1,2010多重比较的意义1.在拒绝原假设的条件下，通过对总体均值之间的配对比较来进一步检验到底哪些均值之间存在差异2.比较方法有多种，若Fisher提出的最小显著差异方法，简写为LSD第36页/共81页August 1,2010多重比较的LSD方法1.提出假设H0:mi=mj(第i个总体的均值等于第j个总体的均值)H1:mimj(第i个总体的均值不等于第j个总体的均值)2.计算检验的统计量:3.计算LSD4.决策：若 ，拒绝H0第37页/共81页August 1,2010多重

19、比较的LSD方法(例题分析)第1步：提出假设检验1：检验2：检验3：第第2 2步：步：计算检验统计量计算检验统计量检验检验1 1：检验检验2 2：检验检验3 3：第38页/共81页August 1,2010多重比较的LSD方法(例题分析)第3步：计算LSD第4步：做出决策不拒绝不拒绝H H0 0，没有证据表明商业区和居，没有证据表明商业区和居民小区的超市销售额之间有显著差异民小区的超市销售额之间有显著差异 拒绝拒绝H H0 0，商业区和写字楼的超市销售，商业区和写字楼的超市销售额之间有显著差异额之间有显著差异 拒绝拒绝H H0 0，居民小区和写字楼的超市销，居民小区和写字楼的超市销售额之间有显

20、著差异售额之间有显著差异 第39页/共81页August 1,2010用SPSS进行方差分析和多重比较 在用SPSS中进行方差分析时，需要把多个样本的观测值作为一个变量输入(本例为“投诉次数”)，然后设计另一个变量用于标记每个观测值所属的样本(本例为“行业”，1表示零售业，2表示旅游业，3表示航空公司，4表示家电制造业)第1步：选择【Analyze】【Compare Means】【One-Way-ANOVA】进入主对话框第2步：因变量(投诉次数)选入【Dependent List】，将自变量(行业)选入【Factor)】第3步(需要多重比较时)点击【Post-Hoc】从中选择 一 种 方 法，

21、如 LSD；(需 要 均 值 图 时)在【Options】下选中【Means plot】，(需要相关统计量时)选择【Descriptive】，点击【Continue】回到主对话框。点击【OK】用用SPSSSPSS进行方差分析进行方差分析第40页/共81页August 1,2010用SPSS进行方差分析和多重比较方差齐性表检验方差分析表方差分析表第41页/共81页August 1,2010用SPSS进行方差分析和多重比较多重比较第42页/共81页August 1,2010用SPSS进行方差分析和多重比较带 误 差 线(Error Bar)的 均 值 图(Means Plots)总体均值总体均值9

22、5%95%的置信区间的置信区间第43页/共81页7.3 双因子方差分析 7.3.1 不考虑交互作用 7.3.3 考虑交互作用第 7 章 方差分析与实验设计第44页/共81页7.3.1 不考虑交互作用7.3 双因子方差分析第45页/共81页August 1,2010双因子方差分析(two-way analysis of variance)1.分析两个因子(行因子Row和列因子Column)对实验结果的影响 2.如果两个因子对实验结果的影响是相互独立的，分别判断行因子和列因子对实验数据的影响，这时的双因子方差分析称为无交互作用的双因子方差分析或无重复双因子方差分析(Two-factor witho

23、ut replication)3.如果除了行因子和列因子对实验数据的单独影响外，两个因子的搭配还会对结果产生一种新的影响，这时的双因子方差分析称为有交互作用的双因子方差分析或可重复双因子方差分析(Two-factor with replication)第46页/共81页August 1,2010双因子方差分析的基本假定1.每个总体都服从正态分布对于因子的每一个水平，其观察值是来自正态分布总体的简单随机样本2.各个总体的方差必须相同对于各组观察数据，是从具有相同方差的总体中抽取的3.观察值是独立的第47页/共81页August 1,2010双因子方差分析 (例题分析)不同品牌的彩电在不同品牌的彩

24、电在不同品牌的彩电在不同品牌的彩电在5 5个地区的销售量数据个地区的销售量数据个地区的销售量数据个地区的销售量数据 品牌因子品牌因子地区因子地区因子地区地区1地区地区2地区地区3地区地区4地区地区5品牌品牌1品牌品牌2品牌品牌3品牌品牌4365345358288 350368323280 343363353298 340330343260 323333308298【例例】有有4 4个个品品牌牌的的彩彩电电在在5 5个个地地区区销销售售，为为分分析析彩彩电电的的品品牌牌(品品牌牌因因子子)和和销销售售地地区区(地地区区因因子子)对对销销售售量量的的影影响响，对对每每显显著著个个品品牌牌在在各各地

25、地区区的的销销售售量量取取得得以以下下数数据据。试试分分析析品品牌牌和和销销售售地区对彩电的销售量是否有显著影响？地区对彩电的销售量是否有显著影响？(=0.05=0.05)第48页/共81页August 1,2010分析步骤(提出假设)提出假设对行因子提出的假设为H0：m1=m2=mi=mk (mi为第i个水平的均值)H1：mi (i=1,2,k)不全相等对列因子提出的假设为H0：m1=m2=mj=mr (mj为第j个水平的均值)H1：mj(j=1,2,r)不全相等第49页/共81页August 1,2010双因子方差分析(例题分析)提出假设对品牌因子提出的假设为H0：1=2=3=4 (品牌对

26、销售量无显著影响)H1：i (i=1,2,4)不全相等 (有显著影响)对地区因子提出的假设为H0：1=2=3=4=5 (地区对销售量无显著影响)H1：j(j=1,2,5)不全相等 (有显著影响)第50页/共81页August 1,2010分析步骤(构造检验的统计量)计算平方和(SS)总误差平方和行因子误差平方和 列因子误差平方和 随机误差项平方和第51页/共81页August 1,2010分析步骤(构造检验的统计量)总误差平方和(SST)、行因子平方和(SS行)、列因子平方和(SS列)、误差项平方和(SS残差)之间的关系SST=SS行+SS列+SS残差 第52页/共81页August 1,20

27、10分析步骤(构造检验的统计量)计算均方(MS)误差平方和除以相应的自由度三个平方和的自由度分别是总误差平方和SST的自由度为 kr-1行因子平方和SSR的自由度为 k-1列因子平方和SSC的自由度为 r-1误差项平方和SSE的自由度为(k-1)(r-1)第53页/共81页August 1,2010分析步骤(构造检验的统计量)计算均方(MS)行因子的均方，记为MS行，计算公式为列因子的均方，记为MS列，计算公式为误差项的均方，记为MS残差，计算公式为第54页/共81页August 1,2010分析步骤(构造检验的统计量)计算检验统计量(F)检验行因子的统计量 检验列因子的统计量第55页/共81

28、页August 1,2010分析步骤(做出决策)计算出统计量的P值与给定的显著性水平比较，若PR ，拒绝原假设H0，表明均值之间的差异是显著的，即所检验的行因子对观察值有显著影响若PC ，拒绝原假设H0，表明均值之间有显著差异，即所检验的列因子对观察值有显著影响 用用ExcelExcel进行无重复双因子分析进行无重复双因子分析第56页/共81页August 1,2010双因子方差分析(关系强度的测量)1.行平方和(SS行)度量了品牌这个自变量对因变量(销售量)的影响效应2.列平方和(SS列)度量了地区这个自变量对因变量(销售量)的影响效应3.这两个平方和加在一起则度量了两个自变量对因变量的联合

29、效应4.联合效应与总平方和的比值定义为R25.其平方根R反映了这两个自变量合起来与因变量之间的关系强度 第57页/共81页August 1,2010双因子方差分析(关系强度的测量)例题分析品牌因子和地区因子合起来总共解释了销售量差异的83.94%其他因子(残差变量)只解释了销售量差异的16.06%R=0.9162，表明品牌和地区两个因子合起来与销售量之间有较强的关系 第58页/共81页7.3.2 考虑交互作用7.3 双因子方差分析第59页/共81页August 1,2010可重复双因子分析(提出假设)提出假设对行因子提出的假设为H0：m1=m2=mi=mk (mi为第i个水平的均值)H1：mi

30、 (i=1,2,k)不全相等对列因子提出的假设为H0：m1=m2=mj=mr (mj为第j个水平的均值)H1：mj(j=1,2,r)不全相等对交互作用的假设为H0：不无交互作用H1：有交互作用第60页/共81页August 1,2010可重复双因子分析(平方和的计算)1.总平方和：2.行变量平方和：3.列变量平方和：4.交互作用平方和：5.误差项平方和：SST=SSSST=SS行行+SS+SS列列+SS+SS交互交互+SS+SS残差残差第61页/共81页August 1,2010可重复双因子分析(构造检验统计量)1.检验行因子的统计量2.检验列因子的统计量3.检验交互作用的统计量计算出统计量的

31、计算出统计量的P P值，若值，若PP ，拒绝原假设，拒绝原假设第62页/共81页August 1,2010可重复双因子分析(例题分析)【例】检验超市位置、竞争者数量及其交互作用对销售额是否有显著影响(=0.05)第63页/共81页August 1,2010可重复双因子分析(Excel检验步骤)第1步：选择“工具”下拉菜单，并选择【数据分析】选项第2步：在分析工具中选择【方差分析：可重复双因子分 析】，然后选择【确定】第3步：当对话框出现时 在【输入区域】方框内键入数据区域(A1：C11)在【】方框内键入0.05(可根据需要确定)在【每一样本的行数】方框内键入重复实验次数(5)在【输出区域】中选

32、择输出区域 选择【确定】用用ExcelExcel进行可重复双因子分析进行可重复双因子分析第64页/共81页7.4 实验设计初步 7.4.1 完全随机化设计 7.4.2 随机化区组设计 7.4.3 因子设计第 7 章 方差分析与实验设计第65页/共81页August 1,2010实验设计与方差分析第66页/共81页7.4.1 完全随机化设计7.4 实验设计初步第67页/共81页August 1,2010完全随机化设计(completely randomized design)1.“处理”被随机地指派给实验单元的一种设计“处理”是指可控制的因子的各个水平“实验单元(experiment unit)

33、”是接受“处理”的对象或实体2.在实验性研究中，感兴趣的变量是明确规定的，因此，研究中的一个或多个因子可以被控制，使得数据可以按照因子如何影响变量来获取3.对完全随机化设计的数据采用单因子方差分析第68页/共81页August 1,2010完全随机化设计(例题分析)这里的“小麦品种”就是实验因子或因子，品种1、品种2、品种3就是因子的3个不同水平，称为处理假定选取3个面积相同的地块，这里的“地块”就是接受处理的对象或实体，称为实验单元将每个品种随机地指派给其中的一个地块，这一过程就是随机化设计过程【例例】一一家家种种业业开开发发股股份份公公司司研研究究出出3 3个个新新的的小小麦麦品品种种：品

34、品种种1 1、品品种种2 2、品品种种3 3。为为分分析析不不同同品品种种对对产产量量的的影影响响，需需要要选选择择一一些些地地块块，在在每每个个地地块块种种上上不不同同品品种种的的小小麦麦，然然后后获获得得产产量量数数据据进进行行分分析析。这一过程就是实验设计的过程这一过程就是实验设计的过程 第69页/共81页August 1,2010完全随机化设计(例题分析)实验数据：单因子方差分析单因子方差分析第70页/共81页August 1,2010完全随机化设计(例题分析)方差分析：第71页/共81页7.4.2 随机化区组设计7.4 实验设计初步第72页/共81页August 1,2010随机化区

35、组设计(randomized block design)1.先按一定规则将实验单元划分为若干同质组，称为“区组(block)”2.再将各种处理随机地指派给各个区组比如在上面的例子中，首先根据土壤的好坏分成几个区组，假定分成4个区组：区组1、区组2、区组3、区组4，每个区组中有三个地块在每个区组内的3个地块以抽签的方式决定所种的小麦品种3.分组后再将每个品种(处理)随机地指派给每一个区组的设计就是随机化区组设计4.实验数据采用无重复双因子方差分析第73页/共81页August 1,2010随机化区组设计(例题分析)实验数据：无重复双因子方差分析无重复双因子方差分析第74页/共81页August

36、1,2010随机化区组设计(例题分析)方差分析：第75页/共81页7.4.3 因子设计7.4 实验设计初步第76页/共81页August 1,2010因子设计(factorial design)1.感兴趣的因子有两个如：小麦品种和施肥方式假定有甲、乙两种施肥方式，这样3个小麦品种和两种施肥方式的搭配共有32=6种。如果我们选择30个地块进行实验，每一种搭配可以做5次实验，也就是每个品种(处理)的样本量为5，即相当于每个品种(处理)重复做了5次实验2.考虑两个因子(可推广到多个因子)的搭配实验设计称为因子设计3.该设计主要用于分析两个因子及其交互作用对实验结果的影响4.实验数据采用可重复双因子方差分析第77页/共81页August 1,2010因子设计(例题分析)实验数据：可重复双因子方差分析可重复双因子方差分析第78页/共81页August 1,2010因子设计(例题分析)方差分析：第79页/共81页结 束第80页/共81页August 1,2010感谢您的观看！第81页/共81页