教育统计与测量信.pptx

《教育统计与测量信.pptx》由会员分享，可在线阅读，更多相关《教育统计与测量信.pptx（58页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信度（reliabilityreliability）：指的是测量结果的稳定性和可靠的程度，亦即测量的结果是否真实、客观地反映了考生的实际水平，可记为r rxxxx。具体而言，可以从以下三方面来理解测量的信度：第1页/共58页 x xT TE Ex x表示实测值，T T表示真值(是未知的，可以把多次测量的实测值的平均值作为真值的近似值)，E E表示误差。E Ex-T x-T 第2页/共58页1 1、试比较以下两次测量结果（只进行一次）的信度：用尺子量100cm100cm高的一个儿童，得到1cm1cm的绝对误差；量185cm185cm高的一位运动员，也得得到1cm1cm的绝对误差。第3页/共58页

2、要比较两种测量结果的信度，一定要看误差分数要比较两种测量结果的信度，一定要看误差分数（E E）对于真分数（）对于真分数（T T）所占的百分数是多少。这个）所占的百分数是多少。这个百分数表示该实得分数（百分数表示该实得分数（x x）的相对误差。其计算式）的相对误差。其计算式如下：如下：相对误差相对误差E/T100%E/T100%把上述两次测量（设为甲和乙）和绝对误差分数和把上述两次测量（设为甲和乙）和绝对误差分数和真分数代入上式，得：真分数代入上式，得：相对误差（甲）相对误差（甲）1/100100%1/100100%1%1%相对误差（乙）相对误差（乙）1/185100%1/185100%0.54

3、%0.54%据此，度量乙的信度要比度量甲的信度高。据此，度量乙的信度要比度量甲的信度高。最大绝对误差最大绝对误差E/x 100%E/x 100%第4页/共58页判别两组数据谁好谁差,不能只靠对平均数的统计和比较，关键是确定这两组数据偏离各自的平均数的大小。为了消除数据容量的影响，我们借鉴研究加权平均数的方法，选用各个偏差的平方的平均数，来描述一组数据偏离其平均数的大小，这就是方差。根据假设，实得分数的方差应等于真分数的方差加上测量误差的方差。即：第5页/共58页于是，信度（r rxxxx）可定义为真分数的方差与实得分数方差的比率。即：）可见，越小，测量的信度就越高。信度的取值范围为0 0，1

4、1。第6页/共58页表1-11-1测量5 5个学生的某种分数学生学生真分数真分数误差分误差分数数实得分数实得分数A A1818-2-21616B B9 9+1+11010C C1515+2+21717D D2121+1+12222E E1212-2-21010第7页/共58页 学生真分数误差分数实得分数学生真分数误差分数实得分数A A18182 21616B B9 9 1 11010C C15152 21717D D21211 12222E E12122 21010平均数平均数 15150 0 1515 方差方差18182.82.820.820.8第8页/共58页第9页/共58页v统计量是指样

5、本上的各种数字特征。（如样本平均数、统计量是指样本上的各种数字特征。（如样本平均数、标准差等）；参数是总体上的各种数字特征（如总体平标准差等）；参数是总体上的各种数字特征（如总体平均数、标准差等）。均数、标准差等）。v在统计学中，统计量越接近参数，这个统计量的可靠在统计学中，统计量越接近参数，这个统计量的可靠性越高。而要知道统计量与参数的接近程度，可以对参性越高。而要知道统计量与参数的接近程度，可以对参数进行区间估计。数进行区间估计。第10页/共58页v我们不妨将测量的平均值看做平均数抽样分布中的一个平均数，真值视为平均我们不妨将测量的平均值看做平均数抽样分布中的一个平均数，真值视为平均数抽样

6、分布的总平均数（数抽样分布的总平均数（），这样一来，只要能估计出实得分数分布的），这样一来，只要能估计出实得分数分布的标准差标准差测量的标准误测量的标准误，就可以利用，就可以利用区间估计的公式区间估计的公式，算出实测值与真值的接近程度，算出实测值与真值的接近程度，从而计算出测量结果的信度。从而计算出测量结果的信度。第11页/共58页例例：根据对一组人（设根据对一组人（设n30）进行某种智力因素测验的结果，）进行某种智力因素测验的结果，计算出有关统计量如下，求真分数的置信区间（或真值在什么计算出有关统计量如下，求真分数的置信区间（或真值在什么数值的范围内）。数值的范围内）。第12页/共58页统计

7、学中估计事物或现象间数量变动的一致性，主要采用相关分析的方法，即计算出两种变量的相关系数（r rxyxy）。在使用相关系数表示信度的高低时，相关系数可称为信度系数(coefficient of(coefficient of reliability)reliability)。它是对相同应试者的同一特性的两次测量分数的相关系数，是测量结果的一致性的指标。第13页/共58页（一）再测信度（稳定性系数）（二）复本信度（等值性系数）（三）内部一致性系数（四）评分者信度（五）目标参照测验信度（六）速度测验的信度第14页/共58页又称重测信度，表示测验稳定性的方法，是指用同一量表对相同被试者（一组人）在不同

8、时间测验两次的实得分数的相关系数。估计稳定性系数的基本程序：测验A A1 1 适当时距 测验A A2 2第15页/共58页相关系数可以用不同方法计算，这取决于数据相关系数可以用不同方法计算，这取决于数据的性质。最为普遍的是皮尔逊积差相关系数：的性质。最为普遍的是皮尔逊积差相关系数：X为第一次测验的实得分数;Y为第一次测验的实得分数;N为应试者数.第16页/共58页用一个算术四则的速度测验用一个算术四则的速度测验1212个小学生，得个小学生，得分记为分记为X X，为了考察测量结果的可靠性，于，为了考察测量结果的可靠性，于3 3个月后再测一次，得分记为个月后再测一次，得分记为Y Y，问测验结果是，

9、问测验结果是否可靠？否可靠？序号序号 1 2 3 4 5 6 7 8 9 10 11 121 2 3 4 5 6 7 8 9 10 11 12X 20 20 21 22 23 23 23 24 25 26 26 X 20 20 21 22 23 23 23 24 25 26 26 2727Y 20 21 21 20 23 23 25 25 26 26 27 Y 20 21 21 20 23 23 25 25 26 26 27 2929第17页/共58页 A1A1A2A2X X2 2Y Y2 2XYXYX XY Y01010202030304040505060607070808090910101

10、1111212202020202121222223232323232324242525262626262727202021212121202023232323252525252626262627272929400400441484529529529576625676676729 400441441400529529625625676676729841 400420441440529529625625650676702783 XX280280YY286286XX2 265946594YY2 269126912XYXY64206420第18页/共58页解解:(1)把资料列表于后把资料列表于后,计算

11、出公式计算出公式(1-10)所需的各种统计量所需的各种统计量:X280 Y286 X26594Y26912 XY6420(2)把所计算的统计量代入公式把所计算的统计量代入公式:第19页/共58页1 1、两次测验之间的时间间隔要适宜。2 2、两次测验试卷要等值，即在内容范围、题型、题数、难度、区分度等方面要基本相同。3 3、确定两测验是否等值，还要考察两次测验结果的平均数与标准差。4 4、重测法适用于速度测验而不适用于难度测验。5 5、测试应注意提高被试者的积极性。6 6、测试间隔期内，被试不能获得学习和训练第20页/共58页复本信度是一种表示测验等值性的方法，是以两个等值（题型题数、难度、区分

12、度相等）但具体内容不同的量表，在最短时距内，对相同应试者先后施测两次所获得的两组对应分数的相关系数。其模式是：第21页/共58页以以A A、B B两型英语复本测验对初中三年级两型英语复本测验对初中三年级1010个学个学生施测，为避免由测验施测顺序所造成的误差，生施测，为避免由测验施测顺序所造成的误差，其中其中5 5个学生先做个学生先做A A型测验，休息型测验，休息1515分钟后，再分钟后，再做做B B型测验；而另型测验；而另5 5个学生先做个学生先做B B型测验，休息型测验，休息1515分钟后，再做分钟后，再做A A型测验。型测验。1010个学生个学生A A型测验结果型测验结果记为记为X X，

13、B B型测验结果记为型测验结果记为Y Y，其测验的复本信度，其测验的复本信度如何？如何？学生序号学生序号 1 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8 9 1010X 19 19 18 17 16 15 15 14 13 X 19 19 18 17 16 15 15 14 13 1212Y 20 17 18 18 17 15 13 15 12 Y 20 17 18 18 17 15 13 15 12 1212第22页/共58页优点：优点：1 1、测验的两个复本，如果在不同的时间使用，、测验的两个复本，如果在不同的时间使用，其信度既可以反映在不同时间的稳定性，又可其信度既可

14、以反映在不同时间的稳定性，又可以反映对于不同测题的一致性；以反映对于不同测题的一致性；2 2、两个复本在同时使用时，可以避免再测信、两个复本在同时使用时，可以避免再测信息的一些缺点，如首测时再测在记忆、练习、息的一些缺点，如首测时再测在记忆、练习、效果的影响，间隔期间获得新知识的影响，两效果的影响，间隔期间获得新知识的影响，两次施测的环境不同和被试主观状态不同的影响，次施测的环境不同和被试主观状态不同的影响，以及为了应付测验所作训练的影响等。以及为了应付测验所作训练的影响等。第23页/共58页缺点：缺点：1 1、编制两个完全相等的测验是很困难的，如果、编制两个完全相等的测验是很困难的，如果两个

15、复本过分相似，则变成再测形式，而过分不两个复本过分相似，则变成再测形式，而过分不相似，又使等值的条件不存在；相似，又使等值的条件不存在；2 2、两个复本测验有可能在某种程度上测量了不、两个复本测验有可能在某种程度上测量了不同的性质，这就会低估测验的信度；同的性质，这就会低估测验的信度；3 3、被试同时接受性质相似的两个测验，可能减、被试同时接受性质相似的两个测验，可能减少完成测验的积极性；少完成测验的积极性；4 4、虽然两个复本测验的题目材料不同，但被试、虽然两个复本测验的题目材料不同，但被试一旦掌握了解题的某一模式，就能触类旁通，有一旦掌握了解题的某一模式，就能触类旁通，有可能失去复本的意义

16、。可能失去复本的意义。第24页/共58页1.量表的同质性和等值性。2.测验时距宜短。3.测验的信度系数有稍微偏大的倾向。4.确定测验是否等值，还要考察两次测验结果的平均数与标准差。第25页/共58页采用复本法两次测验之间要求一个适当长的时距。注意：两个测试有较高的等值性 时距要妥善规定第26页/共58页又叫同质性信度。是同一测验量表的两个部分（例如分为奇数题和偶数题，或者量表的前一半和后一半）得分的相关系数。估计方法有两种：1 1、分半法：是将一次测验分成两个假定相等而独立的两部分来记分。通常是以题目的奇数为一组，偶数为一组，计算两级的相关系数，最后用斯皮尔曼布朗公式校正，求得整个测验的信度系

17、数。斯皮尔曼布朗公式为：n r rxy xy 为两组测验分数的相关系数，为两组测验分数的相关系数，r rtttt表示整个测验的表示整个测验的信度系数。信度系数。第27页/共58页问题：为什么不直接用奇数题总分与偶数题的问题：为什么不直接用奇数题总分与偶数题的部分计算出的相关系数作为整个测验的信度系部分计算出的相关系数作为整个测验的信度系数而要加以校正？数而要加以校正？这是因为测验的长度（指量表中所包含的题目数）这是因为测验的长度（指量表中所包含的题目数）对信度的大小有一定的影响，测验越长，信度越对信度的大小有一定的影响，测验越长，信度越高高。而用分半法，实际上等于把整个测验长度减小了而用分半法

18、，实际上等于把整个测验长度减小了一半，所以按分成两半的资料求出的信度必然低一半，所以按分成两半的资料求出的信度必然低于整个测验的信度。于整个测验的信度。第28页/共58页例：有一个由100100题构成的量表施行于1010个高三学生（分数见下表）。测验一次后，应试者即毕业离校。现在怎样评价测验结果的信度？得分得分被试被试奇数题总奇数题总分分偶数题总偶数题总分分X XY Y010102020303040405050606070708080909101038383737383841414040363638383939404035353737373736363939393934343838393939

19、393636方法：分半法方法：分半法第29页/共58页得分得分被试被试奇数题总分奇数题总分偶数题总分偶数题总分X X2 2Y Y2 2XYXYX XY Y0101020203030404050506060707080809091010383837373838414140403636383839394040353537373737363639393939343438383939393936361444144413691369144414441681168116001600129612961444144415211521160016001225122513691369126912691296129

20、61521152115211521115611561444144415211521152115211296129614061406136913691368136815991599156015601224122414441444152115211560156012601260XX382382YY374374XX2 21462414624YY2 21401414014XYXY1431114311第30页/共58页解解：把有关统计量代入公式，求相关系数：把有关统计量代入公式，求相关系数用斯皮尔曼布朗公式校正，用斯皮尔曼布朗公式校正，经校正后的信度系数很大（经校正后的信度系数很大（0.910.91），

21、说明整），说明整个测验的信度高。个测验的信度高。第31页/共58页用此法只需测验一次，然后以各个问题的正确反应数为基础（此可视为各题难度的信息），或根据各人总分的平均数和标准差，计算信度系数。此公式有几个，其中常用的有r rKR20KR20和r rKR21KR21 。（1 1）r rKR20KR20的用法：这个公式以每题能正确回答的人数占总人数的百分数为基础计算（每题只有通过或未通过两种分数）。第32页/共58页例：有一种包含例：有一种包含6 6个问题的测验，个问题的测验，1010个应试者得分个应试者得分如下表（答对得如下表（答对得1 1分，答错得分，答错得0 0分），试估计应试分），试估计应

22、试者反应的一致性程度。者反应的一致性程度。第33页/共58页题题得目得目被试分被试分1 12 23 34 45 56 6ZZ0010010020020030030040040050050060060070070080080090090100101 10 00 00 00 00 01 11 10 00 01 10 00 02 20 00 00 00 01 11 12 21 11 11 10 00 00 03 30 01 10 00 01 11 13 31 11 11 10 00 00 03 31 11 11 11 10 00 04 41 11 11 11 10 00 04 41 11 10 01

23、 11 11 15 51 11 10 01 11 11 15 5XXp p q q pq pq 8 75 55 54 44 4 0.8 0.7 0.50.50.50.50.40.40.40.4 0.2 0.3 0.50.50.50.50.60.60.60.6 0.16 0.21 0.250.25 0.250.25 0.240.24 0.24 pq=1.350.24 pq=1.35第34页/共58页解：解：1 1）列出得分矩阵，计算有关统计量：）列出得分矩阵，计算有关统计量：这个测验的信度系数较低，说明内容一致性差，量表这个测验的信度系数较低，说明内容一致性差，量表中的题目并非都可以测量相同的特

24、性，即题目的同质中的题目并非都可以测量相同的特性，即题目的同质性差或难度悬殊较大。性差或难度悬殊较大。第35页/共58页这个公式以各应试者总分的平均数和方差为基础，无需各题的难度信息。公式如下：第36页/共58页论文式测验的评分没有严格的评分标准，以致同样一个题目，不同的应试者的回答和得分都不一样，所以无法用前面的公式，而要用克龙巴赫（Cronbach,1951Cronbach,1951）所创的系数公式：第37页/共58页被被题题 号号 试试ABCDESi2171181111483.04269789391.363610689392.564811683366.96571181111483.046

25、71181111483.044062415452例：有一种包含例：有一种包含6 6个论文式题目的测验，对个论文式题目的测验，对5 5个应个应试者施行，得分列入下表，试求该测验的信度。试者施行，得分列入下表，试求该测验的信度。第38页/共58页解：解：1 1）求每题各应试者得分的方差）求每题各应试者得分的方差S Si i2 2(见表列见表列)2 2）求每题各应试者得分的方差之和）求每题各应试者得分的方差之和SSi i2 2SSi i2 23.043.041.361.363.043.0418.6518.653 3）求所有应试者各自的总分的方差）求所有应试者各自的总分的方差SST T2 2（表格最（

26、表格最下一行各数据的方差）下一行各数据的方差）S ST T2 268.9668.964 4）代入公式（）代入公式（1-141-14）得信度系数）得信度系数第39页/共58页用分半法时，以按奇数题和偶数题为宜。速度测验不宜用分半法。客观试题与主观试题第40页/共58页要计算评分者评分的一致性系数，需区分评分者的人次数。若为2 2人评N N份试卷，可用斯皮尔曼等级相关的公式计算；若三个人以上的评分者评N N份试卷，则需计算肯德尔和谐系数（以W W表示）1 1、斯皮尔曼等级相关公式：第41页/共58页试试卷卷得分得分名次名次等级之差等级之差DD2甲评分甲评分乙评分乙评分甲名次甲名次乙名次乙名次ABC

27、DEFGHIJ9490868672706866646193929270827665766860123.53.5567891012.52.5745.595.58100-0.51-3.510.5-22.51000.25112.2510.2546.2510第42页/共58页解：解：1）计算所需统计量：）计算所需统计量：D和和 D2（见表）（见表）；N10；D200.25112.2510262）将统计量）将统计量N和和D2代入公式代入公式答：甲乙两位教师阅卷的一致性系数较高，评分比答：甲乙两位教师阅卷的一致性系数较高，评分比较可靠较可靠。第43页/共58页例：例：1010个评委对个评委对7 7位参赛选

28、手所评等级位参赛选手所评等级如下表所示如下表所示，问这问这1010位评委的评分是否具有一致性？位评委的评分是否具有一致性？第44页/共58页选选手手N N7 7评价者评价者K K7 7R Ri iR Ri i2 21 12 23 34 45 56 67 78 89 9101001010202030304040505060607073 35 52 23 34 44 43 32 24 43 36 6 7 6 7 5 7 7 6 66 6 7 6 7 5 7 7 6 65 4 5 7 6 6 4 4 5 45 4 5 7 6 6 4 4 5 41 1 1 2 2 2 2 1 1 21 1 1 2 2

29、 2 2 1 1 24 3 4 4 3 3 5 6 3 54 3 4 4 3 3 5 6 3 52 2 3 1 1 1 1 3 2 1 2 2 3 1 1 1 1 3 2 1 7 7 6 5 5 7 6 5 7 77 7 6 5 5 7 6 5 7 733336363505015154040171762621081089 93963969 92502500 02252251601600 02892893843844 4 R Ri i280 280 R Ri i2 21351613516第45页/共58页分析：从W=0.827来看，10人的评价较为一致。严格地讲，W值是否达到显著性水平，需要做统

30、计假设检验。当K等于320，N等于37时，可根据K和N查“W显著性检验时S的临界值表”进行检验。第46页/共58页在进行等级评定时，常会遇到两个或两个以上事在进行等级评定时，常会遇到两个或两个以上事物的等级相同，如果遇到这种情况，应采用下面物的等级相同，如果遇到这种情况，应采用下面的修正公式：的修正公式：第47页/共58页例：三位教师评阅四份试卷，所评等级列入下表，他们例：三位教师评阅四份试卷，所评等级列入下表，他们所评的等级是否一致？所评的等级是否一致？N NK K作文编号（作文编号（N N4 4）1 12 23 34 4张张王王李李3 31 14 42 22 21 14 41 12 22

31、23 32 2R Ri i7 74 411115 5解：本题因王老师给两份试卷评了相同等级，李老师给三解：本题因王老师给两份试卷评了相同等级，李老师给三份试卷评了相同等级，所以要用公式（份试卷评了相同等级，所以要用公式（1-17）计算）计算W。第48页/共58页第49页/共58页目标参照性测验不是在于区分被试的差异，而是与一个既定的目标相比较，看被试是否达到了某一水平。前期目标预测测验和后期目标监测测验的比较法复本法：（两次都合格+两次都不合格)/)/总人数第50页/共58页判断是否为速度测验：速度变异量占的比例=考生完成题数方差/测验分数方差 0到1之间，0是难度测验，1是速度测验重测信度复

32、本信度内部一致性系数 分两半 分四段 第51页/共58页1.1.信度是任何一种测量的必要条件。因为教育测量的对象主要是精神现象，所测量的特性不易把握，为了能真实地反应测验对象的某种特点，需要更加注意测量的信度，从而正确地判断测量结果的价值。2.2.信度高的教育测量，能给教师和教育工作的领导者提供可靠的信息，为他们的教育预测和决策提供依据。3.3.信度高的教育测量，能使教师对学生的评价变得客观和可靠，也使学生对自己的认识更符合实际情况，从而有助于改进教与学的方法。4.4.信度高的教育测量，有助于提高教师的工作效率。第52页/共58页1.1.系统误差：量表有问题，评分标准过宽过眼，会影响测量准确性

33、，但不影响可靠性2.2.随机误差：由偶然因素的影响产生的误差，影响信度。3.3.抽样误差：由测验中被试之间的差异造成的误差。信度可以定义为真分数方差与实得分数方差的比率。真分数越是大小悬殊，参差不齐，信度越高。所以影响信度。第53页/共58页（一）信度系数（以相关系数表示）以多大为宜 信度系数必须和求得信度系数的环境条件（测验的用途以及测验的内容和条件）相联系。就测验的内容来说，标准学业成绩测验要求信度系数在0.900.90以上，常达到0.950.95。标准智力测验的信度系数应达到0.850.85以上。个性测验和兴趣测验的信度系数一般应达0.70.800.70.80。第54页/共58页1 1、

34、适当增加测验题目的数量。尽管测验长度的增加与信度的提高不是等比例的，但延长测验的长度，既可排除试题抽样的偶然性因素，也有可能扩大得分的范围，因而使信度系数增大，测验信度提高。采用此法时，须作到（1 1）新增加测验题与原有的测验题应有相同的统计性质，即应有相同的平均难度和相同的组间相关。（2 2）加大测验长度应当不影响被试者回答问题的方法。第55页/共58页2 2、测验的难度要适中。、测验的难度要适中。当测验难度太大时，应试者得分普遍偏低，形成正当测验难度太大时，应试者得分普遍偏低，形成正偏态分布；反之，形成负偏态分布。在这两种分布偏态分布；反之，形成负偏态分布。在这两种分布中，得分大部分集中在

35、低分端或高分端，分数分布中，得分大部分集中在低分端或高分端，分数分布的范围和分数之间的差异都较小，用这些实得分数的范围和分数之间的差异都较小，用这些实得分数计算出的方差也较小，从而使得信度降低。计算出的方差也较小，从而使得信度降低。经验表明经验表明：难度在：难度在0.40-0.700.40-0.70之间是合适的，也有之间是合适的，也有人认为难度从人认为难度从0.25-0.750.25-0.75都利于提高测验信度。都利于提高测验信度。3.3.测验信度与测验项目区分度的关系：提高区分度测验信度与测验项目区分度的关系：提高区分度能够提高信度。能够提高信度。第56页/共58页4 4、测验的内容应尽是同质。、测验的内容应尽是同质。5 5、测验的时间要充分。、测验的时间要充分。6 6、测验的程序应统一。、测验的程序应统一。7 7、评分要客观化，减少评分误差。、评分要客观化，减少评分误差。第57页/共58页感谢您的观看。第58页/共58页