教育统计与测量第6章-信度优秀PPT.ppt

《教育统计与测量第6章-信度优秀PPT.ppt》由会员分享，可在线阅读，更多相关《教育统计与测量第6章-信度优秀PPT.ppt（58页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、测验结果的牢靠性称为测验的信度一般接受相关分析的方法，计算出两种变量的相关系数，用相关系数的大小来表示一样性程度的凹凸。相关系数大，则测验信度高；相关系数小，则测验信度低。信度（信度（reliabilityreliability）：指的是测量结果的稳定性和）：指的是测量结果的稳定性和牢靠的程度，亦即测量的结果是否真实、客观地反映牢靠的程度，亦即测量的结果是否真实、客观地反映了考生的实际水平，可记为了考生的实际水平，可记为rxxrxx。具体而言，可以从以下三方面来理解测量的信度：具体而言，可以从以下三方面来理解测量的信度：x xT TE Ex x表示实测值，表示实测值，T T表示真值表示真值(是

2、未知的，可以把多次测量是未知的，可以把多次测量的实测值的平均值作为真值的近似值的实测值的平均值作为真值的近似值)，E E表示误差。表示误差。E Ex-T x-T 1 1、试比较以下两次测量结果（只进行一次）的信、试比较以下两次测量结果（只进行一次）的信度：度：用尺子量用尺子量100cm100cm高的一个儿童，得到高的一个儿童，得到1cm1cm的确定误差；的确定误差；量量185cm185cm高的一位运动员，也得得到高的一位运动员，也得得到1cm1cm的确定误差。的确定误差。要比较两种测量结果的信度，确定要看误差分数要比较两种测量结果的信度，确定要看误差分数（E E）对于真分数（）对于真分数（T

3、T）所占的百分数是多少。这个）所占的百分数是多少。这个百分数表示该实得分数（百分数表示该实得分数（x x）的相对误差。其计算式）的相对误差。其计算式如下：如下：相对误差相对误差E/T100%E/T100%把上述两次测量（设为甲和乙）和确定误差分数和把上述两次测量（设为甲和乙）和确定误差分数和真分数代入上式，得：真分数代入上式，得：相对误差（甲）相对误差（甲）1/100100%1/100100%1%1%相对误差（乙）相对误差（乙）1/185100%1/185100%0.54%0.54%据此，度量乙的信度要比度量甲的信度高。据此，度量乙的信度要比度量甲的信度高。最大确定误差最大确定误差E/x 10

4、0%E/x 100%判别两组数据谁好谁差判别两组数据谁好谁差,不能只靠对平均数的统计不能只靠对平均数的统计和比较，关键是确定这两组数据偏离各自的平均和比较，关键是确定这两组数据偏离各自的平均数的大小。为了消退数据容量的影响，我们借鉴数的大小。为了消退数据容量的影响，我们借鉴探讨加权平均数的方法，选用各个偏差的平方的探讨加权平均数的方法，选用各个偏差的平方的平均数，来描述一组数据偏离其平均数的大小，平均数，来描述一组数据偏离其平均数的大小，这就是方差。这就是方差。依据假设，实得分数的方差应等于真分数的方差依据假设，实得分数的方差应等于真分数的方差加上测量误差的方差。即：加上测量误差的方差。即：于

5、是，信度（于是，信度（r rxxxx）可定义为真分数的方差与实得分数方差的比率。）可定义为真分数的方差与实得分数方差的比率。即：即：）可见，可见，越小，测量的信度就越高。信度的取值范围越小，测量的信度就越高。信度的取值范围为为0 0，1 1。表表1-11-1测量测量5 5个学生的某种分数个学生的某种分数 学生真分数误差分数实得分数学生真分数误差分数实得分数A A18182 21616B B9 9 1 11010C C15152 21717D D21211 12222E E12122 21010平均数平均数 15150 0 1515 方差方差18182.82.820.820.8v统计量是指样本上

6、的各种数字特征。（如样本平均数、统计量是指样本上的各种数字特征。（如样本平均数、标准差等）；参数是总体上的各种数字特征（如总体平标准差等）；参数是总体上的各种数字特征（如总体平均数、标准差等）。均数、标准差等）。v在统计学中，统计量越接近参数，这个统计量的牢靠在统计学中，统计量越接近参数，这个统计量的牢靠性越高。而要知道统计量与参数的接近程度，可以对参性越高。而要知道统计量与参数的接近程度，可以对参数进行区间估计。数进行区间估计。v我们不妨将测量的平均值看做平均数抽样分布中的一个平均数，真值视为平均我们不妨将测量的平均值看做平均数抽样分布中的一个平均数，真值视为平均数抽样分布的总平均数（数抽样

7、分布的总平均数（），这样一来，只要能估计出实得分数分布的），这样一来，只要能估计出实得分数分布的标准差标准差测量的标准误测量的标准误，就可以利用，就可以利用区间估计的公式区间估计的公式，算出实测值与真值的接近程度，算出实测值与真值的接近程度，从而计算出测量结果的信度。从而计算出测量结果的信度。例：依据对一组人（设例：依据对一组人（设n30）进行某种智力因素测验的结果，）进行某种智力因素测验的结果，计算出有关统计量如下，求真分数的置信区间（或真值在什么计算出有关统计量如下，求真分数的置信区间（或真值在什么数值的范围内）。数值的范围内）。统计学中估计事物或现象间数量变动的一样性，统计学中估计事物或

8、现象间数量变动的一样性，主要接受相关分析的方法，即计算出两种变量的主要接受相关分析的方法，即计算出两种变量的相关系数（相关系数（rxyrxy）。）。在运用相关系数表示信度的凹凸时，相关系数可在运用相关系数表示信度的凹凸时，相关系数可称为信度系数称为信度系数(coefficient of reliability)(coefficient of reliability)。它是对相同应试者的同一特性的两次测量分数的它是对相同应试者的同一特性的两次测量分数的相关系数，是测量结果的一样性的指标。相关系数，是测量结果的一样性的指标。（一）再测信度（稳定性系数）（一）再测信度（稳定性系数）（二）复本信度（等

9、值性系数）（二）复本信度（等值性系数）（三）内部一样性系数（三）内部一样性系数（四）评分者信度（四）评分者信度（五）目标参照测验信度（五）目标参照测验信度（六）速度测验的信度（六）速度测验的信度又称重测信度，表示测验稳定性的方法，是指用又称重测信度，表示测验稳定性的方法，是指用同一量表对相同被试者（一组人）在不同时间测同一量表对相同被试者（一组人）在不同时间测验两次的实得分数的相关系数。验两次的实得分数的相关系数。估计稳定性系数的基本程序：估计稳定性系数的基本程序：测测验验A A1 1 适当时距适当时距 测验测验A A2 2相关系数可以用不同方法计算，这取决于数据相关系数可以用不同方法计算，这

10、取决于数据的性质。最为普遍的是皮尔逊积差相关系数：的性质。最为普遍的是皮尔逊积差相关系数：X为第一次测验的实得分数;Y为第一次测验的实得分数;N为应试者数.用一个算术四则的速度测验用一个算术四则的速度测验1212个小学生，得分个小学生，得分记为记为X X，为了考察测量结果的牢靠性，于，为了考察测量结果的牢靠性，于3 3个月个月后再测一次，得分记为后再测一次，得分记为Y Y，问测验结果是否牢靠，问测验结果是否牢靠？序号序号 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12X 20 20 21 22 23 23 23 24 25 26 26

11、 27X 20 20 21 22 23 23 23 24 25 26 26 27Y 20 21 21 20 23 23 25 25 26 26 27 29Y 20 21 21 20 23 23 25 25 26 26 27 29解解:(1)把资料列表于后把资料列表于后,计算出公式计算出公式(1-10)所需的各种统计量所需的各种统计量:X280 Y286 X26594Y26912 XY6420(2)把所计算的统计量代入公式把所计算的统计量代入公式:1 1、两次测验之间的时间间隔要适宜。、两次测验之间的时间间隔要适宜。2 2、两次测验试卷要等值，即在内容范围、题型、两次测验试卷要等值，即在内容范围

12、、题型、题数、难度、区分度等方面要基本相同。题数、难度、区分度等方面要基本相同。3 3、确定两测验是否等值，还要考察两次测验结、确定两测验是否等值，还要考察两次测验结果的平均数与标准差。果的平均数与标准差。4 4、重测法适用于速度测验而不适用于难度测验。、重测法适用于速度测验而不适用于难度测验。5 5、测试应留意提高被试者的主动性。、测试应留意提高被试者的主动性。6 6、测试间隔期内，被试不能获得学习和训练、测试间隔期内，被试不能获得学习和训练复本信度是一种表示测验等值性的方法，是以复本信度是一种表示测验等值性的方法，是以两个等值（题型题数、难度、区分度相等）但两个等值（题型题数、难度、区分度

13、相等）但具体内容不同的量表，在最短时距内，对相同具体内容不同的量表，在最短时距内，对相同应试者先后施测两次所获得的两组对应分数的应试者先后施测两次所获得的两组对应分数的相关系数。相关系数。其模式是：其模式是：以以A A、B B两型英语复本测验对初中三年级两型英语复本测验对初中三年级1010个学生个学生施测，为避开由测验施测依次所造成的误差，其施测，为避开由测验施测依次所造成的误差，其中中5 5个学生先做个学生先做A A型测验，休息型测验，休息1515分钟后，再做分钟后，再做B B型型测验；而另测验；而另5 5个学生先做个学生先做B B型测验，休息型测验，休息1515分钟后，分钟后，再做再做A

14、A型测验。型测验。1010个学生个学生A A型测验结果记为型测验结果记为X X，B B型型测验结果记为测验结果记为Y Y，其测验的复本信度如何？，其测验的复本信度如何？学生序号学生序号 1 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8 9 1010X 19 19 18 17 16 15 15 14 13 X 19 19 18 17 16 15 15 14 13 1212Y 20 17 18 18 17 15 13 15 12 Y 20 17 18 18 17 15 13 15 12 1212优点：优点：1 1、测验的两个复本，假如在不同的时间运用，、测验的两个复本，假如在不同

15、的时间运用，其信度既可以反映在不同时间的稳定性，又可以其信度既可以反映在不同时间的稳定性，又可以反映对于不同测题的一样性；反映对于不同测题的一样性；2 2、两个复本在同时运用时，可以避开再测信息、两个复本在同时运用时，可以避开再测信息的一些缺点，如首测时再测在记忆、练习、效果的一些缺点，如首测时再测在记忆、练习、效果的影响，间隔期间获得新学问的影响，两次施测的影响，间隔期间获得新学问的影响，两次施测的环境不同和被试主观状态不同的影响，以及为的环境不同和被试主观状态不同的影响，以及为了应付测验所作训练的影响等。了应付测验所作训练的影响等。缺点：缺点：1 1、编制两个完全相等的测验是很困难的，假如

16、两个、编制两个完全相等的测验是很困难的，假如两个复本过分相像，则变成再测形式，而过分不相像，复本过分相像，则变成再测形式，而过分不相像，又使等值的条件不存在；又使等值的条件不存在；2 2、两个复本测验有可能在某种程度上测量了不同的、两个复本测验有可能在某种程度上测量了不同的性质，这就会低估测验的信度；性质，这就会低估测验的信度；3 3、被试同时接受性质相像的两个测验，可能削减完、被试同时接受性质相像的两个测验，可能削减完成测验的主动性；成测验的主动性；4 4、虽然两个复本测验的题目材料不同，但被试一旦、虽然两个复本测验的题目材料不同，但被试一旦驾驭了解题的某一模式，就能触类旁通，有可能失驾驭了

17、解题的某一模式，就能触类旁通，有可能失去复本的意义。去复本的意义。1.量表的同质性和等值性。2.测验时距宜短。3.测验的信度系数有略微偏大的倾向。4.确定测验是否等值，还要考察两次测验结果的平均数与标准差。接受复本法两次测验之间要求一个适当长的时距。留意：两个测试有较高的等值性 时距要妥当规定又叫同质性信度。是同一测验量表的两个部分（例如分为又叫同质性信度。是同一测验量表的两个部分（例如分为奇数题和偶数题，或者量表的前一半和后一半）得分的相奇数题和偶数题，或者量表的前一半和后一半）得分的相关系数。关系数。估计方法有两种：估计方法有两种：1 1、分半法：是将一次测验分成两个假定相等而独立的两部、

18、分半法：是将一次测验分成两个假定相等而独立的两部分来记分。通常是以题目的奇数为一组，偶数为一组，计分来记分。通常是以题目的奇数为一组，偶数为一组，计算两级的相关系数，最终用斯皮尔曼布朗公式校正，求算两级的相关系数，最终用斯皮尔曼布朗公式校正，求得整个测验的信度系数。得整个测验的信度系数。斯皮尔曼布朗公式为：斯皮尔曼布朗公式为：n r rxy xy 为两组测验分数的相关系数，为两组测验分数的相关系数，r rtttt表示整个测验的表示整个测验的信度系数。信度系数。问题：为什么不干脆用奇数题总分与偶数题的问题：为什么不干脆用奇数题总分与偶数题的部分计算出的相关系数作为整个测验的信度系部分计算出的相关

19、系数作为整个测验的信度系数而要加以校正？数而要加以校正？这是因为测验的长度（指量表中所包含的题目数）这是因为测验的长度（指量表中所包含的题目数）对信度的大小有确定的影响，测验越长，信度越对信度的大小有确定的影响，测验越长，信度越高。高。而用分半法，事实上等于把整个测验长度减小了而用分半法，事实上等于把整个测验长度减小了一半，所以按分成两半的资料求出的信度必定低一半，所以按分成两半的资料求出的信度必定低于整个测验的信度。于整个测验的信度。例：有一个由例：有一个由100100题构成的量表施行于题构成的量表施行于1010个高三学生个高三学生（分数见下表）。测验一次后，应试者即毕业离校。（分数见下表）

20、。测验一次后，应试者即毕业离校。现在怎样评价测验结果的信度？现在怎样评价测验结果的信度？方法：分半法方法：分半法解解：把有关统计量代入公式，求相关系数：把有关统计量代入公式，求相关系数用斯皮尔曼布朗公式校正，用斯皮尔曼布朗公式校正，经校正后的信度系数很大（经校正后的信度系数很大（0.910.91），说明整），说明整个测验的信度高。个测验的信度高。用此法只需测验一次，然后以各个问题的正确反应用此法只需测验一次，然后以各个问题的正确反应数为基础（此可视为各题难度的信息），或依据各数为基础（此可视为各题难度的信息），或依据各人总分的平均数和标准差，计算信度系数。此公式人总分的平均数和标准差，计算信度

21、系数。此公式有几个，其中常用的有有几个，其中常用的有rKR20rKR20和和rKR21 rKR21。（1 1）rKR20rKR20的用法：这个公式以每题能正确回答的的用法：这个公式以每题能正确回答的人数占总人数的百分数为基础计算（每题只有通过人数占总人数的百分数为基础计算（每题只有通过或未通过两种分数）。或未通过两种分数）。例：有一种包含例：有一种包含6 6个问题的测验，个问题的测验，1010个应试者得分个应试者得分如下表（答对得如下表（答对得1 1分，答错得分，答错得0 0分），试估计应试分），试估计应试者反应的一样性程度。者反应的一样性程度。解：解：1 1）列出得分矩阵，计算有关统计量：）

22、列出得分矩阵，计算有关统计量：这个测验的信度系数较低，说明内容一样性差，量表这个测验的信度系数较低，说明内容一样性差，量表中的题目并非都可以测量相同的特性，即题目的同质中的题目并非都可以测量相同的特性，即题目的同质性差或难度悬殊较大。性差或难度悬殊较大。这个公式这个公式以各应试者总分的平均数和方差为基础，以各应试者总分的平均数和方差为基础，无需各题的难度信息。无需各题的难度信息。公式如下：公式如下：论文式测验的评分没有严格的评分标准，以致同样一个论文式测验的评分没有严格的评分标准，以致同样一个题目，不同的应试者的回答和得分都不一样，所以无法题目，不同的应试者的回答和得分都不一样，所以无法用前面

23、的公式，而要用用前面的公式，而要用克龙巴赫（克龙巴赫（Cronbach,1951Cronbach,1951）所创）所创的的系数公式：系数公式：例：有一种包含例：有一种包含6 6个论文式题目的测验，对个论文式题目的测验，对5 5个应个应试者施行，得分列入下表，试求该测验的信度。试者施行，得分列入下表，试求该测验的信度。解：解：1 1）求每题各应试者得分的方差）求每题各应试者得分的方差Si2(Si2(见表列见表列)2 2）求每题各应试者得分的方差之和）求每题各应试者得分的方差之和Si2Si2Si2Si23.043.041.361.363.043.0418.6518.653 3）求全部应试者各自的总

24、分的方差）求全部应试者各自的总分的方差ST2ST2（表格（表格最下一行各数据的方差）最下一行各数据的方差）ST2ST268.9668.964 4）代入公式（）代入公式（1-141-14）得信度系数）得信度系数用分半法时，以按奇数题和偶数题为宜。速度测验不宜用分半法。客观试题与主观试题要计算评分者评分的一样性系数，需区分评分者的人要计算评分者评分的一样性系数，需区分评分者的人次数。若为次数。若为2 2人评人评N N份试卷，可用斯皮尔曼等级相关的份试卷，可用斯皮尔曼等级相关的公式计算；若三个人以上的评分者评公式计算；若三个人以上的评分者评N N份试卷，则需份试卷，则需计算肯德尔和谐系数（以计算肯德

25、尔和谐系数（以W W表示）表示）1 1、斯皮尔曼等级相关公式：、斯皮尔曼等级相关公式：解：解：1）计算所需统计量：）计算所需统计量：D和和 D2（见表）（见表）；N10；D200.25112.2510262）将统计量）将统计量N和和D2代入公式代入公式答：甲乙两位老师阅卷的一样性系数较高，评分比答：甲乙两位老师阅卷的一样性系数较高，评分比较牢靠。较牢靠。例：例：1010个评委对个评委对7 7位参赛选手所评等级如下表所示，位参赛选手所评等级如下表所示，问这问这1010位评委的评分是否具有一样性？位评委的评分是否具有一样性？分析：从W=0.827来看，10人的评价较为一样。严格地讲，W值是否达到显

26、著性水平，须要做统计假设检验。当K等于320，N等于37时，可依据K和N查“W显著性检验时S的临界值表”进行检验。在进行等级评定时，常会遇到两个或两个以上事在进行等级评定时，常会遇到两个或两个以上事物的等级相同，假如遇到这种状况，应接受下面物的等级相同，假如遇到这种状况，应接受下面的修正公式：的修正公式：例：三位老师评阅四份试卷，所评等级列入下表，他们例：三位老师评阅四份试卷，所评等级列入下表，他们所评的等级是否一样？所评的等级是否一样？解：本题因王老师给两份试卷评了相同等级，李老师给三解：本题因王老师给两份试卷评了相同等级，李老师给三份试卷评了相同等级，所以要用公式（份试卷评了相同等级，所以

27、要用公式（1-17）计算）计算W。目标参照性测验不是在于区分被试的差异，而是与目标参照性测验不是在于区分被试的差异，而是与一个既定的目标相比较，看被试是否达到了某一水一个既定的目标相比较，看被试是否达到了某一水平。平。前期目标预料测验和后期目标监测测验的比较法前期目标预料测验和后期目标监测测验的比较法复本法：（两次都合格复本法：（两次都合格+两次都不合格两次都不合格)/)/总人数总人数推断是否为速度测验：速度变异量占的比例=考生完成题数方差/测验分数方差 0到1之间，0是难度测验，1是速度测验重测信度复本信度内部一样性系数 分两半 分四段 1.1.信度是任何一种测量的必要条件。因为教化测量信度

28、是任何一种测量的必要条件。因为教化测量的对象主要是精神现象，所测量的特性不易把握，的对象主要是精神现象，所测量的特性不易把握，为了能真实地反应测验对象的某种特点，须要更加为了能真实地反应测验对象的某种特点，须要更加留意测量的信度，从而正确地推断测量结果的价值。留意测量的信度，从而正确地推断测量结果的价值。2.2.信度高的教化测量，能给老师和教化工作的领导信度高的教化测量，能给老师和教化工作的领导者供应牢靠的信息，为他们的教化预料和决策供应者供应牢靠的信息，为他们的教化预料和决策供应依据。依据。3.3.信度高的教化测量，能使老师对学生的评价变得信度高的教化测量，能使老师对学生的评价变得客观和牢靠

29、，也使学生对自己的相识更符合实际状客观和牢靠，也使学生对自己的相识更符合实际状况，从而有助于改进教与学的方法。况，从而有助于改进教与学的方法。4.4.信度高的教化测量，有助于提高老师的工作效率。信度高的教化测量，有助于提高老师的工作效率。1.1.系统误差：量表有问题，评分标准过宽过眼，会系统误差：量表有问题，评分标准过宽过眼，会影响测量精确性，但不影响牢靠性影响测量精确性，但不影响牢靠性2.2.随机误差：由偶然因素的影响产生的误差，影响随机误差：由偶然因素的影响产生的误差，影响信度。信度。3.3.抽样误差：由测验中被试之间的差异造成的误差。抽样误差：由测验中被试之间的差异造成的误差。信度可以定

30、义为真分数方差与实得分数方差的比率。信度可以定义为真分数方差与实得分数方差的比率。真分数越是大小悬殊，参差不齐，信度越高。所以真分数越是大小悬殊，参差不齐，信度越高。所以影响信度。影响信度。（一）信度系数（以相关系数表示）以多大为宜（一）信度系数（以相关系数表示）以多大为宜 信度系数必需和求得信度系数的环境条件（测信度系数必需和求得信度系数的环境条件（测验的用途以及测验的内容和条件）相联系。验的用途以及测验的内容和条件）相联系。就测验的内容来说，标准学业成果测验要求信就测验的内容来说，标准学业成果测验要求信度系数在度系数在0.900.90以上，常达到以上，常达到0.950.95。标准智力测验的

31、。标准智力测验的信度系数应达到信度系数应达到0.850.85以上。特性测验和爱好测验的以上。特性测验和爱好测验的信度系数一般应达信度系数一般应达0.70.800.70.80。1 1、适当增加测验题目的数量。、适当增加测验题目的数量。尽管测验长度的增加与信度的提高不是等尽管测验长度的增加与信度的提高不是等比例的，但延长测验的长度，既可解除试题比例的，但延长测验的长度，既可解除试题抽样的偶然性因素，也有可能扩大得分的范抽样的偶然性因素，也有可能扩大得分的范围，因而使信度系数增大，测验信度提高。围，因而使信度系数增大，测验信度提高。接受此法时，须作到（接受此法时，须作到（1 1）新增加测验题与原）新

32、增加测验题与原有的测验题应有相同的统计性质，即应有相有的测验题应有相同的统计性质，即应有相同的平均难度和相同的组间相关。（同的平均难度和相同的组间相关。（2 2）加大）加大测验长度应当不影响被试者回答问题的方法。测验长度应当不影响被试者回答问题的方法。2 2、测验的难度要适中。、测验的难度要适中。当测验难度太大时，应试者得分普遍偏低，形成正当测验难度太大时，应试者得分普遍偏低，形成正偏态分布；反之，形成负偏态分布。在这两种分布偏态分布；反之，形成负偏态分布。在这两种分布中，得分大部分集中在低分端或高分端，分数分布中，得分大部分集中在低分端或高分端，分数分布的范围和分数之间的差异都较小，用这些实

33、得分数的范围和分数之间的差异都较小，用这些实得分数计算出的方差也较小，从而使得信度降低。计算出的方差也较小，从而使得信度降低。阅历表明：难度在阅历表明：难度在0.40-0.700.40-0.70之间是合适的，也有之间是合适的，也有人认犯难度从人认犯难度从0.25-0.750.25-0.75都利于提高测验信度。都利于提高测验信度。3.3.测验信度与测验项目区分度的关系：提高区分度测验信度与测验项目区分度的关系：提高区分度能够提高信度。能够提高信度。4 4、测验的内容应尽是同质。、测验的内容应尽是同质。5 5、测验的时间要充分。、测验的时间要充分。6 6、测验的程序应统一。、测验的程序应统一。7 7、评分要客观化，削减评分误差。、评分要客观化，削减评分误差。