心理与教育测量第四章课件讲课讲稿.ppt

《心理与教育测量第四章课件讲课讲稿.ppt》由会员分享，可在线阅读，更多相关《心理与教育测量第四章课件讲课讲稿.ppt（46页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、心理心理(xnl)与教育测量与教育测量主讲主讲(zhjing)：邓稳根（博士）：邓稳根（博士）赣南师范学院教育科学学院赣南师范学院教育科学学院E-Mail:第一页，共46页。第四章第四章 测量测量(cling)信度信度信度概述信度概述(i sh)信度的估计方法信度的估计方法提高测量信度的方法提高测量信度的方法第二页，共46页。第一节第一节 信度概述信度概述(i sh)信度的定义信度的定义(dngy)信度的作用信度的作用第三页，共46页。一、信度的定义一、信度的定义(dngy)信度的描述性定义信度的描述性定义信度（信度（reliability）指测量结果的稳定性程）指测量结果的稳定性程度度(ch

2、ngd)，有时也叫测量结果的可靠性。，有时也叫测量结果的可靠性。信度系数（信度系数（）是表示测量信度高低的指标，）是表示测量信度高低的指标，其值域为其值域为0，1。世界上没有百分之一。世界上没有百分之一百可靠的测量。百可靠的测量。只是理论上的。只是理论上的。信度也是多次测量同一对象的一致性程度信度也是多次测量同一对象的一致性程度(chngd)。第四页，共46页。信度的统计定义（统计等价定义）信度的统计定义（统计等价定义）信度是被试团体真分数方差与实得分数方差信度是被试团体真分数方差与实得分数方差之比，即：之比，即：信度是被试团体真分数与实得分数相关系数信度是被试团体真分数与实得分数相关系数的平

3、方，即：的平方，即：信度是一个信度是一个(y)测验与它的任意一个测验与它的任意一个(y)平行测验的相关系数，即：平行测验的相关系数，即：第五页，共46页。二、信度的作用二、信度的作用(zuyng)信度是测量过程中所存在的随机误差大小的信度是测量过程中所存在的随机误差大小的反映。反映。测量中随机误差越大，测量的信度越低。测量中随机误差越大，测量的信度越低。（但信度与系统误差无关！）（但信度与系统误差无关！）信度可以信度可以(ky)用来解释个人测验分数的意用来解释个人测验分数的意义。义。信度可以信度可以(ky)帮助进行测验分数的比较帮助进行测验分数的比较第六页，共46页。1、解释、解释(jish)

4、个人分数的意个人分数的意义义测量标准测量标准(biozhn)误的作用：误的作用：估计真实分数的范围；估计真实分数的范围；了解实得分数再测时可能的变化情形。了解实得分数再测时可能的变化情形。真分数的估计，或再测时实得分数的变化范真分数的估计，或再测时实得分数的变化范围计算：围计算：根据根据SE=Sxsqrt(1-rxx)，求，求SE。根据显著性水平根据显著性水平或置信水平（或置信水平（1-）。）。则真分数的置信区间或再测时则真分数的置信区间或再测时X的变化范围的变化范围是：是：X-Z/2SE Z/2，则差异显著；反之，则差，则差异显著；反之，则差异不显著。异不显著。第九页，共46页。不同不同(b

5、 tn)测验分数的差异比测验分数的差异比较举例较举例某被试在韦氏成人智力测验中言语智商某被试在韦氏成人智力测验中言语智商(zh shn)为为100，操作智商，操作智商(zh shn)为为105，已知两个分数都是以，已知两个分数都是以100为平均数，为平均数，15为标准差的标准分数，假设言语分量表为标准差的标准分数，假设言语分量表和操作分量表的分半信度为和操作分量表的分半信度为0.87和和0.88，问，问言语智商言语智商(zh shn)和操作智商和操作智商(zh shn)是否存在显著性差异（是否存在显著性差异（=0.05)。第十页，共46页。需要需要(xyo)注意的问题注意的问题一个测验可以有多

6、个信度估计值，因而其误一个测验可以有多个信度估计值，因而其误差估计值也会有多个。差估计值也会有多个。本理论假定同一个团体本理论假定同一个团体(tunt)中所有人的中所有人的测量误差是相同的，但实际上水平高的人与测量误差是相同的，但实际上水平高的人与水平低的人在做测量时会有不同的随机误差。水平低的人在做测量时会有不同的随机误差。测量的结果不能僵硬地看成是一个点，而应测量的结果不能僵硬地看成是一个点，而应看成是一个以该点为中心，以看成是一个以该点为中心，以SE的某个倍的某个倍数为半径上下波动的一个范围。例如，真正数为半径上下波动的一个范围。例如，真正IQ一般在实得一般在实得IQ5的范围内波动。的范

7、围内波动。第十一页，共46页。第二节第二节 信度的估计信度的估计(gj)方法方法重测信度重测信度复本信度复本信度分半信度分半信度同质性信度同质性信度分半信度和同质性信度也叫内部一致性系数。分半信度和同质性信度也叫内部一致性系数。评分者信度评分者信度成套测验成套测验(cyn)综合分数的信度综合分数的信度第十二页，共46页。一、重测信度一、重测信度定义：定义：同一测验对同一批被试先后施测量两次所得同一测验对同一批被试先后施测量两次所得结果结果(ji gu)的一致性程度，其大小为两的一致性程度，其大小为两次分数的积差相关系数。次分数的积差相关系数。也叫稳定性系数。也叫稳定性系数。用于考查测量结果用于

8、考查测量结果(ji gu)跨时间的稳定跨时间的稳定性。性。计算公式：计算公式：第十三页，共46页。举例举例(j l)：假设有一份考试假设有一份考试(kosh)焦虑调查表，先后两次焦虑调查表，先后两次施测于施测于10名学生，时间间隔为半年，结果如表所名学生，时间间隔为半年，结果如表所示，求该测验的重测信度。示，求该测验的重测信度。第十四页，共46页。使用条件使用条件(tiojin)所测心理品质相对稳定，否则无法判断是所测心理品质相对稳定，否则无法判断是量具信度低，还是品质本身稳定性差。量具信度低，还是品质本身稳定性差。前后间隔时间要恰当，遗忘和练习的效果前后间隔时间要恰当，遗忘和练习的效果基本上

9、相互抵消。时间间距依问题的性质和基本上相互抵消。时间间距依问题的性质和测量目的而定。通常，以测量目的而定。通常，以2-4周为宜。智力周为宜。智力测验的间隔一般在测验的间隔一般在6个月左右。个月左右。间隔期间被试在所测品质方面无更多学习间隔期间被试在所测品质方面无更多学习和训练。和训练。有被试的真诚合作。有被试的真诚合作。第十五页，共46页。需要注意的问题需要注意的问题当某个测验涉及多个年龄或年级等不同层次当某个测验涉及多个年龄或年级等不同层次的考生（被试）时，重测信度不能直接用测的考生（被试）时，重测信度不能直接用测验的原始分数进行估算，而必须使用经过常验的原始分数进行估算，而必须使用经过常模

10、量表转换之后的量表分数或其他类型的标模量表转换之后的量表分数或其他类型的标准分数进行估算。否则会高估。准分数进行估算。否则会高估。当极少数考生的前测分数与后测分数相差特当极少数考生的前测分数与后测分数相差特别别(tbi)明显时，应去除这些异常的极端明显时，应去除这些异常的极端值（控制在值（控制在2%以内），以避免低估重测信以内），以避免低估重测信度。度。第十六页，共46页。评价评价优点：能提供有关测验是否随时间而变异的优点：能提供有关测验是否随时间而变异的资料，可作为被试将来行为表现的依据。资料，可作为被试将来行为表现的依据。缺点：难以缺点：难以(nny)消除记忆和练习及学习消除记忆和练习及学

11、习的影响；难以的影响；难以(nny)取得被试的全面合作。取得被试的全面合作。第十七页，共46页。二、复本二、复本(fbn)信度信度定义定义两个平行测验测量同一批被试所得结果的一致性程两个平行测验测量同一批被试所得结果的一致性程度度(chngd)。其大小为两次分数的积差相关系数。其大小为两次分数的积差相关系数。分类分类等值性系数（通常指复本信度）：两个复本测验同等值性系数（通常指复本信度）：两个复本测验同时连续施测。时连续施测。稳定性与等值性系数（通常指重测复本信度）：两稳定性与等值性系数（通常指重测复本信度）：两个复本测验相距一段时间分两次施测。是对信度的个复本测验相距一段时间分两次施测。是对

12、信度的最严格的检验。最严格的检验。实施实施平衡设计：将被试随机分成两半，一半先测平衡设计：将被试随机分成两半，一半先测A卷，卷，再测再测B卷；另一半先测卷；另一半先测B卷，再测卷，再测A卷。卷。第十八页，共46页。计算公式计算公式类似于重测信度。类似于重测信度。举例举例假设假设(jish)用用A、B两型智力复本测验对两型智力复本测验对五年级五年级10个学生施测。结果见下表。试求个学生施测。结果见下表。试求该测验的复本信度。该测验的复本信度。第十九页，共46页。测验 被试 1 2 3 4 5 6 7 8 9 10 X1 16 17 18 14 15 13 12 20 11 9 X2 15 16

13、19 18 16 12 11 19 10 8第二十页，共46页。使用前提条件使用前提条件要命制出真正等值的平行测验。要命制出真正等值的平行测验。被试要有条件（时间、经费等）接受两个测被试要有条件（时间、经费等）接受两个测验。验。评价评价(pngji)优点：能减少练习和记忆效应。优点：能减少练习和记忆效应。缺点：很难构造出两份以上的平行测验；只缺点：很难构造出两份以上的平行测验；只能减少而不能消除练习效应；无法消除迁移能减少而不能消除练习效应；无法消除迁移效应。效应。第二十一页，共46页。三、分半信度三、分半信度定义：定义：将一个测验随机分为对等的两半（常用奇偶将一个测验随机分为对等的两半（常用

14、奇偶分半），所有被试在这两半测验上得分的一分半），所有被试在这两半测验上得分的一致性程度。致性程度。计算计算通常也采用积差相关系数通常也采用积差相关系数(xsh)求取。求取。由于测验长度变短，通常需要校正，公式为：由于测验长度变短，通常需要校正，公式为：，其中，其中 为两半的相关系数为两半的相关系数(xsh)。第二十二页，共46页。举例举例(j l)已知某量表的分半信度为已知某量表的分半信度为0.63，请算出原长，请算出原长度度(chngd)的信度系数。的信度系数。第二十三页，共46页。上式为上式为Spearman-Brown公式，使用条件为两公式，使用条件为两半分数半分数(fnsh)的方差（

15、变异数）相等。如果的方差（变异数）相等。如果不等，可采用下列两个等价公式直接计算。不等，可采用下列两个等价公式直接计算。Flanagan公式：公式：Rulon公式：公式：其中其中、为两半测验分数为两半测验分数(fnsh)方差，方差，为为两半测验分数两半测验分数(fnsh)之差数的方差，之差数的方差，为总为总方差。方差。第二十四页，共46页。使用条件使用条件随机分成随机分成(fn chn)的两半必须是对等的的两半必须是对等的两半。两半。通常在只能施测一次或没有复本的情况下使通常在只能施测一次或没有复本的情况下使用。用。评价评价优点：只需施测一次便能求取信度。优点：只需施测一次便能求取信度。缺点：

16、有些题目，很难分为对等的两半，比缺点：有些题目，很难分为对等的两半，比如语文考试里的作文，就没办法分半；分半如语文考试里的作文，就没办法分半；分半方法很多，所估信度很可能有差异。方法很多，所估信度很可能有差异。第二十五页，共46页。四、同质性信度四、同质性信度定义定义测验内部所有题目间的一致性程度。测验内部所有题目间的一致性程度。一致一致性包含两重含义：性包含两重含义：所有题目都是测同一种心理特质。所有题目都是测同一种心理特质。所有题目得分之间都有较高的正相关。所有题目得分之间都有较高的正相关。两者的关系：正相关高是同质性高的必要两者的关系：正相关高是同质性高的必要(byo)而非充分条件。而非

17、充分条件。第二十六页，共46页。计算计算求所有分半信度的平均值。求所有分半信度的平均值。缺点：分半的方法太多，有缺点：分半的方法太多，有Cnn/2个，计算个，计算太麻烦。例如，有太麻烦。例如，有20个题目，则分半的数个题目，则分半的数量有：量有：C2010个。个。先求所有题目间相关系数的平均值，再用下先求所有题目间相关系数的平均值，再用下列列(xili)公式计算：公式计算：其中其中K为一个测验题目个数，为一个测验题目个数，为所有题目为所有题目间相关系数的平均值。间相关系数的平均值。第二十七页，共46页。Kuder-Richardson(K-R)公式公式K-R20公式（只适用于两级评分公式（只适

18、用于两级评分(png fn)，例，例如如0，1）：）：其中其中K为题目数，为题目数，为答对第为答对第i题的人数比例，题的人数比例，为答错第为答错第i题的人数比例，题的人数比例，为测验总分的变异。为测验总分的变异。K-R21公式（在公式（在KR20基础上要求各题难度相同）基础上要求各题难度相同）：其中其中 为所有题平均答对率，为所有题平均答对率，为所有题目平为所有题目平均答错率。均答错率。第二十八页，共46页。克龙巴赫克龙巴赫系数（适用所有题目系数（适用所有题目(tm)）：）：其中，其中，Si2为每个题目为每个题目(tm)的方差。的方差。注意：注意：大，信度必高，但大，信度必高，但小，信度不一定

19、小，信度不一定低。低。荷伊特信度（采用方差分量比方法）：荷伊特信度（采用方差分量比方法）：第二十九页，共46页。克龙巴赫克龙巴赫系数计算系数计算(j sun)举例举例 语文测验模拟资料如表，试求内部一致性系数语文测验模拟资料如表，试求内部一致性系数的的值（注：第一行数字为被试编号值（注：第一行数字为被试编号(bin ho)，第一，第一列为项目编号列为项目编号(bin ho)）。）。1234567891035263436545416423562864957587589610786910712141015111313151512第三十页，共46页。荷伊特信度举例荷伊特信度举例(j l)第三十一页，

20、共46页。五、评分五、评分(png fn)者信度者信度定义定义多个评分多个评分(png fn)者给同一批人的答卷进者给同一批人的答卷进行评分行评分(png fn)的一致性程度。的一致性程度。计算计算两个评分两个评分(png fn)者：采用积差相关或等者：采用积差相关或等级相关级相关多个评分多个评分(png fn)者：者：无相同等级情况：肯德尔无相同等级情况：肯德尔W系数系数有相同等级情况：校正之后的肯德尔有相同等级情况：校正之后的肯德尔W系数。系数。W系数的显著性检验：查系数的显著性检验：查W表（表（K：320人，人，N：37个）；计算个）；计算2值：值：2=K（N-1）W，df=N-1。第三

21、十二页，共46页。肯德尔肯德尔W系数系数(xsh)校正后的校正后的W系数系数(xsh)（略）（略）第三十三页，共46页。评分误差产生的原因评分误差产生的原因试题原因试题原因试题答案不唯一，评分标准还客观，要依赖试题答案不唯一，评分标准还客观，要依赖于评分者主观经验，因此评分误差严重主要于评分者主观经验，因此评分误差严重主要在自由反应性试题上，特别是论文式试题。在自由反应性试题上，特别是论文式试题。评分者原因：评分者原因：评分者专业知识水平不够；影响对试题和评分者专业知识水平不够；影响对试题和答案的理解，尤其是综合性试题，创造性答答案的理解，尤其是综合性试题，创造性答案。案。评分者评判能力不够；

22、缺乏评判能力，特评分者评判能力不够；缺乏评判能力，特别是缺乏计量评判能力，评分勿高忽低，或别是缺乏计量评判能力，评分勿高忽低，或偏高、偏低。偏高、偏低。评分者个性倾向影响：宽、严不同评分者个性倾向影响：宽、严不同(b tn)，导致评分不一致。，导致评分不一致。评分者心理状况和工作态度不同评分者心理状况和工作态度不同(b tn)。第三十四页，共46页。评分阅卷中各种客观效应的影响：评分阅卷中各种客观效应的影响：“名片效应名片效应”“光环效应光环效应”“对比效应对比效应”“先后效应先后效应”环境与组织环境与组织(zzh)管理的影响。管理的影响。第三十五页，共46页。控制论文式试题评分误差的方法。控

23、制论文式试题评分误差的方法。命题进尽量控制作答的发散范围，预先制定命题进尽量控制作答的发散范围，预先制定好评分规则，并尽是客观、精细好评分规则，并尽是客观、精细(jngx)，但不吹毛求疵。但不吹毛求疵。选择和培训阅卷人员，统一评分标准，规范选择和培训阅卷人员，统一评分标准，规范阅卷行为。阅卷行为。流水作业评分。流水作业评分。分因素评分。分因素评分。第三十六页，共46页。组织复查。组织复查。自觉防止各种客观效应的影响。自觉防止各种客观效应的影响。在规模阅卷中可考虑采用统计手段控制和调整在规模阅卷中可考虑采用统计手段控制和调整评分评分(png fn)误差。误差。均数、标准差。均数、标准差。网上阅卷

24、。网上阅卷。电子阅卷员。电子阅卷员。第三十七页，共46页。六、成套测验六、成套测验(cyn)综合分数综合分数的信度的信度略略第三十八页，共46页。第三节第三节 提高提高(t go)测量信度测量信度的方法的方法影响测量信度的主要因素影响测量信度的主要因素提高测量信度的常用提高测量信度的常用(chn yn)方法方法几点说明几点说明第三十九页，共46页。一、影响测量一、影响测量(cling)信度的信度的主要因素主要因素被试方面：被试方面：单个被试心理的稳定性；单个被试心理的稳定性；团体被试水平的离散程度团体被试水平的离散程度(chngd)及平均及平均水平的过高或过低。水平的过高或过低。主试者方面主试

25、者方面施测人员不按规定施测或给学生加压、暗示。施测人员不按规定施测或给学生加压、暗示。阅卷人员标准掌握一致、不准确。阅卷人员标准掌握一致、不准确。第四十页，共46页。施测情境方面施测情境方面考场条件声、光、空间、桌面、仪器考场条件声、光、空间、桌面、仪器(yq)质量等。质量等。测量工具方面：测量工具方面：量具性能是否稳定，包括试题取样代表性、量具性能是否稳定，包括试题取样代表性、稳定性，试题同质性，试题难度及其分布。稳定性，试题同质性，试题难度及其分布。两次施测估计信度的间隔时间。两次施测估计信度的间隔时间。时间间隔会影响重测信度和稳定性与等值性时间间隔会影响重测信度和稳定性与等值性系数（有时

26、也叫重测复本信度）系数（有时也叫重测复本信度）时间间隔越长则信度越低。时间间隔越长则信度越低。第四十一页，共46页。二、提高二、提高(t go)信度的常用方信度的常用方法法适当增加测验长度适当增加测验长度(chngd)。（其本质是。（其本质是加大行为样本容量）加大行为样本容量）注意：加长部分必须与原测题同质，而且不注意：加长部分必须与原测题同质，而且不可无限加长。可无限加长。加长测验的效果可用加长测验的效果可用rkk=krxx/1+(k-1)rxx计算，其中计算，其中k为改变后的测验长度为改变后的测验长度(chngd)与原来长度与原来长度(chngd)之比，之比，rxx为原测量的信度，为原测量

27、的信度，rkk为测验长度为测验长度(chngd)增加为增加为k倍后的测量信度。倍后的测量信度。加长效果遵循报酬递减律。加长效果遵循报酬递减律。第四十二页，共46页。举例举例(j l)有一个包括有一个包括20个题目的测验，信度为个题目的测验，信度为0.60，若把测验增加，若把测验增加(zngji)到到50个题目，其个题目，其信度将增加信度将增加(zngji)到多少？到多少？一个包含一个包含60个题目的测验信度是个题目的测验信度是0.80，欲，欲将信度提高到将信度提高到0.90，需要增加，需要增加(zngji)多多少题目？少题目？第四十三页，共46页。控制试题难度分布为正态，并把难度控制在中等控制

28、试题难度分布为正态，并把难度控制在中等水平。水平。此时，被试得分方差增大，会提高信度。此时，被试得分方差增大，会提高信度。努力提高每一试题的区分度。努力提高每一试题的区分度。维持试题所测内容的同质性。维持试题所测内容的同质性。统一规范施测程序和施测环境统一规范施测程序和施测环境(hunjng)。保证被试有充裕的作答时间。保证被试有充裕的作答时间。严格按照标准给分，控制评分误差。严格按照标准给分，控制评分误差。努力提高被试中各同质亚团体的测验信度。努力提高被试中各同质亚团体的测验信度。第四十四页，共46页。三、几点说明三、几点说明(shumng)本章所讲为测量的信度，而不是测验的信度本章所讲为测

29、量的信度，而不是测验的信度这就要求测验在不同被试群体上，不同时间这就要求测验在不同被试群体上，不同时间(shjin)施测时均要重新计算信度。施测时均要重新计算信度。有多少种误差来源就有多少种信度估计方法有多少种误差来源就有多少种信度估计方法原则是哪种测量误差最大，就选用相应的信原则是哪种测量误差最大，就选用相应的信度估计方法。有时需要同时估计几种信度。度估计方法。有时需要同时估计几种信度。第四十五页，共46页。目标参照测验的测量信度必须以概化理论（目标参照测验的测量信度必须以概化理论（GT）为）为基础才能基础才能(cinng)较好地处理。较好地处理。速度测验的测量信度不宜采用分半信度或速度测验

30、的测量信度不宜采用分半信度或系数，可系数，可采用重测信度或决策一致性系数等方法。采用重测信度或决策一致性系数等方法。目前，基于项目反应理论（目前，基于项目反应理论（IRT）的条件测量信度已）的条件测量信度已经逐步应用于大型测验项目之中。经逐步应用于大型测验项目之中。测量信度的标准确定是个比较复杂的问题。测量信度的标准确定是个比较复杂的问题。标准化能力或学绩测验信度应在标准化能力或学绩测验信度应在0.90以上。以上。人格测验的信度应在人格测验的信度应在0.80以上。以上。教师自编学绩测验的信度能达到教师自编学绩测验的信度能达到0.60以上。以上。学术研究中，信度在学术研究中，信度在0.70以上，测量结果也可认为比以上，测量结果也可认为比较可靠。较可靠。第四十六页，共46页。