测量信度与随机误差控制.ppt

《测量信度与随机误差控制.ppt》由会员分享，可在线阅读，更多相关《测量信度与随机误差控制.ppt（54页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第四章第四章 测量信度与测量信度与 随机误差控制随机误差控制2022/10/281 学习目标：1.什么是信度什么是信度?信度与测量随机误差的关系？信度与测量随机误差的关系？2.信度的统计定义？信度的统计定义？3.描述信度的指标有哪些？描述信度的指标有哪些？4.分析测验信度应注意哪些问题？分析测验信度应注意哪些问题？5.信度的标准与作用？信度的标准与作用？6.经典测量理论信度系数的估计方法。经典测量理论信度系数的估计方法。7.提高测量信度的主要方法有哪些？提高测量信度的主要方法有哪些？2022/10/282第一节第一节 信度概述信度概述2022/10/283一、信度与测量误差1.经典测量理论的假

2、设经典测量理论的假设 式中，式中，X为观察分数，为观察分数，T为一般真分数，为一般真分数，E为随机误差分数，为随机误差分数，V为目标真分数，为目标真分数，I为为非目标真分数（系统误非目标真分数（系统误 差）。差）。第一节第一节 信度的概述信度的概述2022/10/2842.信度的定义信度的定义测量追求的初步目标：测量追求的初步目标：T占占X的比例越的比例越大越好。大越好。测量追求的终极目标：测量追求的终极目标：V占占X的比例越的比例越大越好。大越好。第一节第一节 信度的概述信度的概述2022/10/285 当当T占占X的比例很大时，那么测值就的比例很大时，那么测值就会是稳定的。一般来说，稳定的

3、测值会是稳定的。一般来说，稳定的测值是可靠的、可信的，因此，信度可被是可靠的、可信的，因此，信度可被认为是测量结果的稳定性程度。认为是测量结果的稳定性程度。2022/10/2862.信度的定义信度的定义第一节第一节 信度的概述信度的概述v信度（信度（reliability）是指在不同时间，使）是指在不同时间，使用同一测验，或者使用两个不同项目的等用同一测验，或者使用两个不同项目的等值测验，或在其他不同的测试条件下，对值测验，或在其他不同的测试条件下，对同一组被试实施两次或多次测试所得分数同一组被试实施两次或多次测试所得分数的一致性。的一致性。2022/10/287v测验信度表示测验分数中个体差

4、异测验信度表示测验分数中个体差异可归因于所测特质中可归因于所测特质中“真实真实”差异的差异的程度，以及可归因于随机误差的程度。程度，以及可归因于随机误差的程度。2022/10/288二、信度的统计定义1.经典测量理论假设的推论经典测量理论假设的推论第一节第一节 信度的概述信度的概述2022/10/2892.信度的统计定义信度的统计定义定义定义1：信度是被试团体真分数方差与实得：信度是被试团体真分数方差与实得分数方差之比分数方差之比定义定义2：信度是被试团体真分数与实得分数相关系数的平方：信度是被试团体真分数与实得分数相关系数的平方定义定义3：信度是一个测验：信度是一个测验X（A卷）与它的任意一

5、个平行测验卷）与它的任意一个平行测验（B卷）的相关系数卷）的相关系数第一节第一节 信度的概述信度的概述2022/10/2810三、描述信度的指标1.经典测量理论的信度系数经典测量理论的信度系数信度系数是表示测量结果的稳定性程度的指标。记为：信度系数是表示测量结果的稳定性程度的指标。记为：第一节第一节 信度的概述信度的概述信度系数的值域：信度系数的值域：0,1没有百分之百可靠的测量，因此，没有百分之百可靠的测量，因此，rXX=1只是理论上的值，只是理论上的值，实际当中是不会存在的。实际当中是不会存在的。？相关系数的值域是相关系数的值域是-1,+1，信度系数，信度系数的值域：的值域：0,1，为什么

6、？，为什么？2022/10/2811四、信度的作用2.信度是测量过程中所存在的随机误差大小的反映。信度是测量过程中所存在的随机误差大小的反映。第一节第一节 信度的概述信度的概述 例如，我们已知高考文科试卷的总信度例如，我们已知高考文科试卷的总信度rXX=0.965，文科考生总分的标准差为，文科考生总分的标准差为53.42,那么，文科考试成绩的标准误为：那么，文科考试成绩的标准误为：3.信度可以用来解释个人测验分数的意义信度可以用来解释个人测验分数的意义测量标准误。测量标准误。如果某生的考试成绩为如果某生的考试成绩为495分，在置信度为分，在置信度为0.95时，其真分数的置信区间为：时，其真分数

7、的置信区间为：2022/10/28124.信度可以帮助进行不同测验分数的比较。信度可以帮助进行不同测验分数的比较。第一节第一节 信度的概述信度的概述考察两个分数的差异是否可靠，是否真有差异的问题。比如，某人的物理成绩是否真的优考察两个分数的差异是否可靠，是否真有差异的问题。比如，某人的物理成绩是否真的优于化学？某人的数学技能本学期是否真有进步？某人在韦氏智力量表上操作智商与言语智于化学？某人的数学技能本学期是否真有进步？某人在韦氏智力量表上操作智商与言语智商的差异是否真有显著意义等。商的差异是否真有显著意义等。2022/10/2813第一节第一节 信度的概述信度的概述差异分数的测量标准误可用如

8、下公式求出：差异分数的测量标准误可用如下公式求出：式中，式中，SEdiff是差异分数的测量标准误；是差异分数的测量标准误；rXX和和rYY是两个是两个测验各自的信度系数；测验各自的信度系数；SD是两测验间使用的相同的标准是两测验间使用的相同的标准差。在比较分数之前，必须将两个测验分数转为具有相差。在比较分数之前，必须将两个测验分数转为具有相同量表的标准分数同量表的标准分数。2022/10/2814第一节第一节 信度的概述信度的概述例如，在韦氏成人智力量表中，言语和操作分测验的信度为例如，在韦氏成人智力量表中，言语和操作分测验的信度为 0.97和和0.93，而它们的智商的平均数为，而它们的智商的

9、平均数为100,标准差为标准差为15,故言语和操作智商差数的标故言语和操作智商差数的标准误为：准误为：因为因为4.741.969.29,因此，言语和操作智商相差因此，言语和操作智商相差10分时，在分时，在0.05水平水平上，我们说存在显著差异。若要在上，我们说存在显著差异。若要在0.01水平上作出差异显著的结论，就水平上作出差异显著的结论，就要相差要相差13分。分。测验分数的比较与平均数差异显著性检验是一回事吗？测验分数的比较与平均数差异显著性检验是一回事吗？2022/10/2815研研究究下下下下节节课课继继续续2022/10/2816第二节 信度的种类 与评估方法详细介绍第一节中提出的各种

10、信度估计方法的计算。详细介绍第一节中提出的各种信度估计方法的计算。2022/10/2817一、重测信度1.含义含义同一个测量工具在两个不同时间对同一组被试施测所得结果的一致同一个测量工具在两个不同时间对同一组被试施测所得结果的一致性程度。性程度。重测信度主要考察了一个测量工具是否能够保证在不同时间测量结重测信度主要考察了一个测量工具是否能够保证在不同时间测量结果的一致性，他反映了测量工具的结果受到时间间隔因素影响的大果的一致性，他反映了测量工具的结果受到时间间隔因素影响的大小。小。一般来说，重测的时间间隔越短，那么各种施测情境的变化就越小，一般来说，重测的时间间隔越短，那么各种施测情境的变化就

11、越小，重测信度系数就会越大。重测信度系数就会越大。重测信度系数较大时，说明该测量工具前、后两次的测量结果比较重测信度系数较大时，说明该测量工具前、后两次的测量结果比较一致。结果具有较好的跨时间上的稳定性。一致。结果具有较好的跨时间上的稳定性。第二节第二节 测验信度的种类与评估方法测验信度的种类与评估方法2022/10/2818一、重测信度2.评估方法评估方法重测信度的大小可以通过计算测量工具的重测系数重测信度的大小可以通过计算测量工具的重测系数（test-retest coefficient）或叫稳定性系数）或叫稳定性系数（coefficient of stability）来标志。具体来说，就

12、是求）来标志。具体来说，就是求取同一组被试在两个不同时间施测同一个测量工具所取同一组被试在两个不同时间施测同一个测量工具所得结果分数的相关系数。得结果分数的相关系数。第二节第二节 测验信度的种类与评估方法测验信度的种类与评估方法2022/10/2819一、重测信度3.应用条件应用条件测量工具所测量的个体心理特质在时间上应该是相对稳定测量工具所测量的个体心理特质在时间上应该是相对稳定的。的。测量工具所测量的个体心理特质应该不存在明显的练习效测量工具所测量的个体心理特质应该不存在明显的练习效应和遗忘效应。应和遗忘效应。在两次施测间隔期间不应该进行专门的训练和培训，以保在两次施测间隔期间不应该进行专

13、门的训练和培训，以保证重测信度反映的是随机因素的影响效应。证重测信度反映的是随机因素的影响效应。第二节第二节 测验信度的种类与评估方法测验信度的种类与评估方法2022/10/2820一、重测信度4.使用重测信度时需要注意的问题使用重测信度时需要注意的问题两次施测时间间隔的长短会影响重测信度系数估计值的大两次施测时间间隔的长短会影响重测信度系数估计值的大小，因此，在报告重测信度系数时应该报告间隔的时间长小，因此，在报告重测信度系数时应该报告间隔的时间长度。度。应该根据已有的相关研究结论考虑所测心理特质本身的稳应该根据已有的相关研究结论考虑所测心理特质本身的稳定性程度，以确定前后两次施测时间的间隔

14、究竟应该多长定性程度，以确定前后两次施测时间的间隔究竟应该多长比较合适时，不应该随便选择间隔时间的长短。比较合适时，不应该随便选择间隔时间的长短。第二节第二节 测验信度的种类与评估方法测验信度的种类与评估方法2022/10/2821练习题练习题v10名学生前后2次参加某心理测验，分数如下，假设总体符合正态分布，计算该测验信度2022/10/2822被试1234 567 8910第一次765080 6590 48 55813276第二次805390 7886 70 487630552022/10/2823答案答案v0.7892022/10/2824二、复本信度1.含义含义两个平行的测验（复本测验

15、）测量同一批被试所得结果的一致性程两个平行的测验（复本测验）测量同一批被试所得结果的一致性程度。度。复本信度反映了由于题目的不同以及时间间隔所导致的测量误差。复本信度反映了由于题目的不同以及时间间隔所导致的测量误差。平行测验或复本测验指的是两个在题目内容、数量、形式、难度、平行测验或复本测验指的是两个在题目内容、数量、形式、难度、区分度、指导语、时限以及所用的例题、公式和测验等其他方面都区分度、指导语、时限以及所用的例题、公式和测验等其他方面都相同或相似的测验。也就是用不同的题目测量同样的内容而且其测相同或相似的测验。也就是用不同的题目测量同样的内容而且其测验结果的平均值和标准差都相同的两个测

16、验。验结果的平均值和标准差都相同的两个测验。第二节第二节 测验信度的种类与评估方法测验信度的种类与评估方法2022/10/2825二、复本信度2.评估方法评估方法复本信度的估计过程就是计算同一批被试在两个平行的复本测复本信度的估计过程就是计算同一批被试在两个平行的复本测验上所得分数的相关系数，也叫作等值系数（验上所得分数的相关系数，也叫作等值系数（coefficient of equivalence）。）。测试设计：同时测试和延时测试。测试设计：同时测试和延时测试。同时测试是在同一个时间段内进行测试，而延时测试则是在两同时测试是在同一个时间段内进行测试，而延时测试则是在两个时间段进行测试，同时

17、测试可能会存在作答疲劳的效应，而个时间段进行测试，同时测试可能会存在作答疲劳的效应，而延时测试则可能会存在学习或培训效应。又称稳定性等值系数延时测试则可能会存在学习或培训效应。又称稳定性等值系数第二节第二节 测验信度的种类与评估方法测验信度的种类与评估方法2022/10/2826二、复本信度3.应用条件应用条件要构造出两份或两份以上真正平行的测验要构造出两份或两份以上真正平行的测验;计算复本信度需要对同一批被试测试两份平行测验，这就计算复本信度需要对同一批被试测试两份平行测验，这就需要掌握一个合理的时间安排。需要掌握一个合理的时间安排。应该尽量在测试结果报告中，详尽地说明两次测试的时间应该尽量

18、在测试结果报告中，详尽地说明两次测试的时间间隔、测试顺序安排、测试过程中被试的有关测验经历等。间隔、测试顺序安排、测试过程中被试的有关测验经历等。第二节第二节 测验信度的种类与评估方法测验信度的种类与评估方法2022/10/2827三、内部一致性信度1.含义含义内部一致性信度主要评价了测验各随机组成部分之间是内部一致性信度主要评价了测验各随机组成部分之间是否测量了相同的心理特质，因此，它反映的是题目内容否测量了相同的心理特质，因此，它反映的是题目内容的抽样一致性程度。的抽样一致性程度。具体估计方法主要包括分半信度评估法、库德具体估计方法主要包括分半信度评估法、库德-理查森理查森信度评估法、克龙

19、巴赫信度评估法、克龙巴赫Alpha系数评估法。系数评估法。与重测信度和复本信度不同，在估计测验的内部一致性与重测信度和复本信度不同，在估计测验的内部一致性信度时，只要用同一个测验对一批被试测试一次。信度时，只要用同一个测验对一批被试测试一次。第二节第二节 测验信度的种类与评估方法测验信度的种类与评估方法2022/10/2828三、内部一致性信度2.分半信度分半信度含义含义我们总是可以把一个测验的所有题目随机地我们总是可以把一个测验的所有题目随机地划分成对半的两个部分，然后估计所有被试划分成对半的两个部分，然后估计所有被试在这两个部分题目上得分的一致性程度，这在这两个部分题目上得分的一致性程度，

20、这样得到的测验一致性估计称为分半信度。样得到的测验一致性估计称为分半信度。分半信度评价了测验两个随机组成部分的题分半信度评价了测验两个随机组成部分的题目是否测量了相同的心理特质。目是否测量了相同的心理特质。第二节第二节 测验信度的种类与评估方法测验信度的种类与评估方法2022/10/2829三、内部一致性信度2.分半信度分半信度评估方法评估方法计算出被试在测验两个随机组成部分计算出被试在测验两个随机组成部分的题目上得分之间的相关系数。的题目上得分之间的相关系数。由于在用分半测验得分计算相关系数由于在用分半测验得分计算相关系数时，测验题量被缩短，信度系数需要时，测验题量被缩短，信度系数需要通过以

21、下这个公式对分半相关系数进通过以下这个公式对分半相关系数进行矫正而得到。行矫正而得到。为两个分半测验之间的相关系数，为两个分半测验之间的相关系数，为完整长度测验的信度系数估计值。为完整长度测验的信度系数估计值。第二节第二节 测验信度的种类与评估方法测验信度的种类与评估方法2022/10/28302022/10/2831三、内部一致性信度2.分半信度分半信度评估方法评估方法另外一个估计分半信度系数的方法是另外一个估计分半信度系数的方法是Rulon公式，他只需要公式，他只需要计算所有被试在两部分测验上得分之差的方差以及总分方差：计算所有被试在两部分测验上得分之差的方差以及总分方差：式中，式中，为完

22、整测验的信度估计值，为完整测验的信度估计值，为被试在两部分测验上得分为被试在两部分测验上得分之差的方差，之差的方差，为完整测验总分方差。为完整测验总分方差。Rulon公式中分子方差反映了由于题目不同等条件带来的误差方差，公式中分子方差反映了由于题目不同等条件带来的误差方差，他与总方差之比反映了误差方差在总方差中所占的比例。他与总方差之比反映了误差方差在总方差中所占的比例。第二节第二节 测验信度的种类与评估方法测验信度的种类与评估方法2022/10/2832三、内部一致性信度2.分半信度分半信度使用时需注意的问题使用时需注意的问题在估计测验的分半信度时，虽然要求把一个测验的所有题目随在估计测验的

23、分半信度时，虽然要求把一个测验的所有题目随机地划分成对半的两个部分，但是在实践中对测验分半时，为机地划分成对半的两个部分，但是在实践中对测验分半时，为了尽量减少无关因素的影响，通常需要考虑题型、题分、题目了尽量减少无关因素的影响，通常需要考虑题型、题分、题目测试先后顺序等因素的平衡问题，比如按照题目顺序奇偶分半测试先后顺序等因素的平衡问题，比如按照题目顺序奇偶分半就是一个经常选择的方法。分半信度通常是在只能施测一次或就是一个经常选择的方法。分半信度通常是在只能施测一次或没有复本的情况下使用。其中使用斯皮尔曼没有复本的情况下使用。其中使用斯皮尔曼布朗公式时要求布朗公式时要求全体被试在两半测验分数

24、的变异数相等。当测验无法分成对等全体被试在两半测验分数的变异数相等。当测验无法分成对等的两半时，无法使用。的两半时，无法使用。第二节第二节 测验信度的种类与评估方法测验信度的种类与评估方法2022/10/2833三、内部一致性信度3.库德库德-理查森信度理查森信度含义含义在估计分半信度时，把一个测验的题目分成两半的方式是在估计分半信度时，把一个测验的题目分成两半的方式是非常多的。而每种分半方式得到的信度估计值总会存在一非常多的。而每种分半方式得到的信度估计值总会存在一些差异，但我们无法知道究竟哪种分半结果所得到的信度些差异，但我们无法知道究竟哪种分半结果所得到的信度估计值是最合适的。估计值是最

25、合适的。估计所有可能的分半信度系数的平均数，作为完整测验的估计所有可能的分半信度系数的平均数，作为完整测验的内部一致性最佳估计值。内部一致性最佳估计值。第二节第二节 测验信度的种类与评估方法测验信度的种类与评估方法2022/10/2834三、内部一致性信度3.库德库德-理查森信度理查森信度评估方法：评估方法：所有分半信度系数的平均数的估所有分半信度系数的平均数的估计方法。计方法。第二节第二节 测验信度的种类与评估方法测验信度的种类与评估方法2022/10/2835三、内部一致性信度3.库德库德-理查森信度理查森信度使用条件使用条件Kuder-Richardson信度系数的估计只能针对信度系数的

26、估计只能针对1、0记记分题型，对于其他题型需要使用更加一般化的估计分题型，对于其他题型需要使用更加一般化的估计方法。方法。K-R 21公式假设测验中所有项目的难度是相同的。公式假设测验中所有项目的难度是相同的。Kuder-Richardson信度反映的是项目间一致性程度，信度反映的是项目间一致性程度，他会严重地受到测验所测行为特质的同质性程度的他会严重地受到测验所测行为特质的同质性程度的影响。影响。第二节第二节 测验信度的种类与评估方法测验信度的种类与评估方法2022/10/2836三、内部一致性信度4.Cronbachs Alpha系数系数含义含义是一种比是一种比Kuder-Richards

27、on方法更加一般方法更加一般化的信度估计方法，它可以针对各种记分方化的信度估计方法，它可以针对各种记分方式的题型进行估计。式的题型进行估计。第二节第二节 测验信度的种类与评估方法测验信度的种类与评估方法2022/10/2837三、内部一致性信度4.Cronbachs Alpha系数系数评估方法评估方法第二节第二节 测验信度的种类与评估方法测验信度的种类与评估方法公式中，公式中，k是测验题目个数，是测验题目个数，是被试在题是被试在题目目i上得分的方差，上得分的方差，是被试测验总分方差。是被试测验总分方差。2022/10/2838三、内部一致性信度4.Cronbachs Alpha系数系数使用条件

28、使用条件可以估计各种记分方式的测验内部一致性信可以估计各种记分方式的测验内部一致性信度系数，是更一般化的测验内部一致性信度度系数，是更一般化的测验内部一致性信度系数估计方法。系数估计方法。第二节第二节 测验信度的种类与评估方法测验信度的种类与评估方法2022/10/28392022/10/2840四、评分者信度1.含义含义在评价通过主观评分方式得到的分数时，我们必须了解在评价通过主观评分方式得到的分数时，我们必须了解不同的评分者在评价被试作答反应时给的分数值的一致不同的评分者在评价被试作答反应时给的分数值的一致性程度（信度）性程度（信度）。一般的客观型题目在评分时很少出现误差，然而，对于一般的

29、客观型题目在评分时很少出现误差，然而，对于诸如作文测验、语言类测验、以及其他的评价性测验诸如作文测验、语言类测验、以及其他的评价性测验（如人格特质评级、投射测验评分等），这些测验类型（如人格特质评级、投射测验评分等），这些测验类型的评分过程就显得非常主观。的评分过程就显得非常主观。第二节第二节 测验信度的种类与评估方法测验信度的种类与评估方法2022/10/2841四、评分者信度2.评估方法评估方法两个评分者时：计算这两个评分者评定两个评分者时：计算这两个评分者评定分数之间的相关系数。分数之间的相关系数。多个评价者评价同一批被试：计算和谐多个评价者评价同一批被试：计算和谐系数。系数。第二节第二

30、节 测验信度的种类与评估方法测验信度的种类与评估方法2022/10/2842研研究究下下下下节节课课继继续续2022/10/2843五、信度系数及其估计方法小结1.测试次数和测试卷份数与信度系数估计方法测试次数和测试卷份数与信度系数估计方法第二节第二节 测验信度的种类与评估方法测验信度的种类与评估方法测试次数测试次数测试卷份数测试卷份数 1份份 2份份 1次次 分半信度分半信度Kuder-Richardson信度信度Alpha系数系数 复本信度（同时测试）复本信度（同时测试）2次次 重测信度重测信度 复本信度（延时测试）复本信度（延时测试）2022/10/2844五、信度系数及其估计方法小结2

31、.各种信度估计方法的误差方差来源各种信度估计方法的误差方差来源第二节第二节 测验信度的种类与评估方法测验信度的种类与评估方法复本信度（延时测试）复本信度（延时测试）复本信度（延时测试）复本信度（延时测试）重测信度重测信度复本信度（同时测试）复本信度（同时测试）复本信度（延时测试）复本信度（延时测试）分半信度分半信度Kuder-Richardson 和和Alpha系系数数评分者信度评分者信度 时间间隔时间间隔题目内容题目内容时间间隔与题目内容时间间隔与题目内容题目内容题目内容题目内容与心理行为特质的同质题目内容与心理行为特质的同质性性评分者间差异评分者间差异 2022/10/2845第三节 测量

32、的随机误差控制2022/10/2846一、影响测量信度的因素影影响响测测量量信信度度的的因因素素施测间隔的时间施测间隔的时间被试被试主试主试施测情境施测情境测量工具测量工具第三节第三节 测量的随机误差控制测量的随机误差控制2022/10/2847二、提高测验信度的常用方法提提高高测测验验信信度度的的常常用用方方法法规范施测程度、统一施测环境规范施测程度、统一施测环境适当增加测验的长度适当增加测验的长度控制试题的难度分布控制试题的难度分布努力提高每道题的区分度努力提高每道题的区分度维持测验的同质性维持测验的同质性努力提高测验在被试中各个努力提高测验在被试中各个同质亚团体上的信度同质亚团体上的信度

33、保证被试有充裕的作答时间保证被试有充裕的作答时间严格控制评分误差严格控制评分误差第三节第三节 测量的随机误差控制测量的随机误差控制2022/10/2848第四节 评分者信度及 评分误差的控制2022/10/2849一、评分误差存在的严重性v严重到什么程度？严重到什么程度？历史教授的答案被评阅为历史教授的答案被评阅为“不及格不及格”高考作文高考作文一幅漫画的启示一幅漫画的启示，67位评阅者，位评阅者，6至至25分都有，最高分与最低分相差分都有，最高分与最低分相差19分分1984年，高考作文评分调查，年，高考作文评分调查，438位老师，位老师，4篇作文，。篇作文，。最高得分为最高得分为41.25，

34、最低分为，最低分为20.75，标准差为，标准差为2.98。1985年，对年，对1984年的四篇作文再研究，年的四篇作文再研究，347位老师位老师（有部分年参加研究的老师），最高得分为（有部分年参加研究的老师），最高得分为42.5，最，最低分为低分为24.75，标准差为，标准差为3.3。第四节第四节 评分者信度及评分误差控制评分者信度及评分误差控制2022/10/2850二、评分者信度v定义：多个评分者对同一批答卷评分结果的一定义：多个评分者对同一批答卷评分结果的一致性程度。致性程度。v估计方法：估计方法：v 两位评分者评同一批试卷；两位评分者评同一批试卷；v 三位或三位以上评分者评同一批试卷三

35、位或三位以上评分者评同一批试卷第四节第四节 评分者信度及评分误差控制评分者信度及评分误差控制2022/10/2851三、评分误差产生的原因v试题原因试题原因v评分者原因评分者原因专业知识水平不够专业知识水平不够评判能力不够评判能力不够个性倾向个性倾向心理状态心理状态v客观效应客观效应“名片名片”、“光环光环”、“对比对比”、“先后先后”v环境、组织管理的原因环境、组织管理的原因第四节第四节 评分者信度及评分误差控制评分者信度及评分误差控制2022/10/2852四、控制评分误差的方法v控制试题作答反应方向与范围控制试题作答反应方向与范围v预先制订好评分细则预先制订好评分细则v阅卷人员要选择、要培训阅卷人员要选择、要培训v流水作业流水作业v分因素评分分因素评分v组织复查组织复查v要求评分者自觉防止各种客观效应的影响要求评分者自觉防止各种客观效应的影响v大规模阅卷可考虑采用统计手段控制大规模阅卷可考虑采用统计手段控制第四节第四节 评分者信度及评分误差控制评分者信度及评分误差控制2022/10/2853提高信度的方法适当增加测验的长度v为什么增加测验的长度，会提高信度？v测验长度的增加与信度的提高不是等比例的2022/10/2854