Rasch模型在学绩测验质量分析中的应用.pdf

本研究为贵州省高等学校教学质量与教学改革工程重点项目“基于 P B L 理论改进心理教育测量教学改革研究”（项目批准号：黔高教发 2 0 1 1 2 8-1）、贵州师范大学精品课程“心理测量”建设项目阶段性成果。R a s c h 模型在学绩测验质量分析中的应用赵守盈何妃霞刘妍 摘要 Rasch 模型是估计题目难度和学生能力的一种数学模型，可以对测验题目难度的分布、题目得分与测验得分之间的关系以及测验目标进行精确分析，为测验质量的分析提供一个新的视角。本文使用 Rasch 分析软件 WINSTEPS 对贵州省贵阳市两所实施相同测验的学校测试数据进行分析，结果表明该测验的质量基本符合测验目标的要求，但需对少数几个和难度分布显著不同的题目做进一步分析，同时研究表明相同的测验对不同的测试目标群体作用不同，并且为该测验提供了一些可行性的改进方法。关键词 Rasch 模型学绩测验质量分析教育研究与实验2 0 1 3 年第 1 期一、引言学绩测验是测查学生学业成就水平的重要形式，对教育研究的发展做出了重要贡献。因此，如何对学绩测验质量进行全面、准确地分析有重要的研究意义。学绩测验的质量包括试题的质量和测验的选配、组 合 是 否 符 合 考 试 的 测 量 目 标 两 个 方 面。1 2 0 2 6 R a s c h 模型是丹麦数学家 G e o r g R a s c h 提出的测验分析方法模型，在心理与教育领域有重要作用。R a s c h 模型通过学绩测验结果的原始数据对题目的难度水平和学生的能力水平进行估计，建立学生能力水平和测验题目难度水平之间的关系，把学生的能力水平和题目的难度水平放在同一个等距水平量尺上进行比较，2 4 5 7-4 8 2量尺中位置之间的单位距离具有相同的价值和意义，3 1-1 8同时 R a s c h 模型可以对测验题目难度的分布、题目得分与测验得分之间的关系以及测验目标进行精确分析，为测验质量的分析提供一个新的视角。目前，国内外学者对 R a s c h 模型进行了深入研究。M i c h e l a B a t t a u z，R u g g e r o B e l l i o，E n r i c o G o r i 认为通过结合 R a s c h 模型和教师评分可以减少学生学业成就估计的误差。4 2 8 9-3 0 2刘建达运用多面 R a s c h 模型对英语试题中的主观评分及话语填充测试方法等进行了分析研究，指出多面 R a s c h 模型在试题质量和分数解释方面有重要作用，5 1 5 7-1 6 9何莲珍，张洁采用多面R a s c h 模型对大学英语四、六级口语考试（C E T-S E T）的信度进行研究，发现 R a s c h 分析可以为考试信度提供有效的反馈信息。6 3 8 8-3 9 8还有研究表明，R a s c h 模型可以用于考试开发过程中专家审题的质量控制，7 1 4-1 8同时在试题质量分析中也有重要作用。8 7 0-7 3已有研究对多面 R a s c h 模型的应用进行了深入探讨，其中大多研究采用 R a s c h 分析软件 F A C E T S 对主观题的测试数据进行分析。本文采用 WI N S T E P S 对6 5 道客观题的测验数据进行 R a s c h 分析，为 R a s c h 模8 7型在测验质量分析中的应用做深入探讨。二、研究方法（一）研究对象贵州省贵阳市两所学校的高三学生。分析两个不同学校学生（文中用甲、乙代表两个样本学校）在同一个测验试题上所得分数。两个学校教学中使用相同的教学大纲和教材，教学内容一致。（二）分析工具使用 S P S S 1 5.0、WI N S T E P S 对数据进行分析。采用 S P S S 1 5.0 对两个学校在该次测验中的数据进行预处理。随后使用 WI N S T E P S 对测验得分进行 R a s c h 分析。三、Rasch结果与分析（一）甲样本学校的Rasch分析结果与讨论1.甲样本学校的项目难度-个体能力联合分布图。R a s c h 模型将数据进行对数转换，转换成等距的l o g i t，把学生能力和题目难度放到同一坐标系中进行标定，可以直接地对学生与学生、学生与题目、题目与题目的差异进行比较，清晰地呈现学生的能力水平和题目的难度水平之间的关系。图 1 中，左边代表学生能力水平的分布情况，右边代表题目难度水平的分布情况。从下往上，学生的能力水平增高，题目的难度水平增大。越靠近图顶端，学生的能力水平越高，题目越难。相反，越靠近底部，学生的能力水平越低，题目越简单。学生之间的距离代表学生能力水平之间的差异，题目间的距离表示题目难度水平的差异。图 1 显示，样本学生的能力水平分布宽度约为3.8 个 l o g i t，测验题目的难度水平分布宽度约为 4.2 个l o g i t，表明测验题目的难度水平高于学生的能力水平，测验题目的难度超过了学生的能力水平。另显示，在测验中间，有许多题目的难度水平较为接近。2.甲样本学校的 R a s c h 模型题目信息。R a s c h 模型对题目的难度和学生的能力水平进行估计后，对每个学生在每个题目上答对的理论概率进行估计，并且和实际的观测分数进行比较，用二者之间的差异来评表1甲样本学校的Rasch模型题目信息表N O.1234567891 01 11 21 31 41 51 61 71 81 92 02 12 22 32 42 52 62 72 82 9T o t a ls c o r e1 6 53 5 73 4 32 6 21 3 52 5 31 7 01 2 93 3 32 4 62 8 41 8 72 5 99 42 6 01 3 93 9 26 31 2 21 5 13 6 21 3 04 4 53 7 61 9 24 4 83 2 22 7 78 9M e a s u r e0.8 60.8 20.6 90.0 01.1 70.0 80.8 11.2 40.6 00.1 40.1 80.6 50.0 31.6 80.0 21.1 31.1 62.1 81.3 21.0 00.8 71.2 31.7 81.0 00.6 11.8 20.5 10.1 21.7 5R a s c hS.E.0.1 00.1 00.0 90.0 90.1 00.0 90.1 00.1 10.0 90.0 90.0 90.1 00.0 90.1 20.0 90.1 00.1 00.1 40.1 10.1 00.1 00.1 10.1 20.1 00.1 00.1 20.0 90.0 90.1 2I n f i tM N S Q1.0 70.9 90.9 31.0 01.1 91.0 71.2 31.1 90.9 11.0 80.9 01.2 41.0 21.0 51.0 51.0 20.9 10.9 71.1 71.1 20.9 31.0 40.9 20.9 91.0 11.9 40.8 71.0 61.0 0O u t f i tM N S Q1.1 31.0 00.9 00.9 91.3 81.0 81.3 51.4 30.8 61.1 00.8 71.3 31.0 21.1 61.0 41.1 00.8 21.0 61.4 01.2 00.9 01.1 00.8 31.0 31.0 40.8 10.8 31.0 71.0 7C o r.0.2 40.4 20.4 50.3 60.1 30.3 10.1 40.1 20.4 60.3 00.4 50.1 50.3 40.1 90.3 30.2 50.5 10.2 00.1 30.2 00.4 60.2 30.5 50.4 30.3 00.5 50.4 80.3 30.2 2图1甲样本学校的项目-个体图8 8估数据与模型的拟合情况。R a s c h模型通常报告O u t f i t M N S Q和 I n f i t M N S Q两个拟合指标。O u t f i tM N S Q是标准残差的均方，I n f i t M N S Q是加权后的残差均方。O u t f i t M N S Q和 I n f i t M N S Q值为 1 表示数据与模型完全拟合。在数据与模型较好拟合时，O u t f i tM N S Q和 I n f i t M N S Q的取值范围在 0.5到 1.5之间。如果 O u t f i t M N S Q和 I n f i t M N S Q值大于 2.0 表明学生在作答题目时，作答方式与模型设定的方式不一致，小于 0.5，表明学生的作答结果差异较小或题目不能区分学生之间能力水平的差异。R a s c h 标准误（R a c s hS.E.）表示测验在测量学生能力水平时的误差大小，相关系数代表题目与测验测量目标的拟合程度，相关系数越高，说明题目与测验的测量目标越接近。根据表 1，所有题目的参数基本都在可接受的范围内，说明数据与模型拟合较好。另外所有题目的相关系数都是正向，其中第 3 5 题的相关系数最小，说明其在测量学生的能力水平时，测量到的学生信息最少。题目 3 5 的 O u t f i t M N S Q和 I n f i t M N S Q参数值为分别为 1.3 0、1.5 0，当 O u t f i t M N S Q和 I n f i t M N S Q参数值大于 1 时，说明学生在作答该题时，低能力水平的学生正确回答了该题，而许多高能力水平的学生错误的回答了该题。因此，题目 3 5 在区分学生的能力水平时误差较大，需进一步探讨。根据对测验的 R a s c h 分析可以推知该试题在多大程度上测量了学生的能力水平以及题目难度水平和学生能力水平之间差异，根据分析结果调整测验内容，提高测验的信度和效度。3.甲样本学校的气泡图。图 2 中，一个气泡代表一个题目，气泡大小代表 R a s c h 标准误，气泡位置代表题目 O u t f i t M N S Q参数大小。在理想的情况下，所有气泡都应靠近气泡图的中轴线，且不会有重叠。从图中可以看出，大多数题目的 O u t f i t M N S Q参数值在0.5 1.5 范围内，即数据与模型拟合较好。图中有少部分气泡重合在一起，说明题目的难度水平或测验内容接近。题目 3 5 的 O u t f i t M N S Q参数值接近 1.5，应进一步探讨。从图 2 可以看出，题目 1 8、2 9、1 4、2 6、2 3 对学生能力水平的估计误差较大。从图 1 可以看出，题目1 8、2 9、1 4 是较难的题目，题目 2 6、2 3 是较易的题目，结合表 1 中呈现的R a s c h 标准误可知题目太难或太易，在估计学生的能力水平时都存在较大误差。（二）乙样本学校的R a s c h分析结果1.乙样本学校的项目-个体图。从图 3 可以看出学生的能力水平高于测验的难度水平，学生的能力水平分布宽度大约为 6.4 个 l o g i t，项目难度水平的分布宽度约为 5 个 l o g i t。在图右边清晰地呈现了 6 5 道题目之间的关系，题目之间的距离越近说明题目间的难度水平越接近。大部分学生的能力水平高于 0 点，表3 03 13 23 33 43 53 63 73 83 94 04 14 24 34 44 54 64 74 84 95 05 15 25 35 45 55 65 75 85 96 06 16 26 36 46 51 9 62 2 72 0 93 6 11 4 01 5 14 0 81 4 63 2 23 8 13 5 92 2 71 9 41 4 33 0 62 3 83 2 82 5 03 9 14 2 73 0 12 3 93 0 12 6 33 1 83 1 02 5 22 2 42 9 42 9 03 5 04 2 03 0 33 5 13 1 72 2 60.5 70.3 00.4 60.8 61.1 21.0 01.3 31.0 60.8 71.0 50.8 40.3 00.5 91.0 90.3 70.2 00.5 60.1 01.1 51.5 50.3 30.2 00.3 30.0 10.4 70.4 00.0 90.3 20.2 70.2 30.7 61.4 70.3 40.7 60.4 60.3 10.1 00.0 90.0 90.1 00.1 00.1 00.1 00.1 00.0 90.1 00.1 00.0 90.1 00.1 00.0 90.0 90.0 90.0 90.1 00.1 10.0 90.0 90.0 90.0 90.0 90.0 90.0 90.0 90.0 90.0 90.1 00.1 10.0 90.1 00.0 90.0 91.9 21.2 21.0 31.0 11.1 31.3 00.8 31.1 40.8 90.9 61.0 90.9 81.0 20.9 90.8 81.0 00.9 91.1 50.8 70.8 50.9 70.8 50.8 90.8 91.0 20.9 71.0 20.8 80.9 30.8 71.0 30.9 50.8 60.8 20.8 61.0 40.8 91.2 61.0 41 0.61.1 71.5 01.7 21.2 60.8 60.9 21.1 90.9 91 0.40.9 90.8 61.0 01.0 31.1 80.7 80.7 30.9 60.8 30.8 70.8 80.9 90.9 50.9 90.8 90.9 20.8 41.0 50.8 80.8 40.7 60.8 21.0 50.3 70.2 00.3 10.4 00.1 90.0 80.5 60.1 80.4 60.4 60.3 50.3 40.3 00.2 50.4 60.3 40.4 00.2 50.5 30.5 70.4 00.4 40.4 50.4 20.3 80.4 00.3 80.4 00.4 20.4 60.3 90.5 00.4 70.5 20.4 80.3 1图2甲样本学校的气泡图8 9明该测验题目对于该样本学生来说，难度水平较小。从图中还可以看出，题目 2 6 的难度水平最小，题目 8 的难度水平最大。故乙样本学校，应提高测验的难度水平。2.乙样本学校的 R a s c h 模型题目信息。在表 1 中每个题目的 R a s c h 标准误（R a c s h S.E.）代表依据题目的测量结果对学生能力做出估计时，估计结果的不确定性。表中第二列代表学生在 6 5 道题目上答对的学生人数。一个题目的 O u t f i t M N S Q值较大，个体能力水平和题目难度水平差异显著时，表明高能力水平的学生错误地作答了简单题目，能力水平低的学生正确回答了较难的题目。例如题目 2 3 是较容易的题目，但 O u t f i t M N S Q值为1.2 1，表明一些高能力水平的学生未能对该题目做出正确回答。题目 8 是较难的题目，O u t f i t M N S Q值为 1.3 3，说明一些低能力水平的学生正确回答了该题目。因此，对于乙样本学生而言，应对题目 8、2 3 做进一步研究。从表中可以看出，所有测验题目的相关系数都是正向的，测验项目与测验目标基本一致。通过对测验分数的 R a s c h分析，R a s c h标准误、I n f i t M N S Q以及 O u t f i tM N S Q值都在可接受的范围内，即可以对测验项目和学生能力做出较全面、客观的评价。3.乙样本学校的气泡图。从图中可以看出，有许多气泡重合，表明题目的难度水平接近，从而导致题目难度顺序不够清晰。根据图 4，题目 2 6、4 9、3 6、6 1、1 7、4 8、6 3、2 3 在估计学生的能力水平时，误差较大。根据图 3，可以表2乙样本学校的Rasch模型题目信息表N O.1234567891 01 11 21 31 41 51 61 71 81 92 02 12 22 32 42 52 62 72 82 93 03 13 23 33 43 53 63 73 83 94 04 14 24 34 44 54 64 74 84 95 05 15 25 35 45 55 65 75 85 96 06 16 26 36 46 5T o t a ls c o r e2 8 75 4 15 5 74 5 71 9 94 8 02 1 71 6 25 6 44 3 45 3 82 8 94 5 82 1 64 1 41 0 25 9 51 8 02 3 13 4 95 5 53 0 85 8 05 2 84 4 16 0 95 3 04 6 13 0 44 2 83 0 33 8 44 9 31 8 51 7 75 9 82 9 65 3 75 6 04 2 14 0 63 7 23 7 65 1 74 4 05 2 82 9 25 8 76 0 25 3 95 3 05 2 45 3 65 4 15 4 35 0 94 8 75 3 65 5 85 3 45 9 65 3 85 7 95 5 04 5 2M e a s u r e1.4 40.8 11.0 60.1 22.1 20.0 91.9 72.4 41.1 80.3 20.7 71.4 30.1 11.9 80.4 90.5 91.1 92.2 81.8 60.9 91.0 31.2 91.5 10.6 30.2 62.4 60.6 60.0 91.3 20.3 81.3 20.7 30.2 32.2 32.3 02.0 11.3 80.7 51.1 10.4 30.5 50.8 20.7 90.5 00.2 70.6 31.4 01.6 82.1 50.7 80.6 60.5 80.7 40.8 10.8 40.0 40.1 60.7 41.0 80.7 11.9 40.7 71.4 90.9 50.1 7R a s c hS.E.0.0 90.1 20.1 30.1 00.0 90.0 90.0 90.1 00.1 40.0 90.1 20.0 90.1 00.0 90.0 90.0 90.1 80.0 90.0 10.0 90.1 30.0 90.1 50.1 10.0 90.2 20.1 10.1 00.0 90.0 90.0 90.0 90.1 00.0 90.0 90.1 80.0 90.1 20.1 30.0 90.0 90.0 90.0 90.1 10.0 90.1 10.0 90.1 60.2 10.1 20.1 10.1 10.1 20.1 20.1 20.1 10.1 00.1 20.1 30.1 20.1 80.1 20.1 50.1 30.0 9I n f i tM N S Q0.9 61.0 10.9 81.0 11.1 21.0 11.1 81.0 30.8 81.0 10.8 81.0 70.9 70.9 91.1 90.9 90.9 60.9 51.1 51.0 00.9 50.9 91.0 11.0 00.9 00.9 60.9 41.0 51.0 40.9 31.0 71.0 31.1 11.0 91.1 30.8 81.0 00.9 50.9 71.2 81.0 40.9 90.9 60.9 11.0 81.0 01.2 00.9 60.8 80.9 10.8 00.9 10.8 70.9 50.9 60.9 30.9 20.9 51 0 8 91.0 20.9 30.8 80.8 40.8 61.0 0O u t f i tM N S Q0.9 60.8 30.8 30.9 71.3 60.9 91.4 71.3 30.6 90.9 70.7 21.1 70.9 31.0 21.2 71.0 00.7 90.9 11.2 80.9 90.9 90.9 81.2 11.0 00.8 50.8 40.8 81.0 61.0 80.9 21.1 11.0 11.1 21.1 81.4 30.5 41.0 20.9 20.8 21.4 31.0 50.9 90.9 60.8 21.0 91.9 41.3 00.8 50.6 40.7 80.5 90.8 10.7 50.8 40.8 80.8 10.8 20.9 20.6 71.0 30.6 70.7 20.5 30.7 01.0 0C o r.0.3 50.4 40.4 60.3 80.1 70.3 90.1 20.2 00.5 30.3 70.5 10.2 60.4 10.2 90.2 60.3 70.5 20.3 10.1 70.3 50.4 50.3 40.4 30.4 10.4 50.5 50.4 50.3 50.3 00.4 20.2 70.3 40.3 00.1 90.1 40.5 80.3 20.4 50.4 70.1 40.3 30.3 60.3 80.4 80.3 20.4 20.1 60.5 00.5 80.4 90.5 70.4 80.5 10.4 60.4 50.4 70.4 60.4 50.5 20.4 00.5 40.5 10.5 80.5 30.3 8图3乙样本学校的项目-个体图9 0看出学生的能力水平高于题目的难度水平，因此，题目 2 6、4 9、3 6、6 1、1 7、4 8、6 3、2 3对于乙样本学校的学生来说过于简单，在区分学生能力水平时存在较大误差。图中 8、1 8、3 4和 3 5都是很难的题目，它们的O u t f i t M N S Q小于 1.3，这可能是由于低能力水平的学生通过猜测作答正确造成的。分析结果表明，甲样本学校题目的难度水平略高于学生的能力水平，多数题目对学生能力水平的估计比较精确，但题目 1 8、2 9、1 4、2 6、2 3 在估计学生能力水平时存在较大误差。乙样本学校学生的能力水平高于题目的难度水平，而且有较多的题目难度与学生能力水平有较大偏离，题目 2 6、4 9、3 6、6 1、1 7、4 8、6 3、2 3等较易的项目几乎没有与其相对应的被试（见图 3），所以在估计学生能力水平时不够精确。根据图 1、图3，可以清晰地看出两个样本学校学生能力水平之间的差异，对于甲样本学校学生来说较难的项目，对乙样本学校学生可能较简单，例如题目 1 8，因此，对于不同的样本群体，题目对学生能力水平估计作用不同。根据 R a s c h 模型原理，题目的难度水平和学生的能力水平越接近，对学生能力水平的估计越精确，题目太难或太易对学生能力水平估计误差较大。因此，根据对学绩测验结果的 R a s c h 分析可知测验是否符合测验目标的要求，是否可以对学生的能力水平做出正确估计，从而提高测验本身的质量水平。四、结论本研究使用 R a s c h 模型对两所学校的测验数据进行分析，结果表明，该测验基本符合其测量目标。但其中有几个题目需进一步探讨，从而提高测验的质量。除此外，研究表明相同测验对不同样本学校学生群体的作用不同，对于甲样本学校学生来说较难的题目，可能对乙样本学校学生较简单。在实际测验中，希望保持测验的结构和测验目的一致性，但研究发现相同的测验，题目的难度水平在不同的样本学生群体之间的顺序发生了改变，例如在甲样本学校的项目难度-个体能力联合分布图中，题目 1 8 最难，而对于乙样本题目 8 最难。因此，要求在编制学绩测验时，要保证学绩测验的质量，与学绩测验的目标紧密结合。R a s c h 模型可以精确地分析相同的测验在测量不同学生的能力水时测量的精确性，从而揭示出学绩测验对学生能力水平估计的准确程度，对测验内容进行调整，使得测验更具针对性。学绩测验是测查学生学业成就水平的重要形式，对教育研究的发展做出了重要贡献。R a s c h 模型可以作为检验和改进学绩测验的有力工具，同时对提高教师的教学质量和学生的学习效率有重要作用。通过 R a s c h 模型对学绩测验分数的分析，可以对学绩测验本身、学绩测验的分数都做出一个准确、完整的评价。注：1 王晓华，文剑冰.项目反应理论在教育考试命题质量评价中的应用 J .教育科学，2 0 1 0，3.2 D o u g l a s H.C l e m e n t s,J u l i eH.S a r a m a，X i u f e n gH.L i u.D e v e l o p m e n t o f a m e a s u r e o f e a r l y m a t h e m a t i c s a c h i e v e m e n t u s-i n g t h e R a s c hm o d e l:t h e R e s e a r c h-B a s e dE a r l y M a t h s A s s e s s-m e n t J .E d u c a t i o n a l P s y c h o l o g y，2 0 0 8,2 8(4).3 J e n n i f e r R a n d a l l,G e o r g e E n g e l h a r d,J r.E x a m i n i n g T e a c h e rG r a d e s U s i n g R a s c h M e a s u r e m e n t T h e o r y J .J o u r n a l o f E d u c a t i o n a lM e a s u r e m e n t,2 0 0 9,4 6(1).4 M i c h e l aB a t t a u z,R e g g e r oB e l l i o,E n r i c oG o r i.R e d u c i n gM e a s u r e m e n t E r r o r i n S t u d e n t A c h i e v e m e n t E s t i m a t i o n J .P S Y-C H O M E T R I K A,2 0 0 8,7 3(2).5 刘建达.话语填充测试方法的多层面 R a s c h 模型分析 J .现代外语（季刊），2 0 0 5，2 8（2）.6 何莲珍，张洁.多层面 R a s c h 模型下大学英语四、六级口语考试（C E T-S E T）信度研究 J .现代外语（季刊），2 0 0 8，3 1（4）.7 江进林，文秋芳.基于 R a s c h 模型的翻译测试效度研究 J .外语电化教学，2 0 1 0，1 3 1.8 田清源.主观评分中多面 R a s c h 模型的应用 J .心理学探新，2 0 0 6，2 6（1）.作者单位：贵州师范大学教育科学学院邮编：550001(责任编辑：刘华山）图4乙样本学校的气泡图9 1