管理监测系统 [阅卷管理与监测系统] .docx

管理监测系统 阅卷管理与监测系统 大规模考试作文评分探讨系列之六 上文说过，大规模考试中作文评分的误差限制包括三个不行缺少的基本环节，这就是评分标准、评分方法 和阅卷管理。监测系统是阅卷管理系统中一个有特别意义的组成部分。一次大规模作文考试，假如没有一套完 善的管理制度，没有一个有效的监测系统，则任何评分标准的厘定、评分方法的改进都只是一句空话。 在测试探讨中，考务管理是一个特地的领域；在测试机构中，考务管理是一个有特定职能的分支机构。考 虑到本刊的读者对象，以下只作约略的概述。 大规模作文考试的阅卷管理系统 大规模作文考试的阅卷管理系统应担当以下三个方面的职责：阅卷的业务领导，阅卷人员的行政 管理，阅卷质量的监测。在现阶段，我国比较完善的阅卷管理程度可以示意如下： 作文阅卷管理示意图 （附图 图） 现代科技的发展，为作文阅卷的管理供应了重要的协助手段。借助这种手段，阅卷管理的主要工作有： 试卷的随机编排 试卷的随机编排就是把不同学校的考生打乱混合排列。有了电脑，这项工作在技术上是不难解决的。重点 学校与非重点学校之间，水平可以相差很大，假如不解决随机编排问题，则监测系统的数据将失去代表性，既 使得这些数据缺乏应有的劝服力，也简单出现盲目的调控。有了随机编排，不但阅卷员的评分状况能够得到比 较客观的反映，而且就阅卷员本人来说，由于一本试卷（即同一考场中）兼有各类学校的考生作文，可以大大 减弱评分心理的位置效应（参阅系列之一）。此举可以消退评分的系统误差，即各校的平均成果与其实际 水平大体接近，但还不能遏制评分的随机误差（参阅系列之一文末注释）。 阅卷员的选择与培训 系列之三所披露的数字表明，阅卷人员决不是“年龄大、职称高”才好。阅卷队伍的形成应当是一个 选择的过程，由于大规模考试作文评分的特点与困难，阅卷者应当是一支半专业化的队伍，为此，须要逐步建 立阅卷人员档案。“高考作文评分误差限制”课题组的试验省分有的正考虑实行“阅卷员证书”制度（国外已 有），这是条很有价值的措施。 在选择阅卷人员的基础上还要进行培训。以下两项调查反映了短期培训的效果。 调查 取各类作文篇，名阅卷员在培训前后两次重评。结果如下： 培训前 培训后 篇平均标准差 总体标准差 可见经过培训，阅卷员评分的一样性有所提高，在拉开分数距离方面状况有所改善。 调查 取各类作文篇，分成对等两组，名阅卷员先评第一组（作为培训材料），相隔日再评其次组， 结果如下： 第一次 其次次 篇平均标准差 观测结果与调查相近。 培训可以有两种方式：短期集中培训，结合阅卷过程进行。后者一般都与样本卷探讨和典型卷讨 论合并进行，将在下面特地介绍。 样本卷的选定及其策略 即使有了比较完备的评分参照量表（参阅上期），每次大规模考试的样本卷仍是不行少的。这是因为每年 的试题都有其特性，有其须要特别处理的冲突，须要依据当年试题状况编制样本卷系列予以解决。 样本卷的功能，一是使评分标准明确化、详细化，二是针对影响阅卷稳定的心理因素予以尽可能的限制。 因此编制样本卷系列，在着眼点方面，在策略方面，和参照量表的编制可以有所不同。参照量表的编制要遵循 “等距性”原则，即各典型例卷之间，假如按百分制计算，其分距大体上是相等的；样本卷系列的制订，则可 以进一步着眼于“分界线”和“分歧点”。 例如：“趋中倾向”（参阅系列之一）是大规模考试评分中一个比较突出的问题，针对这种状况， 年江西省在高考作文评分选定样本卷时实行了以下对策：一、二类样本卷取下限，三类卷取上 、下限。实行上述措施的结果，各类试卷的分布状况有所改善： 类别 一 二 三 四 五 百分比 高考作文每年分值不同，为了便于比较，重新划分分数段使之能与年相对应，结果如下： (91)29-35 (91)20-28 (91)12-19 (91)1-11 (90)33-40 (90)23-32 (90)14-22 (90)1-13 1991 10% 46% 36% 8% 90(综) 6% 58% 27% 9% 90(综) 11% 62% 22% 5% 从表中的数据可以看出，高分数段的状况没有显著改变，而其次档次的人数有大幅度下降，第三档的数字 有明显上升。从整体上看，打保险分，送“及格”分的倾向有所抑制。 再取同是采纳分项评分法的年文科考生分与年全省考生抽样统计的平均数、标准差、变差系数（ 标准差平均分）相比，结果如下： 平均分 标准差 变差系数 年（满分分） （满分分） 统计表明，变差系数有所增加，即分数离散状况好于前一年。 “分歧点”就是简单引起分歧的问题。每年阅卷，都可以发觉“有的作文好评，有的作文难评”现象。对 于某些作文，评分比较简单趋于一样，对于另一些作文，看法往往分歧。归纳、分析、探讨这些评分差别较大 的试卷，刚好提出来探讨，统一相识，纳入样本系列，是极其重要的。 阅卷流程管理 依据我国惯例，大规模作文考试通常在暑期或接近暑期进行。在高温、大兵团突击作战的阅卷条件下，应 该特殊留意阅卷人员的生活支配和保健措施。就阅卷流程管理而言，要特殊留意以下两项工作： 均衡投卷，限制速度 阅卷速度必需匀称，前松后紧之类都必定扩大误差。考虑到阅卷员娴熟程度不断提高，可以先略慢后稍快 ，但各组之间必需同步前进。要严禁各组攀比速度，领导小组要驾驭进度，但决不应公布进度，一公布必定对 较慢的组产生压力而滋生误差。此外，假如阅卷人员之间存在着利害关系（相互竞争的学校、区县等），试卷 的投放还要留意流向，以免人为因素干扰。 阅卷的速度与质量有干脆关系，速度过快必定评估粗糙。由于目前实行的承包制以及阅卷数量与酬劳挂钩 的缘由，阅卷速度不断加快。据了解，高考作文有的地区个别阅卷员的速度竟达到日份以上，在这种情 况下，阅卷质量是无法得到保证的。承包制不适用于作文阅卷，必需予以解决。 制订行为准则 “多元评定法”是减小各评阅者评分误差的重要措施。依据赛蒙兹（Symonds）的探讨，一组作文若由两人 评定，其相关系数为，经四人评定后再由另四人评定，则相关系数可达，若经八人评定后再 评定，相关系数可以增加到。目前，美国威斯曼的“快速印象法”和英国伦敦教化探讨所的试验都要 求一份试卷经四人评定。在我国，一般原则上规定一份试卷应由两人共评，要求已经很低，但事实上仍无法做 到。在这种状况下，应当就“对子”行为作出一些规定，例如至少要求两人先共评若干份，分评后每天必需相 互抽查各等级的作文若干篇，发觉问题刚好磋商，并有相应的检查措施，等等。这已经是最低限度的要求。 纪律涣散、工作看法不肃穆，是无法保证阅卷质量的。因此，还应当制订阅卷员守则，并且有相应的 奖惩制度。对于不合格的阅卷人员必需坚决汰除。课题组各试验省份都有被判“红牌”者，对维护阅卷的肃穆 性有良好的作用。 监测及复查 由于这个问题的重要性，将在下文特地介绍。 建立、健全监测系统 大规模作文考试假如没有一个有效的监测系统，则任何探讨、条例和改进措施将毫无意义。我国长期惯用 的“复查”就是一种监测方法，不过随着科技手段的进步，监测手段日益丰富，怎样借助科技手段来发展监测 系统就成为人们探讨的一个课题。 科技手段应用于评分监测，有“隐形笔”等注，不过目前主要是电脑。国外有利用电脑干脆进行调控 的，即以试卷中某些客观性较强试题的得分为参照系，假如发觉某地区或某阅卷员的主观题给分与其它地区或 其他阅卷员的评分平均值相比明显偏低或偏高，可以通过数学方法加以调整。我国英语高考也曾采纳过这种方 法。但语文是一门综合性很强的学科，其测试也属于异质性测试，经过多次测算，各试题（包括作文）的得分 之间没有必定联系。即以写作实力而论，母语和外语不同，母语作文的实力层次要求大大高于外语，高层次能 力（如立意）与低层次实力（如书写）之间，得分也没有必定联系。因此用其它试题作参照系的方法就作文评 分而论是不科学的，也是不行取的。再就各阅卷员之间的评分来说，由于评分对象的差别（例如一市集中阅卷 ，各区之间的水平就会有所不同），很难据此就作出“偏严”、“偏松”的推断，假如隧然利用电脑干脆调整 ，很难避开盲目调控。因此，至少就作文评分而言，机器只能刚好发觉问题，最终的裁断还必需由人工（专家 ）来做出。 当前，利用电脑监测主要有以下几种方法： 指标监测 用以监测的指标主要有“平均分”和“标准差”。平均分可以显示出阅卷者给分有没有偏高或偏低的问题 ；标准差显示给分的离散程度，显示出有没有“打保险分”的趋向。将阅卷员每日每份试卷的给分刚好输入电 脑，如有问题，就可以刚好发觉。 参照系监测 由核心组先随机抽阅一批试卷，将数据输入电脑，以所形成的曲线作为参照系。参照系有允许浮动的肯定 幅度。阅卷员每日评分结果在图形显示上假如超越了幅度，电脑就能刚好检出以备复查。 “暗点”监测 即由核心组随机抽阅一批试卷，隐私输入电脑，阅卷员评此卷时，假如给分差距过大，就能刚好发觉检出 ，显示该阅卷员所评其它试卷也可能存在问题。本方法原理虽然简洁，但颇为有效。 内部相关监测 这是我国试验分项评分时所创建的一种方法。其原理是各分项得分之间往往具有肯定的相关性，由此设计 了数学模型，把测算结果称为U值。U值过大或过小，都可以供应信息供复查组审核、裁夺。此方法年 在河北省试验与指标监测法同时采纳，当年结果如下（X拨为平均分为标准差）： 试卷 增加分 削减分 增加分 削减分 平均每 袋数 数篇数 数篇数 数总和 数总和 袋改动 X拨出线 出线 U值小 U值大 说明：平均分低于限制线的袋，经复查，分数变动，平均每袋分；高于限制的袋， 分数变动分，平均每袋分。 U值方法尚在进一步完善和论证的过程之中，但实践证明它在发觉问题方面是有效的。由此也可以看出，在 平均分、标准差均未出线的范围内还存在着大量误差，须要探讨对策。这也正是作文评分监测系统科研的任务 。注该笔书写的符号，只有借助特定灯具才能显示。这样，共评者彼此不知道对方所给的成果，而由监测 者（或组长）裁夺。假如差别过大，则需重评。 一全文完一