第九章测验等值优秀PPT.ppt

第九章 测验等值第一页，本课件共有48页第一节第一节 测验等值概述测验等值概述l一、测验等值来源于测量实践的需要一、测验等值来源于测量实践的需要l二、测验等值的实质二、测验等值的实质l三、测验等值的条件三、测验等值的条件l四、测验等值的一些基本概念四、测验等值的一些基本概念l五、测验等值结果的表示方法五、测验等值结果的表示方法第二页，本课件共有48页一、测验等值来源于测验实践的需要一、测验等值来源于测验实践的需要l 在我国考试实践中，有许多大规模的在我国考试实践中，有许多大规模的考试需要进行测验等值，例如考试需要进行测验等值，例如高等教育自高等教育自学考试学考试各专业的各门课程的考试，通常是各专业的各门课程的考试，通常是在同一课程考试大纲下，每年重复测试所在同一课程考试大纲下，每年重复测试所谓的平行试卷，人们有理由提出这样的问谓的平行试卷，人们有理由提出这样的问题题:某门课程今年考生所得的某门课程今年考生所得的60分是否与分是否与去年同一课程考生所得的去年同一课程考生所得的60分等值分等值?因为因为只有在它们等值的情况下，考试对这两年只有在它们等值的情况下，考试对这两年参加同一门课程测验的考生才是公平的。参加同一门课程测验的考生才是公平的。第三页，本课件共有48页l 将不同测验（考察同一特质）上的分将不同测验（考察同一特质）上的分数（特质水平值）和项目（试题）参数做数（特质水平值）和项目（试题）参数做出单位系统转换，从而使之能相互比较的出单位系统转换，从而使之能相互比较的过程，叫做测验等值。过程，叫做测验等值。第四页，本课件共有48页二、测验等值的实质二、测验等值的实质l 从从本质本质上说，测验等值就是通过对考核上说，测验等值就是通过对考核同一种心理品质同一种心理品质的多个测验形式作出测量分数系统的转换，进而使得这的多个测验形式作出测量分数系统的转换，进而使得这些不同测验形式的测验分数之间具有些不同测验形式的测验分数之间具有可比性可比性。A B C 82 85 80l 1。测验等值中所说的测量分数系统的转换与测验原。测验等值中所说的测量分数系统的转换与测验原始分数及导出分数之间的转换是不相同的。始分数及导出分数之间的转换是不相同的。l 2。寻找测验等值关系与寻找两测验之间预测关系也是不相。寻找测验等值关系与寻找两测验之间预测关系也是不相同的。同的。第五页，本课件共有48页第六页，本课件共有48页第七页，本课件共有48页三、测验等值的条件三、测验等值的条件l（1）同质性）同质性 要求等值的两个测验必须是测量同一心理特质的。很难想象可以把数学测验的分数等值转换成语文测验的分数，但数学测验分数却可能等值转换成另一次内容难度近似的数学测验分数。l（2）等信度）等信度l（3）公平性）公平性l（4）对称性）对称性l（5）样本不变性）样本不变性 等值测验是两个或多个测验之间客观存在的实际关系。l（6）可递推性）可递推性 如果f(x)=y,g(y)=z，那么h(x)=gf(x)=z第八页，本课件共有48页l上述要求满足极为困难，除了心理现象复上述要求满足极为困难，除了心理现象复杂，测验技术发展不成熟外，测量理论框杂，测验技术发展不成熟外，测量理论框架本身的局限也是原因。架本身的局限也是原因。第九页，本课件共有48页四、测验等值的一些基本概念四、测验等值的一些基本概念（一）成对出现的概念（一）成对出现的概念l1。经典测验理论与项目反应理论等值。经典测验理论与项目反应理论等值 经典测验理论（经典测验理论（CTTCTT）、项目反应理）、项目反应理论（论（IRTIRT）、概化理论（）、概化理论（GTGT）区别在于等值时以何种区别在于等值时以何种测验理论测验理论为为指导。指导。l2。测验分数等值与项目参数等值。测验分数等值与项目参数等值 根据测验等值的根据测验等值的直接操作对象直接操作对象不同不同而构成的一对概念。而构成的一对概念。缺陷：严重依赖样本；缺陷：严重依赖样本；两测验上被试分数分两测验上被试分数分布大体相同。布大体相同。第十页，本课件共有48页l3。水平等值与垂直等值。水平等值与垂直等值 根据测验试卷的根据测验试卷的难度难度和和被试能力分布被试能力分布是否有差异而区分的一对概念。是否有差异而区分的一对概念。进行垂直等值化的原因：进行垂直等值化的原因：举例：举例：一套成就测验由不同水平的几个测验构成，每一水平适应于某一年一套成就测验由不同水平的几个测验构成，每一水平适应于某一年级范围的学生。例如该测验的水平级范围的学生。例如该测验的水平1 1正好适合二年级初的学生，水平正好适合二年级初的学生，水平2 2正好正好适合二年级末的学生。然而，对那些在二年级进步较慢的学生而言，水平适合二年级末的学生。然而，对那些在二年级进步较慢的学生而言，水平2 2可可能太难而无法得到准确的测验结果。一种可能的解决办法就是对这些学生能太难而无法得到准确的测验结果。一种可能的解决办法就是对这些学生施测水平施测水平1 1。为了解释这些学生的测验成绩，就有必要知道这两种水平的等值。为了解释这些学生的测验成绩，就有必要知道这两种水平的等值分数。这个过程被称为垂直等值化。分数。这个过程被称为垂直等值化。第十一页，本课件共有48页四、测验等值的一些基本概念四、测验等值的一些基本概念1。测验等值设计。测验等值设计 定义：定义：为了寻找不同测验形式之间的为了寻找不同测验形式之间的等值关系而预先对等值关系而预先对数据的采集方法数据的采集方法、等值等值实现的途径实现的途径、等值的计算方法等值的计算方法进行周密的进行周密的设计，称为测验等值设计。设计，称为测验等值设计。等值设计的最主要原则是要使得所采等值设计的最主要原则是要使得所采集的数据能最有效提供不同测验形式的差集的数据能最有效提供不同测验形式的差异信息。异信息。第十二页，本课件共有48页2。锚测验。锚测验 定义：在测验等值设计中，有时会采定义：在测验等值设计中，有时会采用一组测验试题来关联两个待等值的测验用一组测验试题来关联两个待等值的测验形式，以便寻找两形式的等值关系，这些形式，以便寻找两形式的等值关系，这些测验试题被称作为锚测验。测验试题被称作为锚测验。要求：同质性；等信度；长度不小于要求：同质性；等信度；长度不小于原测验的原测验的1/5。第十三页，本课件共有48页V第十四页，本课件共有48页3。数据平滑法。数据平滑法比较实用的两种数据平滑法：比较实用的两种数据平滑法：l一种叫对数线性平滑法一种叫对数线性平滑法l一种叫一种叫二项式平滑模式二项式平滑模式第十五页，本课件共有48页l等值完成之后必须对等值结果进行评价。评价的目标等值完成之后必须对等值结果进行评价。评价的目标是所估等值关系的可靠性与准确性，其指标是等值关是所估等值关系的可靠性与准确性，其指标是等值关系中所包含的等值误差的大小。系中所包含的等值误差的大小。l关于等值标准误差、等值偏差关于等值标准误差、等值偏差l 理解的时候可以从理解的时候可以从随机随机等值误差（等值标准等值误差（等值标准误差）和误差）和系统系统等值误差（等值偏差）的角度来理解。等值误差（等值偏差）的角度来理解。l 注意：以上主要是在注意：以上主要是在CTT的范围内对的范围内对测验分数测验分数等值等值所作的探讨。所作的探讨。第十六页，本课件共有48页4。等值标准误差。等值标准误差l测量学把由测量学把由抽样抽样而引起的等值误差称作等而引起的等值误差称作等值标准误差。值标准误差。l像测验误差不可避免一样，等值误差也是像测验误差不可避免一样，等值误差也是不可避免不可避免的。的。第十七页，本课件共有48页等值标准误差的操作定义：等值标准误差的操作定义：应用样本数据估计测验形式应用样本数据估计测验形式X X与与Y Y的等值关系时，的等值关系时，如果反复抽取等容量的样本，可以求得许多个如果反复抽取等容量的样本，可以求得许多个X X与与Y Y的等值关系，对于的等值关系，对于X X的一个固定值的一个固定值X X0 0，会有若干个不，会有若干个不等的等的Y Y0 0与之对应，这若干个与之对应，这若干个Y Y0 0的标准差就是对应于的标准差就是对应于X=X=X X0 0的等值标准误差。的等值标准误差。从这里可以看出等值标准误差的大小是会随着被等值的具体分数而变化的。从总的趋势来说，随机等值误差的大小是会随着样本容量的增大而减小的。控制办法：数据平滑法第十八页，本课件共有48页l测验等值误差是一个变量，随等值分数的测验等值误差是一个变量，随等值分数的大小而变，其大小而变，其总趋势总趋势是等值分数越趋于分是等值分数越趋于分布的两端，等值的标准误差越大。布的两端，等值的标准误差越大。第十九页，本课件共有48页5。等值偏差。等值偏差 在等值测验中除了抽样引起等值误差之外，在等值测验中除了抽样引起等值误差之外，等值处理方法不当也会引起等值误差，测量学上等值处理方法不当也会引起等值误差，测量学上把这种等值误差称为偏差。把这种等值误差称为偏差。第二十页，本课件共有48页系统等值误差系统等值误差l 在等值设计和等值关系估计过程中，必在等值设计和等值关系估计过程中，必须作出若干假设，具备若干等值条件，如果须作出若干假设，具备若干等值条件，如果这些假设被违背或者条件不能被充分满足，这些假设被违背或者条件不能被充分满足，都会产生系统误差。都会产生系统误差。l 例如，设计一中的假设不能满足的情况例如，设计一中的假设不能满足的情况l 等值的系统误差与随机误差不同，系统等值的系统误差与随机误差不同，系统误差难以量化、难以发现，系统误差的大小误差难以量化、难以发现，系统误差的大小也不随样本容量的增大而变小。也不随样本容量的增大而变小。第二十一页，本课件共有48页据研究，形成等值系统误差的可能原因有四种：据研究，形成等值系统误差的可能原因有四种：l第一种是当应用等值方法的统计假设不满足时，所估等值关第一种是当应用等值方法的统计假设不满足时，所估等值关系中就会出现系统误差。系中就会出现系统误差。l第二种原因是当为估计等值关系所设计的数据采集规则第二种原因是当为估计等值关系所设计的数据采集规则未被严格遵循，所估等值关系中也会出现系统误差。未被严格遵循，所估等值关系中也会出现系统误差。l第三种原因是估计等值关系时所用的被试组与实际使用第三种原因是估计等值关系时所用的被试组与实际使用这两测验的被试组有实质性的差异，此时将所估等值关这两测验的被试组有实质性的差异，此时将所估等值关系应用于实测群体，系统误差也就产生了。系应用于实测群体，系统误差也就产生了。l第四种原因是某些等值数据处理技术的使用也可能引进第四种原因是某些等值数据处理技术的使用也可能引进系统误差。系统误差。第二十二页，本课件共有48页五、测验等值结果的表示方法五、测验等值结果的表示方法（一）表列法（一）表列法 应用应用最普遍最普遍的等值结果表示方法的等值结果表示方法（二）公式法（二）公式法 常见的等值结果公式形式常见的等值结果公式形式y=Ax+B 式中式中x与与y处于平等地位处于平等地位（三）图示法（三）图示法 形象生动但精确度有限形象生动但精确度有限第二十三页，本课件共有48页测验等值的工作过程大致包括：测验等值的工作过程大致包括：l（1）进行等值设计）进行等值设计l（2）贯彻实施等值设计方案，实施测验）贯彻实施等值设计方案，实施测验并实际收集到数据资料；并实际收集到数据资料；l（3）针对实测资料作统计分析，求出等）针对实测资料作统计分析，求出等值转换关系；值转换关系；l（4）对求得的等值转换关系和整个等值）对求得的等值转换关系和整个等值工作进行评价，确定其正确有效性和求出工作进行评价，确定其正确有效性和求出其等值误差。其等值误差。第二十四页，本课件共有48页第二节第二节 测验等值计算的基本方法测验等值计算的基本方法一、等百分位等值一、等百分位等值二、线形等值二、线形等值第二十五页，本课件共有48页一、等百分位等值一、等百分位等值第二十六页，本课件共有48页一、等百分位等值一、等百分位等值l优点：定义直观，也容易理解优点：定义直观，也容易理解l缺点：缺点：l一是分数等值转换关系的求得依赖于所选一是分数等值转换关系的求得依赖于所选用的样本，当抽取的样本改变之后，具体用的样本，当抽取的样本改变之后，具体的等值关系就会发生变化，因此样本不变的等值关系就会发生变化，因此样本不变性要求没有得到满足；性要求没有得到满足；l二，百分位等值法通常要使用平滑化处理二，百分位等值法通常要使用平滑化处理方法，这无疑增大了等值的误差。方法，这无疑增大了等值的误差。第二十七页，本课件共有48页二、线形等值二、线形等值 第二十八页，本课件共有48页第三节第三节 常用测验等值设计介绍常用测验等值设计介绍测验等值设计测验等值设计 定义：为了寻找不同测验形式之间的定义：为了寻找不同测验形式之间的等值关系而预先对数据的采集方法、等值等值关系而预先对数据的采集方法、等值实现的途径、等值的计算方法进行周密的实现的途径、等值的计算方法进行周密的设计，称为测验等值设计。设计，称为测验等值设计。第二十九页，本课件共有48页第三节第三节 常用测验等值设计介绍常用测验等值设计介绍回顾线形等值与等百分位等值的原理回顾线形等值与等百分位等值的原理l 等百分位等值依据的原理：两个分数，一个在等百分位等值依据的原理：两个分数，一个在测验形式测验形式X X上，另一个在测验形式上，另一个在测验形式Y Y上，如果这两个上，如果这两个分数对于任何一个被试群体都有相同的百分等级，那分数对于任何一个被试群体都有相同的百分等级，那么这两个分数就被认为是等值的。么这两个分数就被认为是等值的。l 线性等值所依据的原理：两个分数，一个在线性等值所依据的原理：两个分数，一个在测验形式测验形式X X上，而另一个在测验形式上，而另一个在测验形式Y Y上，如果对于上，如果对于任何一个被试群体，它们各自的标准分数相等，这两任何一个被试群体，它们各自的标准分数相等，这两个分数就被认为是等值的。个分数就被认为是等值的。第三十页，本课件共有48页设计一设计一 随机分组随机分组每组实施一个测验每组实施一个测验一、随机等组设计一、随机等组设计 样本样本 测测 验验 X X Y Y 第三十一页，本课件共有48页设计一设计一 随机分组随机分组每组实施一个测验每组实施一个测验 这种数据采集设计有一个假设，即这种数据采集设计有一个假设，即两两被试样本的总体分布是相同的。被试样本的总体分布是相同的。由于抽样由于抽样结果来自于同一总体，因此，不考虑其间结果来自于同一总体，因此，不考虑其间的抽样误差，这一假设是很容易得到满足的抽样误差，这一假设是很容易得到满足的。的。第三十二页，本课件共有48页1。线形等值法。线形等值法 Y=Ax+B A=Sy/S/Sx x B=MB=My y-AM-AMx x 注意：等值关系直线绝不是线性回归直线，线性注意：等值关系直线绝不是线性回归直线，线性回归直线中，直线的回归直线中，直线的斜率斜率还必须乘上两变量的相关还必须乘上两变量的相关系数。另外，等值关系关于系数。另外，等值关系关于x x和和y y是对称的，而回归是对称的，而回归关系中关系中x x和和y y是不对称的，因此，是不对称的，因此，回归关系不是等值回归关系不是等值关系关系。第三十三页，本课件共有48页2。等百分位等值法。等百分位等值法lXPR Yl PR=Fb+(x-Lb)f/i/N100l y=Lb+(PR/100N-Fb)/fi第三十四页，本课件共有48页二、平衡单组设计二、平衡单组设计 样本样本 测测 验验 X X Y Y 前前 后后 前前 后后 设计二设计二 随机分组随机分组各测验对每组都实施各测验对每组都实施第三十五页，本课件共有48页设计二设计二 随机分组随机分组各测验对每组都各测验对每组都实施实施l 采用这种设计的目的是要防止两个测验形式施测采用这种设计的目的是要防止两个测验形式施测顺序的改变可能引起的等值差异。顺序的改变可能引起的等值差异。l 采用这种设计的优点是，如果测验顺序对等值结采用这种设计的优点是，如果测验顺序对等值结果没有影响，就可以只用一个样本完成测验等值，使果没有影响，就可以只用一个样本完成测验等值，使得一些被试难寻的测验有可能在较大样本下完成测验得一些被试难寻的测验有可能在较大样本下完成测验的等值。的等值。l 无法克服练习效应和测验时间太长的缺点。无法克服练习效应和测验时间太长的缺点。l1。线形等值法。线形等值法l2。等百分位等值法。等百分位等值法第三十六页，本课件共有48页三、锚测验三、锚测验随机等组设计随机等组设计 样本样本 测测 验验 X X V V Y Y 设计三设计三 随机分组随机分组每组各实施一个测验，每组各实施一个测验，锚测验向每组实施锚测验向每组实施第三十七页，本课件共有48页l数据采集时，锚测验既用于第一组被试，数据采集时，锚测验既用于第一组被试，又用于第二组被试。虽然两组被试总体分又用于第二组被试。虽然两组被试总体分布不同，由于施用了一组共同试题，两被布不同，由于施用了一组共同试题，两被试组能力的差异就可以被定量描写，进而试组能力的差异就可以被定量描写，进而可以排除被试组的能力差异而将两待等值可以排除被试组的能力差异而将两待等值的测验形式的等值关系估计出来。的测验形式的等值关系估计出来。第三十八页，本课件共有48页设计三设计三 随机分组随机分组每组各实施一个测验，锚每组各实施一个测验，锚测验向每组实施测验向每组实施l 要求锚测验必须是两待等值测验的缩要求锚测验必须是两待等值测验的缩影，由锚测验作为桥梁，把测验影，由锚测验作为桥梁，把测验X和和Y连连接起来，缺点是锚测验作为其缩影实际上接起来，缺点是锚测验作为其缩影实际上是难以做到的。是难以做到的。l 锚测验与待等值测验不论难度上的差锚测验与待等值测验不论难度上的差异还是内容上的差异都会对等值结果带来异还是内容上的差异都会对等值结果带来误差，尤其是难度上的影响较大。误差，尤其是难度上的影响较大。第三十九页，本课件共有48页四、锚测验四、锚测验非等组设计非等组设计 样本样本 测测 验验 X X V V Y Y 设计四设计四 非随机分组非随机分组每组各实施一个测每组各实施一个测验，锚测验向每组实施验，锚测验向每组实施第四十页，本课件共有48页设计四设计四 非随机分组非随机分组每组各实施一个测验，每组各实施一个测验，锚测验向每组实施锚测验向每组实施应用背景：应用背景：l 在实际工作中还会出现这样的情况：在实际工作中还会出现这样的情况：既不可能采集一个样本让被试施测两个不既不可能采集一个样本让被试施测两个不同形式的测验，又不可能获得两个总分分同形式的测验，又不可能获得两个总分分布相同的样本来分别接受两个测验的施测。布相同的样本来分别接受两个测验的施测。l 例子：例子：两个年度的高考试卷等值两个年度的高考试卷等值第四十一页，本课件共有48页设计四设计四 非随机分组非随机分组每组各实施一个测验，每组各实施一个测验，锚测验向每组实施锚测验向每组实施关于锚测验关于锚测验实际工作中实际工作中l（1 1）锚题与原测题混合编制施测锚题与原测题混合编制施测，操作比较方便，且锚，操作比较方便，且锚题测试可能达到相当可靠的程度，但是一旦试卷题测试可能达到相当可靠的程度，但是一旦试卷“曝光曝光”，锚题就失去作用。，锚题就失去作用。l（2 2）锚题独立成卷，锚题独立成卷，可以提高锚题的安全性，但是测试可以提高锚题的安全性，但是测试组织比较复杂，特别是要创设与正式测试相同的测试情组织比较复杂，特别是要创设与正式测试相同的测试情境比较困难境比较困难 但是不管锚题是在卷外还是卷中，锚题部分都应是但是不管锚题是在卷外还是卷中，锚题部分都应是原测验的一个平行简缩本，也要保证有相当的题量。原测验的一个平行简缩本，也要保证有相当的题量。第四十二页，本课件共有48页设计四设计四 非随机分组非随机分组每组各实施一个测验，每组各实施一个测验，锚测验向每组实施锚测验向每组实施 1。线形等值方法。线形等值方法l2。频数估计法（等百分位等值）。频数估计法（等百分位等值）l 频数估计法的频数估计法的关键关键是要利用锚测验数是要利用锚测验数据分别估出测验据分别估出测验x x和测验和测验y y在在合成被试群体合成被试群体t t上的次数分布。上的次数分布。l 第四十三页，本课件共有48页012345合计00100001100110022001210430002428合计01255215V X012345合计00200002100220042001.531.50630001214合计023.563.5116被被试组在在x与与v上的上的联合分布合分布(f)被被试组在在x与与v上的上的联合分布合分布（估（估计计）(g)第四十四页，本课件共有48页第四十五页，本课件共有48页l3。链等值法（等百分位等值）。链等值法（等百分位等值）XCPRa(XC)=PRa(VC)VC PR(VC)=PR(YC)YC 链等值法不需要总分与锚测验分的联链等值法不需要总分与锚测验分的联合分布，也不需合成被试组，因此比起频合分布，也不需合成被试组，因此比起频数估计法来显得更简单。但是，链等值法数估计法来显得更简单。但是，链等值法一个明显的不足是往往将一个长测验等值一个明显的不足是往往将一个长测验等值于一个短测验，从而增加了测验误差。于一个短测验，从而增加了测验误差。第四十六页，本课件共有48页v第四十七页，本课件共有48页l 为克服上述几种等值方法的缺点，在为克服上述几种等值方法的缺点，在综合上述几种等值方法优点、不足基础上，综合上述几种等值方法优点、不足基础上，陈希镇设计了一种新的等值设计方法陈希镇设计了一种新的等值设计方法试卷分半组合的单组设计法。试卷分半组合的单组设计法。l 建议阅读：建议阅读：l 戴海崎、刘启辉：戴海崎、刘启辉：锚题题型与等值锚题题型与等值估计方法对等值的影响估计方法对等值的影响载载心理学报心理学报2002，34（4）：）：367370第四十八页，本课件共有48页