素质测评的质量分析.ppt

《素质测评的质量分析.ppt》由会员分享，可在线阅读，更多相关《素质测评的质量分析.ppt（57页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第十二章第十二章 素质测评的质量分析素质测评的质量分析l一项测评是否可靠、可信？l一项测评是否准确、有用？l一项测评是否公正、公平？l一项测评是否经济、合理？l教学内容教学内容12-1 12-1 测评的信度测评的信度 12-1-1 12-1-1 信度及其影响因素信度及其影响因素 12-1-2 12-1-2 信度的评估方法信度的评估方法12-2 12-2 测评的效度测评的效度 12-2-1 12-2-1 效度及其影响因素效度及其影响因素 12-2-2 12-2-2 效度的评估方法效度的评估方法12-3 12-3 项目分析项目分析 12-3-1 12-3-1 测评的难度分析测评的难度分析 12-3

2、-2 12-3-2 测评的鉴别度分析测评的鉴别度分析 12-3-3 12-3-3 测评的公平性分析测评的公平性分析 12-3-4 12-3-4 测评的经济效益分析测评的经济效益分析12-1 12-1 测评的信度测评的信度l信度是标准化素质测评的基本要求之一，信度是标准化素质测评的基本要求之一，如果测评工具的信度不理想，测量结果就如果测评工具的信度不理想，测量结果就无法被认为能代表应试者的一致、稳定和无法被认为能代表应试者的一致、稳定和可靠的行为表现，就可能误导对应试者的可靠的行为表现，就可能误导对应试者的评价。评价。12-1-1 12-1-1 信度及其影响因素信度及其影响因素l如果我们用一个游

3、标卡尺来测量一个钢管的外直径，每次测量如果我们用一个游标卡尺来测量一个钢管的外直径，每次测量时都难免会有一定的误差。时都难免会有一定的误差。l首先，游标卡尺作为一种测量工具是有一定精度限制的，也就首先，游标卡尺作为一种测量工具是有一定精度限制的，也就是说，测量工具本身存在误差。当然这种误差是必然存在的，是说，测量工具本身存在误差。当然这种误差是必然存在的，而且误差是在一定范围中有规律的变动的，这种误差在测量工而且误差是在一定范围中有规律的变动的，这种误差在测量工作中被称之为作中被称之为系统误差（系统误差（systematic errorsystematic error）。l其次，我们每一次测量

4、都可能出现操作上的差异，或者由于不其次，我们每一次测量都可能出现操作上的差异，或者由于不可预见的外界因素的影响，产生测量误差。这些误差是很难控可预见的外界因素的影响，产生测量误差。这些误差是很难控制的，而且无规律可循，有时大有时小，这种误差被称为制的，而且无规律可循，有时大有时小，这种误差被称为随机随机误差（误差（random errorrandom error）。l前者在一定程度上可以控制，而后者很难控制，一个好的测量前者在一定程度上可以控制，而后者很难控制，一个好的测量工具应该不仅要有尽可能高的精确度（与系统误差相关），还工具应该不仅要有尽可能高的精确度（与系统误差相关），还能够把误差控制

5、在一个有规律的范围以内，这样才能够得到稳能够把误差控制在一个有规律的范围以内，这样才能够得到稳定可信的测量结果。定可信的测量结果。信度实际上就是对随机误差的一种度量。信度实际上就是对随机误差的一种度量。1、信度的概念、信度的概念l信度（信度（reliabilityreliability）信度是标示测验一致性高低的）信度是标示测验一致性高低的统计指标。主要指测量结果的统计指标。主要指测量结果的可靠性、稳定性和一可靠性、稳定性和一致性致性，可以定义为测验结果不受测验情境或测验过，可以定义为测验结果不受测验情境或测验过程中无关变量影响的程度。实际上就是指测验分数程中无关变量影响的程度。实际上就是指测

6、验分数不受测量误差影响的程度。可以指出测验出的个体不受测量误差影响的程度。可以指出测验出的个体差异在多大程度上是真正的差异，又在多大程度上差异在多大程度上是真正的差异，又在多大程度上是由于随机误差造成的。是由于随机误差造成的。l随机误差越大，信度就越低。反之，信度就越高。随机误差越大，信度就越低。反之，信度就越高。l通常任何测验都存在某种程度的不一致性（同一受通常任何测验都存在某种程度的不一致性（同一受试者在不同时间或在不同的测验条件下做同一测验）试者在不同时间或在不同的测验条件下做同一测验）l因为误差的存在，我们永远不可能完全揭示人的心因为误差的存在，我们永远不可能完全揭示人的心理特点，只能

7、无限接近真实分数。理特点，只能无限接近真实分数。测量结果的稳定性：测量结果的稳定性：l测验分数一致性的程度（不同时间、测验条件测验分数一致性的程度（不同时间、测验条件下所得分数之间的一致性）下所得分数之间的一致性）l一个人获得分数与一个人获得分数与“真实分数真实分数”之间的接近程之间的接近程度度l测量结果的一致性是否达到实际应用的程度测量结果的一致性是否达到实际应用的程度影响稳定性的原因：影响稳定性的原因：l什么因素造成了这种差异（误差的来源）什么因素造成了这种差异（误差的来源）l这些效应的相对作用如何（分数的实际含意）这些效应的相对作用如何（分数的实际含意）在研究信度时，主要应考虑两方面的问

8、题：在研究信度时，主要应考虑两方面的问题：信度的计算：信度系数信度的计算：信度系数l信度指标的一般公式：测验分数信度指标的一般公式：测验分数 =真实分数真实分数 +测量误差测量误差 或者：或者：X=T+eX=T+el信度的高低通常以相关系数表示，称为信度系数信度的高低通常以相关系数表示，称为信度系数（reliability coefficientreliability coefficient）。）。信度系数一般是同一样本信度系数一般是同一样本所得的两组资料的相关，因此有：所得的两组资料的相关，因此有：测验分数方差测验分数方差 =真实分数方差真实分数方差+误差分数方差误差分数方差 X X2 2

9、=T T2 2 +e e2 2l信度系数：信度系数：r rxxxx=T T2 2 /X X2 2 =T T2 2 /（T T2 2 +e e2 2 ）l信度系数即是真实分数方差（变异数）与测验分数总方差信度系数即是真实分数方差（变异数）与测验分数总方差（变异数）之比。（变异数）之比。2、信度的作用、信度的作用l测验信度要能够区分出：测验信度要能够区分出：导致一致性的因素：导致一致性的因素：个体稳定的特性（测量对象）个体稳定的特性（测量对象）导致不一致性的因素：导致不一致性的因素：可能影响测验，但又与测验可能影响测验，但又与测验对象没有关系的个体和环境的特性对象没有关系的个体和环境的特性 l在素

10、质测评中，对信度系数进行确定通常有以下作用：在素质测评中，对信度系数进行确定通常有以下作用：解释真实分数与实得分数之间的相关解释真实分数与实得分数之间的相关说明可以接受的信度水平说明可以接受的信度水平几种心理测验的信度系数几种心理测验的信度系数测验类型测验类型信度信度低低中中高高成套成就测验0.660.920.98学术能力测验0.560.900.97成套倾向性测验0.260.880.96客观人格测验0.460.850.97兴趣问卷0.420.840.93态度量表0.470.790.983、信度的影响因素、信度的影响因素l 受试者个体持久而泛化的特性受试者个体持久而泛化的特性：进行测验的一般技能

11、水平进行测验的一般技能水平理解测验指示语的一般能力水平理解测验指示语的一般能力水平进行类似测验的一般的人格特质进行类似测验的一般的人格特质l 受试者个体持久而特殊的特性受试者个体持久而特殊的特性：进行某项测验（或其形式）需要的特殊的技能、能力进行某项测验（或其形式）需要的特殊的技能、能力 和和特质；以及稳定的反映定势；特质；以及稳定的反映定势；对某个测验项目内容的熟悉程度对某个测验项目内容的熟悉程度l 受试者个体短时而泛化的特性受试者个体短时而泛化的特性：健康、疲劳、动机、情绪状态、测验自如性；温度、健康、疲劳、动机、情绪状态、测验自如性；温度、光光亮、通风等测验外部条件亮、通风等测验外部条件

12、l 受试者个体短时而特殊的特性受试者个体短时而特殊的特性对特殊测验的理解，测验所需要的特殊技巧；为做测验对特殊测验的理解，测验所需要的特殊技巧；为做测验所进行的练习；所进行的练习；对测验项目内容的注意、记忆等的飘忽不定。对测验项目内容的注意、记忆等的飘忽不定。l 影响测验过程和解释的外部因素系统改变影响测验过程和解释的外部因素系统改变测验条件；对测验的各种限制；干扰程度；指示语的清测验条件；对测验的各种限制；干扰程度；指示语的清晰度；晰度；受试者在个性、性别、种族等与测验主试的交互作用；受试者在个性、性别、种族等与测验主试的交互作用；对测验结果的不一致或有偏差的评判。对测验结果的不一致或有偏差

13、的评判。l无法解释的变化（随机因素）无法解释的变化（随机因素）猜测、运气，以及暂时的干扰猜测、运气，以及暂时的干扰12-1-2 12-1-2 信度的评估方法信度的评估方法l针对不同的误差来源，信度可以有不同的确定方法。针对不同的误差来源，信度可以有不同的确定方法。信度系数类型信度系数类型误差来源误差来源重测信度重测信度时间取样时间取样复本信度（即时）复本信度（即时）内容取样内容取样重测复本信度（延迟）重测复本信度（延迟）时间和内容取样时间和内容取样分半信度分半信度内容取样内容取样同质性信度同质性信度内容的异质性内容的异质性评分者信度评分者信度评分者间差异评分者间差异1 1、重测信度、重测信度(

14、test-retest reliability)l又称为又称为稳定性系数稳定性系数，是采用重测法计算信度的方，是采用重测法计算信度的方法，即用同一测验在不同时间对同一对象施测两法，即用同一测验在不同时间对同一对象施测两次，两次测量分数的相关系数即为重测系数。次，两次测量分数的相关系数即为重测系数。l人事测量所测查的特质中，有相当多的内容具有人事测量所测查的特质中，有相当多的内容具有一定的稳定性，如人格、能力倾向等，因此，对一定的稳定性，如人格、能力倾向等，因此，对于这些内容而言，重测信度对于衡量测量工具的于这些内容而言，重测信度对于衡量测量工具的质量是很重要的指标。质量是很重要的指标。重测信度

15、的考察对象重测信度的考察对象l重测信度所考察的误差来源是时间的变化所带来的随机影重测信度所考察的误差来源是时间的变化所带来的随机影响（气候、噪音的干扰、疾病、疲劳、情绪的影响等），响（气候、噪音的干扰、疾病、疲劳、情绪的影响等），根据重测相关系数的高低，可以得知测量结果在经过一段根据重测相关系数的高低，可以得知测量结果在经过一段时间之后的稳定程度。时间之后的稳定程度。重测信度表示测量能够应用于不同重测信度表示测量能够应用于不同时间的程度，信度越高说明测量结果受环境中日常的随机时间的程度，信度越高说明测量结果受环境中日常的随机因素影响越小，测量结果越稳定、可靠因素影响越小，测量结果越稳定、可靠。

16、l评估重测信度时，要注意重测间隔的时间，时间太短被试评估重测信度时，要注意重测间隔的时间，时间太短被试对测试题记忆犹新，必然会造成假性相关；时间太长，测对测试题记忆犹新，必然会造成假性相关；时间太长，测验结果又会受应试者的身心特质改变的影响，使相关系数验结果又会受应试者的身心特质改变的影响，使相关系数降低。间隔时间的长短必须根据测验的性质和目的来确定。降低。间隔时间的长短必须根据测验的性质和目的来确定。如果希望测量结果能预测较长时间的变化，则重测间隔时如果希望测量结果能预测较长时间的变化，则重测间隔时间应该长一些。例如人格测验一般间隔间应该长一些。例如人格测验一般间隔2-62-6个月比较合适。

17、个月比较合适。应用重测信度应注意：应用重测信度应注意：l重测信度一般只反映由随机因素导致的变化，而不反映被测者重测信度一般只反映由随机因素导致的变化，而不反映被测者行为的长久变化。例如被测者智力的发展与能力的提高，不是行为的长久变化。例如被测者智力的发展与能力的提高，不是重测信度考察的因素。这些因素导致的重测相关系数的降低，重测信度考察的因素。这些因素导致的重测相关系数的降低，不能说明测验的重测信度低。不能说明测验的重测信度低。l不同行为受随即误差影响不同。例如手指敏捷性就比言语理解不同行为受随即误差影响不同。例如手指敏捷性就比言语理解力更容易受疲劳、环境等因素的影响。因此必须分析测量目的力更

18、容易受疲劳、环境等因素的影响。因此必须分析测量目的和了解所预测的行为。当测量的行为或特质较为稳定时，重测和了解所预测的行为。当测量的行为或特质较为稳定时，重测信度的解释才有效。信度的解释才有效。l只有不大容易受重复影响的测验，如感觉只有不大容易受重复影响的测验，如感觉-运动测验或人格测验，运动测验或人格测验，才比较适合用重测法计算信度系数。因为被测者一旦知道答案才比较适合用重测法计算信度系数。因为被测者一旦知道答案就不容易忘记，从而造成假性相关。就不容易忘记，从而造成假性相关。2、复本信度、复本信度(alternative-form reliability)l又称为又称为等值性系数等值性系数，

19、它是以两个测验复本（功能，它是以两个测验复本（功能等值但题目内容不同）来测量同一对象，然后求等值但题目内容不同）来测量同一对象，然后求得被测者在这两个测验上得分的相关系数。复本得被测者在这两个测验上得分的相关系数。复本信度反映了两个测验复本在内容上的等值性程度。信度反映了两个测验复本在内容上的等值性程度。l复本信度考虑的是复本信度考虑的是内容取样内容取样误差误差的影响问题，计的影响问题，计算复本信度的主要目的在于考察两个测验复本的算复本信度的主要目的在于考察两个测验复本的题目取样或内容取样是否等值。题目取样或内容取样是否等值。l优点：优点：能够避免重测信度的一些问题，如记忆效果、练习效应等；能

20、够避免重测信度的一些问题，如记忆效果、练习效应等；适用于进行长期追踪研究或调查某些干涉变量对测验成绩的适用于进行长期追踪研究或调查某些干涉变量对测验成绩的影响；影响；减少了辅导或作弊的可能性。减少了辅导或作弊的可能性。l缺点：缺点：如果测量的行为受练习的影响，复本信度只能减少而不能消如果测量的行为受练习的影响，复本信度只能减少而不能消除这种影响；除这种影响；有些测验的性质会由于重复测量而发生改变，例如某些问题有些测验的性质会由于重复测量而发生改变，例如某些问题解决型的测验，如果掌握了解题原则就有可能产生迁移，尤解决型的测验，如果掌握了解题原则就有可能产生迁移，尤其当复本只是在题目具体内容上有改

21、变时，这种正迁移的作其当复本只是在题目具体内容上有改变时，这种正迁移的作用会很强；用会很强；有些测验很难找到复本。有些测验很难找到复本。3、一致性信度、一致性信度Consistency Reliabilityl一致性信度又称为一致性信度又称为同质性信度，同质性信度，是指一个测评活分测评中是指一个测评活分测评中各个题目所测内容的一致性。各个题目所测内容的一致性。l同质性是保证测评只测量同一特质的必要条件。也就是说，同质性是保证测评只测量同一特质的必要条件。也就是说，评估一组测验题目内部一致性程度，对于确定测验题目是评估一组测验题目内部一致性程度，对于确定测验题目是否测量了同一事物很重要。如果同质

22、性差，则表示测评混否测量了同一事物很重要。如果同质性差，则表示测评混淆了不同的测评内容，其结果就无从判断究竟是否反映了淆了不同的测评内容，其结果就无从判断究竟是否反映了被测者的某一特质。被测者的某一特质。一致性信度的作用一致性信度的作用l重测信度和复本信度分别注重考虑测量跨时间的重测信度和复本信度分别注重考虑测量跨时间的一致性（稳定性）和跨形式的一致性（等值性），一致性（稳定性）和跨形式的一致性（等值性），而内部一致性信度用内部一致性系数表示，主要而内部一致性信度用内部一致性系数表示，主要反映的是测验内部题目之间的关系，考察测验的反映的是测验内部题目之间的关系，考察测验的各个题目是否测量了相同

23、的内容或特质，即测验各个题目是否测量了相同的内容或特质，即测验内部各部分之间具有同质性（测验同一特性的各内部各部分之间具有同质性（测验同一特性的各个项目的得分呈正相关）。个项目的得分呈正相关）。l同质性的测验，其结果的解释较为明确。例如：同质性的测验，其结果的解释较为明确。例如：在一个同质性的语言逻辑推理能力测验中，应试在一个同质性的语言逻辑推理能力测验中，应试者的得分可以反映其语言逻辑推理能力的高低；者的得分可以反映其语言逻辑推理能力的高低；而如果一个测验既包含有测查逻辑推理能力的试而如果一个测验既包含有测查逻辑推理能力的试题，又含有测查数量分析能力的试题，那么在应题，又含有测查数量分析能力

24、的试题，那么在应试者得分低的情况下，就无法说明被测者到底哪试者得分低的情况下，就无法说明被测者到底哪种能力不足。种能力不足。一致性信度应用实例一致性信度应用实例l例如：例如：在人格测评中，乐观情绪特质和外向特质是在人格测评中，乐观情绪特质和外向特质是两个容易混淆的内容，这就要求测评设计时能够找两个容易混淆的内容，这就要求测评设计时能够找到相应的题目把二者区分开来。到相应的题目把二者区分开来。l再例如：再例如：在考察管理技能时，预测和决策、监督和在考察管理技能时，预测和决策、监督和控制等都是不太容易区分的，对题目设计的要求就控制等都是不太容易区分的，对题目设计的要求就相当高，否则就会把不同技能混

25、淆，导致结论错误相当高，否则就会把不同技能混淆，导致结论错误和用人失误。和用人失误。l在设计测评题目时，所有测评题目都要保证只测量在设计测评题目时，所有测评题目都要保证只测量一种特质或内容，如果需要在一个测评中测量不同一种特质或内容，如果需要在一个测评中测量不同内容，就应该将测评设计为几个分测评进行分别测内容，就应该将测评设计为几个分测评进行分别测评。评。例如例如16PF16PF人格测评就包括人格测评就包括1616个分测评，每个分个分测评，每个分测评量表只对一种人格特质进行测评。测评量表只对一种人格特质进行测评。一致性信度的计算方法一致性信度的计算方法l分半信度分半信度项目折半分析，是通过将测

26、验分成两项目折半分析，是通过将测验分成两半，计算这两半测验之间的相关性而获得的信度系半，计算这两半测验之间的相关性而获得的信度系数。通常的方法是在测验实施后将测验分为等值的数。通常的方法是在测验实施后将测验分为等值的两半，并分别计算每位被测者在两半测验上的得分，两半，并分别计算每位被测者在两半测验上的得分，再求出这两个分数的相关系数。这个相关系数就代再求出这两个分数的相关系数。这个相关系数就代表了两半测验内容取样的一致性程度。表了两半测验内容取样的一致性程度。l同质性信度同质性信度系数分析，是指测验内部的各题系数分析，是指测验内部的各题目在多大程度上考察了同一内容，即所有测验题目目在多大程度上

27、考察了同一内容，即所有测验题目测量的只是单一特质或内容，表现为所有测验题目测量的只是单一特质或内容，表现为所有测验题目得分的一致性。得分的一致性。4、评分者信度（评分者信度（raters reliability）l在有些测量情形中，评分者的评判也是误差的来源在有些测量情形中，评分者的评判也是误差的来源之一。例如投射测验、创造力测验、无领导小组讨之一。例如投射测验、创造力测验、无领导小组讨论、管理者情境模拟等，都依赖于评分者的判断，论、管理者情境模拟等，都依赖于评分者的判断，这种判断的主观性往往造成不同评分者的评分很不这种判断的主观性往往造成不同评分者的评分很不一致，因此有必要考虑评分者信度。一

28、致，因此有必要考虑评分者信度。l评分者信度是指不同评分者对同一对象进行评定时评分者信度是指不同评分者对同一对象进行评定时的一致性。最简单的估计方法就是随机抽取若干份的一致性。最简单的估计方法就是随机抽取若干份答卷，由两个独立的评分者打分，再求每份答卷两答卷，由两个独立的评分者打分，再求每份答卷两个评判分数的相关系数。评分者的评分越一致，评个评判分数的相关系数。评分者的评分越一致，评分者信度越高。（等级相关）分者信度越高。（等级相关）信度小结：信度小结：l各种信度评估的适用情景：各种信度评估的适用情景：重测信度评估侧重考察测评跨时间的一致性和稳定性；重测信度评估侧重考察测评跨时间的一致性和稳定性

29、；复本信度评估侧重考察测评跨形式的一致性和等值性；复本信度评估侧重考察测评跨形式的一致性和等值性；内部一致性信度评估主要反映的是一个测评内部题目之间内部一致性信度评估主要反映的是一个测评内部题目之间的关系，揭示测评的各个题目是否测量了相同的内容或特的关系，揭示测评的各个题目是否测量了相同的内容或特质。质。评分者信度评估主要是考察评分者的主观误差。评分者信度评估主要是考察评分者的主观误差。思考题：l与对某人品德测评分数的可靠性进行考察，随机抽与对某人品德测评分数的可靠性进行考察，随机抽取其中取其中1010个被试的分数，分别是：个被试的分数，分别是：7474、7171、8080、8585、7676

30、、7777、7777、6868、7474、7474，再次测评后，再次测评后1010个被试的个被试的分数分别是：分数分别是：8282、7575、8181、8989、8282、8989、8888、8484、8080、8787。请问可以用什么方法评价测评的可靠性？。请问可以用什么方法评价测评的可靠性？l如果一个部门的三个经理分别给部门的几十位员工如果一个部门的三个经理分别给部门的几十位员工考核，你认为应当怎样检查三位评分者评定的可靠考核，你认为应当怎样检查三位评分者评定的可靠性？性？l某面试考官对被试的某面试考官对被试的7 7项素质进行测评，总共面试项素质进行测评，总共面试了了8 8位被测者，其评定

31、等级如下表，请考评一下这位被测者，其评定等级如下表，请考评一下这位面试考官的面试结果是否可靠？位面试考官的面试结果是否可靠？测评项目测评项目被测者被测者1234567A3651427B5641327C2751436D3672415E4762315F4562317G3742516H2741635Ri2651411232144812-2 测量的效度l效度是评价测量工具好坏的重要标准之一。较高效度是评价测量工具好坏的重要标准之一。较高的效度是一个良好的测量工具最重要的特性，是的效度是一个良好的测量工具最重要的特性，是必要条件，也是选择和评价测量工具质量的重要必要条件，也是选择和评价测量工具质量的重要

32、依据。一般来说。效度的作用比信度的作用更为依据。一般来说。效度的作用比信度的作用更为重要。如果一个测验效度很低，无论它的信度有重要。如果一个测验效度很低，无论它的信度有多高，这项测验都没有应用价值。效度高的测量多高，这项测验都没有应用价值。效度高的测量工具往往信度也高。工具往往信度也高。l通过对效度的分析，可以了解对所要测量的心理通过对效度的分析，可以了解对所要测量的心理学变量的测量准确程度如何，以及对外在标准的学变量的测量准确程度如何，以及对外在标准的预测能力怎样。效度高的测量工具，既能够准确预测能力怎样。效度高的测量工具，既能够准确的测量出目标心理特质，又能够根据测量结果做的测量出目标心理

33、特质，又能够根据测量结果做出正确的推论。出正确的推论。12-2-1 12-2-1 效度及其影响因素效度及其影响因素1、效度的概念、效度的概念l测量结果的效度就是测量结果的效度就是指测量的有效性指测量的有效性，即能够测，即能够测量到所要测量目标的程度，反映了测量结果对测量到所要测量目标的程度，反映了测量结果对测量目标的体现程度。效度的高低只有程度上的差量目标的体现程度。效度的高低只有程度上的差别，不存在完全没有或完全有的情况。别，不存在完全没有或完全有的情况。l效度可以看作为对效度可以看作为对有用性和准确性有用性和准确性的测量，回答的测量，回答的是的是“对什么有用？对什么有用？”或或“我怎么知道

34、这个测验我怎么知道这个测验是否值得用？是否值得用？”的问题，一般被定义为的问题，一般被定义为测验能测测验能测量到所要测量东西的程度量到所要测量东西的程度。在评价任何测验时这。在评价任何测验时这都是最重要的考虑。都是最重要的考虑。l“效度指从分数进行推论的证据的程度。效度指从分数进行推论的证据的程度。”英国英国教育和心理测验标准教育和心理测验标准效度与信度的关系效度与信度的关系l二者的区别：二者的区别：信度与效度的差别在于信度与效度的差别在于所考虑所考虑的误差不同的误差不同。信度考虑的是随机误差的影响；。信度考虑的是随机误差的影响；效度考虑的误差包括随机误差和对测验目的效度考虑的误差包括随机误差

35、和对测验目的无关的变量引起的系统误差。无关的变量引起的系统误差。l二者的联系：二者的联系：信度是效度的必要条件，但不信度是效度的必要条件，但不是充分条件。换句话说，信度高不一定效度是充分条件。换句话说，信度高不一定效度必然高。但效度高必定信度高。必然高。但效度高必定信度高。2、效度的作用效度的作用l就好像用磅秤测量身高，每次测量的结果都很就好像用磅秤测量身高，每次测量的结果都很一直稳定（信度很高），但它并不能代表身高，一直稳定（信度很高），但它并不能代表身高，也就是说其测量值并不反映身高这一属性（效也就是说其测量值并不反映身高这一属性（效度很低），所以说，磅秤不是身高这一测量对度很低），所以说

36、，磅秤不是身高这一测量对象的适宜测量工具。象的适宜测量工具。l例如例如,一个数学测验可能对学生的数学成绩的一个数学测验可能对学生的数学成绩的预测效度很好，但对学生整体智力的预测效度预测效度很好，但对学生整体智力的预测效度就没有那么好，对学生的性格可能根本就没有就没有那么好，对学生的性格可能根本就没有预测效度。预测效度。3、效度的影响因素l一个测验效度的高低，很大程度上取决于该一个测验效度的高低，很大程度上取决于该测验受无关因素影响的程度。凡是能造成测测验受无关因素影响的程度。凡是能造成测验结果误差的因素，都会影响测验效度。验结果误差的因素，都会影响测验效度。测验题目的质量：难易程度、暗示性、题

37、意表达、试题内容测验题目的质量：难易程度、暗示性、题意表达、试题内容取样的代表性取样的代表性实施测验时的干扰因素：指导语、计分错误实施测验时的干扰因素：指导语、计分错误被试的影响因素：反应定势、测验动机、情绪被试的影响因素：反应定势、测验动机、情绪测验的长度：增加测验题目往往能增加测验的信度和效度。测验的长度：增加测验题目往往能增加测验的信度和效度。12-2-2 12-2-2 效度的评估方法效度的评估方法l对测量效度的考察反映在下面两个问题之中：对测量效度的考察反映在下面两个问题之中：该测验能够很好的预测我们感兴趣的成绩吗？该测验能够很好的预测我们感兴趣的成绩吗？该测验真正测量的是什么？该测验

38、真正测量的是什么？l第一个问题集中于效标，也就是判断一个测验预第一个问题集中于效标，也就是判断一个测验预测的成功性的标准。这就要求建立测验成绩与那测的成功性的标准。这就要求建立测验成绩与那个标准之间的关系。（预测效度）个标准之间的关系。（预测效度）l第二个问题集中于测验，要求明确关于测验所测第二个问题集中于测验，要求明确关于测验所测量目标的内在理论或心理构想。（内容效度）量目标的内在理论或心理构想。（内容效度）1、内容效度、内容效度content validityl内容效度是一个测验实际测到的内容与所要测量的内容效度是一个测验实际测到的内容与所要测量的内容之间的吻合程度，是检查测验内容是否是所

39、预内容之间的吻合程度，是检查测验内容是否是所预测量的行为领域的代表性取样的指标。测量的行为领域的代表性取样的指标。l在实际工作中我们编制的测验不可能包含所要测量在实际工作中我们编制的测验不可能包含所要测量的行为领域的全部可能的材料或情境，只能选择一的行为领域的全部可能的材料或情境，只能选择一个有代表性的样本，通过观察被试对个别题目的反个有代表性的样本，通过观察被试对个别题目的反应，来推测他的总体行为表现。应，来推测他的总体行为表现。l应用范围：主要应用于成就测验、职业选拔和分类应用范围：主要应用于成就测验、职业选拔和分类人事测验。人事测验。内容效度适合于选拔和分类人事测验，因为这类测验内容是实

40、际工作的一个样本，应包含实际工作所需要的技能和知识，通过内容效度的分析来确定测验是否测量了实际工作中需要的知识和技能。内容效度一般不适用于能力倾向测验和人格测验，因为这类测验不太要求与所取样的行为领域的内在相似性，其测验题目的选择更多的受某种假设的指导。此外，能力倾向和人格测验与成就测验不同，他们不是建立在某种课程或知识基础上，在对相同的题目做出反应时，每个被试使用的方法和心理过程是很不相同的，同一测验对不同被试来说测量的是不同的心理过程。在这种情况下，不可能从检查测验的内容来确定测验测量的功能。l内容效度的评价可以回答：内容效度的评价可以回答：该测验是否是应考察的某种技能和知识的代表该测验是

41、否是应考察的某种技能和知识的代表性样本性样本测验成绩是否不受无关因素的影响测验成绩是否不受无关因素的影响内容效度对效标参照测验尤为重要，因为在校内容效度对效标参照测验尤为重要，因为在校标参照测验中，被试的表现往往以测验内容来标参照测验中，被试的表现往往以测验内容来解释。解释。确定内容效度的方法l蓝图对照分析法：蓝图对照分析法：19991999年全国硕士研究生入年全国硕士研究生入学考试英语试卷结构框架学考试英语试卷结构框架l专家比较判断法：专家比较判断法：C C（n nN2N2）N2N2（N N为专家总数，为专家总数，n n为肯定人数）为肯定人数）2、效标关联效度、效标关联效度criterion

42、-related validityl效标关联效度又称为效标效度，指测评结果与某种效标关联效度又称为效标效度，指测评结果与某种标准结果的一致性程度，反映的是测验分数与外在标准结果的一致性程度，反映的是测验分数与外在标准（效标）的相关程度，即测验分数对个体的效标准（效标）的相关程度，即测验分数对个体的效标行为表现进行预测的有效性程度。（效标是考察标行为表现进行预测的有效性程度。（效标是考察测验效用的外在参照标准。）测验效用的外在参照标准。）l效标关联效度往往用于预测性测验，在这些测验中，效标关联效度往往用于预测性测验，在这些测验中，测验分数一般用于甄选决策，只有当证明测验分数测验分数一般用于甄选决

43、策，只有当证明测验分数确实能够预测所研究的行为时，这种决策才可能正确实能够预测所研究的行为时，这种决策才可能正确。确。效标效度的种类效标效度的种类l根据效标结果与测评分数获得的时间是否相同可分根据效标结果与测评分数获得的时间是否相同可分为为预测效度预测效度和和同时效度同时效度。同时效度的效标材料可以。同时效度的效标材料可以和测验分数差不多同时收集。预测效度的效标资料和测验分数差不多同时收集。预测效度的效标资料是在测量结束后相隔一段时间才取得的，它反映的是在测量结束后相隔一段时间才取得的，它反映的是由测验分数对任一段时间间隔后被试行为表现的是由测验分数对任一段时间间隔后被试行为表现的预测程度。适

44、用于对人员进行选拔、分类、安置的预测程度。适用于对人员进行选拔、分类、安置的人事测量，这些测量需要对应试者将来的工作绩效人事测量，这些测量需要对应试者将来的工作绩效进行可靠的预测。进行可靠的预测。l二者的差异根源不在于收集效标的时间，而是在于二者的差异根源不在于收集效标的时间，而是在于预测目的的不同，预测效度多用于预测未来的结果，预测目的的不同，预测效度多用于预测未来的结果，同时效度多用于诊断现在的状态。同时效度多用于诊断现在的状态。“某人成功了吗？某人成功了吗？”或或“某人患病了吗？某人患病了吗？”“某人会成功吗？某人会成功吗？”或或“某人会患病吗？某人会患病吗？”常见效标种类常见效标种类l

45、学术成就学术成就前提是前提是“智力高的人，学术成就应该智力高的人，学术成就应该越大越大”。如：在校成绩、学历、研究成果等。如：在校成绩、学历、研究成果等。l特殊训练成绩特殊训练成绩能力倾向测验成绩常用某种特殊能力倾向测验成绩常用某种特殊训练中取得的成绩做效标。如：言语智商用语文成训练中取得的成绩做效标。如：言语智商用语文成绩做效标；机械能力用技术培训成绩做效标等。绩做效标；机械能力用技术培训成绩做效标等。l实际工作表现实际工作表现l团体特征团体特征用两个在效标表现上有差别的团体比用两个在效标表现上有差别的团体比较他们在预测源分数上的差别。如：一个音乐倾向较他们在预测源分数上的差别。如：一个音乐

46、倾向测验的效度，可以由比较音乐学院学生的分数与一测验的效度，可以由比较音乐学院学生的分数与一般大学生分数获得。般大学生分数获得。l等级评定结果等级评定结果l前期测评结果前期测评结果3、结构效度、结构效度construct validityl结构效度是指测验能够测量到理论上的构想或特质结构效度是指测验能够测量到理论上的构想或特质的程度。所谓构想通常指一些抽象的、假设性的概的程度。所谓构想通常指一些抽象的、假设性的概念或特质，如智力、创造力、言语流畅性、焦虑等。念或特质，如智力、创造力、言语流畅性、焦虑等。这些构想无法直接观察。但是每个构想都有其心理这些构想无法直接观察。但是每个构想都有其心理上的

47、理论基础和客观现实性，可以通过各种可观察上的理论基础和客观现实性，可以通过各种可观察的材料加以确定。的材料加以确定。l例如言语流畅性可以通过语速、语句间的逻辑性、例如言语流畅性可以通过语速、语句间的逻辑性、口误的数量等可观察的指标进行确定。口误的数量等可观察的指标进行确定。l适用范围：适用于智力测验、人格测验等。适用范围：适用于智力测验、人格测验等。确定构想效度的方法确定构想效度的方法1 1、提出理论假设，并将其分解成细目；、提出理论假设，并将其分解成细目；2 2、依据理论框架，推演出有关测验成绩的假设（操、依据理论框架，推演出有关测验成绩的假设（操作化定义）；作化定义）；3 3、用逻辑的和实

48、证的方法来验证假设（排除法、咨、用逻辑的和实证的方法来验证假设（排除法、咨询法、相关法、逻辑分析法、多元分析法）。询法、相关法、逻辑分析法、多元分析法）。l例如：例如：韦克斯勒首先假设韦克斯勒首先假设“智力是一个人去理解和智力是一个人去理解和应付他周围世界的总的才能应付他周围世界的总的才能”，然后，他依据这一，然后，他依据这一定义，编制定义，编制1111个分测验从十几个方面来说明智力，个分测验从十几个方面来说明智力，编好测验又从多个角度加以验证，最后，用因素分编好测验又从多个角度加以验证，最后，用因素分析法验证，该测验实际测量了三类共同因素，即析法验证，该测验实际测量了三类共同因素，即A A因

49、素（言语理解）、因素（言语理解）、B B因素（知觉组织）、因素（知觉组织）、C C因素因素（记忆和注意集中）。（记忆和注意集中）。12-3 12-3 项目分析项目分析l项目分析是指根据试测结果对组成测验的各个题项目分析是指根据试测结果对组成测验的各个题目（项目）进行分析，从而评价题目好坏、对题目（项目）进行分析，从而评价题目好坏、对题目进行筛选的程序和方法。通过项目分析，对测目进行筛选的程序和方法。通过项目分析，对测验题目进行选择和修改，可以提高测验的信度和验题目进行选择和修改，可以提高测验的信度和效度。了解项目分析的概念和方法，能够帮助测效度。了解项目分析的概念和方法，能够帮助测验使用者评价

50、现有的各种测验。验使用者评价现有的各种测验。l定性分析：主要考虑内容效度，即题目表达的恰定性分析：主要考虑内容效度，即题目表达的恰当性和有效性等方面。当性和有效性等方面。l定量分析：主要考察题目难度和鉴别度是否适当。定量分析：主要考察题目难度和鉴别度是否适当。12-3-1 12-3-1 测量的难度分析测量的难度分析l难度分析就是对题目的难度进行估计以确定适宜的难度，难难度分析就是对题目的难度进行估计以确定适宜的难度，难度的指标通常以度的指标通常以“通过率通过率”表示，即答对或通过该题目的人表示，即答对或通过该题目的人数百分比。通过人数越多题目越容易。也可用数百分比。通过人数越多题目越容易。也可