第四章测量的信度与效度精选文档.ppt

《第四章测量的信度与效度精选文档.ppt》由会员分享，可在线阅读，更多相关《第四章测量的信度与效度精选文档.ppt（87页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第四章测量的信度与效度本讲稿第一页，共八十七页第一节第一节 测量信度测量信度一、什么是信度一、什么是信度1.1.信度的描述定义信度的描述定义信度（信度（reliability）是指测量结果的稳定性和可靠）是指测量结果的稳定性和可靠性程度。性程度。本讲稿第二页，共八十七页2.信度的测量学定义（操作性定义）信度的测量学定义（操作性定义）本讲稿第三页，共八十七页3.误差方差与信度的关系误差方差与信度的关系本讲稿第四页，共八十七页二、信度的估计方法二、信度的估计方法（一）重测信度（一）重测信度（test-retest reliability）1.含义与计算含义与计算重测信度是指用同一量表对同一组被试测

2、试两次所得结果重测信度是指用同一量表对同一组被试测试两次所得结果的一致程度，其大小等于同一组被试在两次测验上所得分的一致程度，其大小等于同一组被试在两次测验上所得分数的积差相关系数。即：数的积差相关系数。即：本讲稿第五页，共八十七页本讲稿第六页，共八十七页本讲稿第七页，共八十七页2.重测信度使用的条件重测信度使用的条件（1）所测量的心理特质必须是稳定的）所测量的心理特质必须是稳定的（2）遗忘和练习的效果基本上相互抵消）遗忘和练习的效果基本上相互抵消（3）在两次测试时间间隔内，被试在所要测查的心理特）在两次测试时间间隔内，被试在所要测查的心理特质方面没有其他的学习和练习质方面没有其他的学习和练习

3、本讲稿第八页，共八十七页3.计算重测信度应注意的问题计算重测信度应注意的问题（1）两次测验时间间隔要适当）两次测验时间间隔要适当（2）应提高被试的积极性）应提高被试的积极性（3）适宜于人格测验与速度测验，不适合于智力）适宜于人格测验与速度测验，不适合于智力等难度测验等难度测验本讲稿第九页，共八十七页（二）复本信度（二）复本信度（Alternate-form reliability）1.含义与计算含义与计算是指两个平行测验测量同一批被试所得结果的一致是指两个平行测验测量同一批被试所得结果的一致程度，其大小等于同一组被试在两个复本测验上所程度，其大小等于同一组被试在两个复本测验上所得分数的积差相关

4、系数。计算公式同重测信度。得分数的积差相关系数。计算公式同重测信度。本讲稿第十页，共八十七页两个复本测验实施的时间不同，复本信度所表达的含两个复本测验实施的时间不同，复本信度所表达的含义略有不同。义略有不同。（1）等值性系数）等值性系数如果两个复本测验是同时连续测试的，则称这种复本如果两个复本测验是同时连续测试的，则称这种复本信度为等值性系数。等值性系数的大小主要反映着两信度为等值性系数。等值性系数的大小主要反映着两个复本测验的题目差别带来的变异情况。个复本测验的题目差别带来的变异情况。本讲稿第十一页，共八十七页（）稳定性与等值性系数（）稳定性与等值性系数如果两个复本测验是相距一段时间分两次测

5、试，如果两个复本测验是相距一段时间分两次测试，则称这种复本信度为稳定性与等值性系数。此时则称这种复本信度为稳定性与等值性系数。此时两个题目间的差别、两次施测情境、被试特质水两个题目间的差别、两次施测情境、被试特质水平等方面的差别都会成为测验结果不一致的原因。平等方面的差别都会成为测验结果不一致的原因。本讲稿第十二页，共八十七页2.复本信度使用的条件复本信度使用的条件（1）两个测验必须在项目的内容、形式、数量、难易、时限、）两个测验必须在项目的内容、形式、数量、难易、时限、指导语等方面相同或相似。指导语等方面相同或相似。（2）两次测验的时间间隔要适当。）两次测验的时间间隔要适当。局限：局限：（1

6、）复本法只能减少而不能排除练习和记忆效应。）复本法只能减少而不能排除练习和记忆效应。（2）对于许多测验来说要建立复本是非常困难的。）对于许多测验来说要建立复本是非常困难的。本讲稿第十三页，共八十七页（三）分半信度（三）分半信度（Split-half reliability）1.含义与计算含义与计算是指将一个测验分成对等的两半后，所有被试在这两半上得分的是指将一个测验分成对等的两半后，所有被试在这两半上得分的一致性。一致性。分半信度信度与等值性系数的解释一样，即可以把对等的两半测验看成分半信度信度与等值性系数的解释一样，即可以把对等的两半测验看成是最短时距内施测的两个平行测验。分半信度描述的是两

7、半题目间的一是最短时距内施测的两个平行测验。分半信度描述的是两半题目间的一致性，所以也叫内部一致性系数。致性，所以也叫内部一致性系数。本讲稿第十四页，共八十七页注意题目分半的方法：按题号奇偶性分半、按题注意题目分半的方法：按题号奇偶性分半、按题目难度分半、按题目内容分半等。目难度分半、按题目内容分半等。计算方法与复本信度类似，但被试在两半测验上计算方法与复本信度类似，但被试在两半测验上得分的相关系数只是半个测验的信度，所以必须得分的相关系数只是半个测验的信度，所以必须用斯皮尔曼用斯皮尔曼布朗公式加以校正：布朗公式加以校正：本讲稿第十五页，共八十七页本讲稿第十六页，共八十七页本讲稿第十七页，共八

8、十七页本讲稿第十八页，共八十七页2.使用的前提条件和范围使用的前提条件和范围分半信度通常是在只能施测一次或没有复本的情况下使分半信度通常是在只能施测一次或没有复本的情况下使用。其中使用斯皮尔曼用。其中使用斯皮尔曼布朗公式时要求全体被试在布朗公式时要求全体被试在两半测验分数的变异数相等。当测验无法分成对等的两半测验分数的变异数相等。当测验无法分成对等的两半时，无法使用。两半时，无法使用。本讲稿第十九页，共八十七页（四）同质性信度（四）同质性信度（Homogeneity reliability）1.含义含义同质性信度也叫内部一致性系数，它是测验内部所有题目间的一致性同质性信度也叫内部一致性系数，它

9、是测验内部所有题目间的一致性程度。这里的一致性有两种含义：一是所有题目都测的是同一种心程度。这里的一致性有两种含义：一是所有题目都测的是同一种心理特质，二是所有题目得分之间都具有较高的正相关。同质性信度理特质，二是所有题目得分之间都具有较高的正相关。同质性信度就是一个测验所测内容或特质的相同程度。就是一个测验所测内容或特质的相同程度。本讲稿第二十页，共八十七页本讲稿第二十一页，共八十七页本讲稿第二十二页，共八十七页本讲稿第二十三页，共八十七页本讲稿第二十四页，共八十七页实际上实际上系数是所有可能分半信度的平均值，但它系数是所有可能分半信度的平均值，但它是测验信度的一个下界值，即是测验信度的一个

10、下界值，即系数值大，测量信系数值大，测量信度必然高，但度必然高，但系数值小，却不能判断测量信度不系数值小，却不能判断测量信度不高。高。本讲稿第二十五页，共八十七页例题：某态度量表共道题目，例题：某态度量表共道题目，100个被试在各题上个被试在各题上得分的方差分别是得分的方差分别是0.81,0.82,0.80,0.86,0.88,0.79,0.89,测验总分的方差是测验总分的方差是26.00,计算该测量的信度。计算该测量的信度。本讲稿第二十六页，共八十七页本讲稿第二十七页，共八十七页（五）评分者信度（五）评分者信度（Scorer reliability）1.含义与计算含义与计算评分者信度指的是多

11、个评分者给同一批人的答卷进行评评分者信度指的是多个评分者给同一批人的答卷进行评分的一致性程度。对于主观试题，不同的评分者给出的分的一致性程度。对于主观试题，不同的评分者给出的分数是不等的，这样会造成误差，如何降低评分者信度分数是不等的，这样会造成误差，如何降低评分者信度是心理测量的重要任务之一。是心理测量的重要任务之一。本讲稿第二十八页，共八十七页当评分者人数为当评分者人数为2时，评分者信度等于两个评分者给时，评分者信度等于两个评分者给同一批被试答卷所给分数的相关系数。如果是多个评同一批被试答卷所给分数的相关系数。如果是多个评分者，评分者信度采用肯德尔和谐系数进行估计。分者，评分者信度采用肯德

12、尔和谐系数进行估计。本讲稿第二十九页，共八十七页本讲稿第三十页，共八十七页本讲稿第三十一页，共八十七页本讲稿第三十二页，共八十七页本讲稿第三十三页，共八十七页三、信度的作用三、信度的作用（一）评价测验（一）评价测验信度是测量过程中所存在的随机误差大小的反映。信度低，测量随机信度是测量过程中所存在的随机误差大小的反映。信度低，测量随机误差大，测量结果就会与真分数发生较大偏离。误差大，测量结果就会与真分数发生较大偏离。信度是衡量一个测验好坏的重要指标之一，测验的信度达到多少信度是衡量一个测验好坏的重要指标之一，测验的信度达到多少才可以接受呢？一般来讲，能力与成就测验的信度应该在才可以接受呢？一般来

13、讲，能力与成就测验的信度应该在0.90以以上，人格测量信度系数应该在上，人格测量信度系数应该在0.80 以上。以上。测量中的系统误差与信度无关。测量中的系统误差与信度无关。本讲稿第三十四页，共八十七页（二）解释分数（二）解释分数1.解释个人测验分数的意义解释个人测验分数的意义从理论上讲，一个人的真分数本来是用同一测验对他反复施测所从理论上讲，一个人的真分数本来是用同一测验对他反复施测所得的平均值，其误差则是这些实测值的标准差。但实际上，这是得的平均值，其误差则是这些实测值的标准差。但实际上，这是做不到的。实际的做法是用一个团体（人数足够多）两次施测得做不到的。实际的做法是用一个团体（人数足够多

14、）两次施测得结果来代替对同一个人的反复施测，以估计测量误差的变异数。结果来代替对同一个人的反复施测，以估计测量误差的变异数。本讲稿第三十五页，共八十七页此时每个人两次测量的分数之差构成一个新的分布，此时每个人两次测量的分数之差构成一个新的分布，这个分布的标准差就是测量的标准误，它是此次测这个分布的标准差就是测量的标准误，它是此次测量中误差大小的客观指标，有了这一指标，就可以量中误差大小的客观指标，有了这一指标，就可以对团体中任何一个人的测验成绩做出恰当的解释。对团体中任何一个人的测验成绩做出恰当的解释。本讲稿第三十六页，共八十七页本讲稿第三十七页，共八十七页2不同测验分数的比较不同测验分数的比

15、较本讲稿第三十八页，共八十七页四、影响测量信度的主要因素四、影响测量信度的主要因素测量信度是测量过程中随机误差大小的反映，随机误差测量信度是测量过程中随机误差大小的反映，随机误差大，信度就低，随机误差小，信度就高。因此，在测量大，信度就低，随机误差小，信度就高。因此，在测量过程中凡是能引起测量随机误差的因素都会影响测量信过程中凡是能引起测量随机误差的因素都会影响测量信度。影响信度的几种主要因素为：度。影响信度的几种主要因素为：本讲稿第三十九页，共八十七页（一）被试方面（一）被试方面就单个被试而言，其身心健康状况、应试动机、注意就单个被试而言，其身心健康状况、应试动机、注意水平、作答态度等会影响

16、测量信度。水平、作答态度等会影响测量信度。本讲稿第四十页，共八十七页就团体而言，团体的异质程度与分数的分布密切相关，就团体而言，团体的异质程度与分数的分布密切相关，一个团体越是异质，其分数分布范围越大，计算出来的一个团体越是异质，其分数分布范围越大，计算出来的信度系数值越高，这样会高估真正的信度值。当团体内信度系数值越高，这样会高估真正的信度值。当团体内部水平相差不大（同质）时，其得分分布必然会狭窄，部水平相差不大（同质）时，其得分分布必然会狭窄，以相关为基础计算出来的信度值必然小，可能会低估真以相关为基础计算出来的信度值必然小，可能会低估真正的信度值。此外若团体的平均数太高或太低，同样使正的

17、信度值。此外若团体的平均数太高或太低，同样使测验的总分分布变窄，低估测验的真正信度。测验的总分分布变窄，低估测验的真正信度。本讲稿第四十一页，共八十七页（二）主试者方面（二）主试者方面就主试者而言，若不按指导手册中的规定施测，或故意就主试者而言，若不按指导手册中的规定施测，或故意制造紧张气氛，或给考生一定的暗示、协助等，测量信制造紧张气氛，或给考生一定的暗示、协助等，测量信度会大大降低。度会大大降低。就阅卷评分者而言，若评分标准掌握不一，或前后标准不就阅卷评分者而言，若评分标准掌握不一，或前后标准不统一，甚至随心所欲，则也会降低测量信度。统一，甚至随心所欲，则也会降低测量信度。本讲稿第四十二页

18、，共八十七页n（三）施测情境方面（三）施测情境方面n实施测验时，环境是否安静，光线和通风状况是否良好，实施测验时，环境是否安静，光线和通风状况是否良好，所需设备是否齐全，桌面是否合乎要求等都可能影响到所需设备是否齐全，桌面是否合乎要求等都可能影响到测量信度。测量信度。本讲稿第四十三页，共八十七页（四）测量工具方面（四）测量工具方面测量的取样、测验的长度、难度等是影响测量信度的主要因素或关键因素。测量的取样、测验的长度、难度等是影响测量信度的主要因素或关键因素。一般来说，测验越长，信度值越高。这是因为：一般来说，测验越长，信度值越高。这是因为：测验加长，能够改进项目取样的代表性，从而能够更好地反

19、映受测验加长，能够改进项目取样的代表性，从而能够更好地反映受测者的真实水平。测验的项目越多，每个项目上得随机误差会相测者的真实水平。测验的项目越多，每个项目上得随机误差会相互抵消。测验太难或太容易，都会降低测验的信度。互抵消。测验太难或太容易，都会降低测验的信度。本讲稿第四十四页，共八十七页本讲稿第四十五页，共八十七页（五）两次施测之间的时间间隔（五）两次施测之间的时间间隔计算重测信度、稳定性与等值性系数时，两次测验相计算重测信度、稳定性与等值性系数时，两次测验相隔时间越短，其信度值可能会越大；两次测验相隔时隔时间越短，其信度值可能会越大；两次测验相隔时间越长，其信度值可能会越小。间越长，其信

20、度值可能会越小。本讲稿第四十六页，共八十七页五、提高测量信度的常用方法五、提高测量信度的常用方法（一）适当增加测验的长度（一）适当增加测验的长度增加新项目必须与原试卷中的所有项目同质，新增项目必须适度。增加新项目必须与原试卷中的所有项目同质，新增项目必须适度。（二）使测验中题目的难度接近正态分布，并控制在中等难度（二）使测验中题目的难度接近正态分布，并控制在中等难度（三）努力提高测验试题的区分度（三）努力提高测验试题的区分度（四）选取适当的被试团体（四）选取适当的被试团体（五）主试者严格按照要求去做（五）主试者严格按照要求去做本讲稿第四十七页，共八十七页第二节第二节 测量效度测量效度n一、什么

21、是效度（一、什么是效度（validityvalidity）n（一）效度的概念（一）效度的概念n效度是指一个测验或量表实际能测出其所要测的心理特质的效度是指一个测验或量表实际能测出其所要测的心理特质的程度。或者说实测结果与所要测查的结果的吻合或一致程度。程度。或者说实测结果与所要测查的结果的吻合或一致程度。本讲稿第四十八页，共八十七页n例如：一个小学数学测验的成绩若同时受到数学能力和语文能力（读例如：一个小学数学测验的成绩若同时受到数学能力和语文能力（读懂题意的能力）的影响，测试结果成绩低，就不能认为实际所要测懂题意的能力）的影响，测试结果成绩低，就不能认为实际所要测的数学能力这一心理特质水平不

22、高。的数学能力这一心理特质水平不高。本讲稿第四十九页，共八十七页n关于效度应该注意以下几个方面：关于效度应该注意以下几个方面：n1.效度是一个相对的概念，其相对性表现在：效度是一个相对的概念，其相对性表现在：n（1）效度是相对于测量目的而言的。一个测验或量表是否有）效度是相对于测量目的而言的。一个测验或量表是否有效主要看它是否达到了测量的目的。效主要看它是否达到了测量的目的。n（2）心理特质是比较隐蔽的特性，心理测量不可能百分之百的准确，）心理特质是比较隐蔽的特性，心理测量不可能百分之百的准确，只能达到一定的准确度。只能达到一定的准确度。n2.效度是随机误差和系统误差的综合反映。效度是随机误差

23、和系统误差的综合反映。n3.判断一个测量是否有效要从多方面收集证据。判断一个测量是否有效要从多方面收集证据。本讲稿第五十页，共八十七页 （二）效度的测量学定义（二）效度的测量学定义本讲稿第五十一页，共八十七页本讲稿第五十二页，共八十七页二、效度与信度的关系二、效度与信度的关系本讲稿第五十三页，共八十七页本讲稿第五十四页，共八十七页n三、效度的估计三、效度的估计n由于测量效度是就测量的结果达到测量目的的程度而言的，所由于测量效度是就测量的结果达到测量目的的程度而言的，所以测量效度在很大程度上取决于人们对于测量目的的解释。效以测量效度在很大程度上取决于人们对于测量目的的解释。效度的种类很多，分类方

24、法也有所不同。目前被广泛采用的是弗度的种类很多，分类方法也有所不同。目前被广泛采用的是弗兰士（兰士（J.W.French）和米希尔（）和米希尔（B.Michel）提出的分类方法：）提出的分类方法：他们将效度分为内容效度、结构效度（构想效度）和效标效度（实他们将效度分为内容效度、结构效度（构想效度）和效标效度（实证效度）。证效度）。本讲稿第五十五页，共八十七页n（一）内容效度（一）内容效度（content validity）n1.内容效度的含义及其应用的范围内容效度的含义及其应用的范围n内容效度是指一个测验实际测到的内容与所要测的内容之间的吻内容效度是指一个测验实际测到的内容与所要测的内容之间的

25、吻合程度。估计一个测验的内容效度就是确定该测验在多大程度上合程度。估计一个测验的内容效度就是确定该测验在多大程度上代表了所要测量的心理特质。代表了所要测量的心理特质。n或者说内容效度就是测验的测题对测验内容范围的代表程度。或者说内容效度就是测验的测题对测验内容范围的代表程度。本讲稿第五十六页，共八十七页n一个测验要有好的内容效度必须满足以下两个条件：一个测验要有好的内容效度必须满足以下两个条件：n（1）确定好测验内容的范围，并使得测验的全部项目均在此范围）确定好测验内容的范围，并使得测验的全部项目均在此范围内。内。n（2）确定好行为样本及其不同行为样本项目的比例。）确定好行为样本及其不同行为样

26、本项目的比例。本讲稿第五十七页，共八十七页n2.确定内容效度的方法确定内容效度的方法n（1）专家判断的方法）专家判断的方法n内容效度的确定方法主要是逻辑分析的方法。其工作思路是请专家对测内容效度的确定方法主要是逻辑分析的方法。其工作思路是请专家对测验题目与原定内容范围的吻合程度作出判断。步骤如下：验题目与原定内容范围的吻合程度作出判断。步骤如下：本讲稿第五十八页，共八十七页n明确测验目的及测验内容的范围明确测验目的及测验内容的范围n确定每个题目所测的内容，并与测验编制者所列的双向细目表对确定每个题目所测的内容，并与测验编制者所列的双向细目表对照照n制订评定量表，考察题目对所定义的内容范围的覆盖

27、率、判断题制订评定量表，考察题目对所定义的内容范围的覆盖率、判断题目难度与能力要求之间的差异等。目难度与能力要求之间的差异等。本讲稿第五十九页，共八十七页n（2）复本法复本法n（3）重测法）重测法n（4）经验法经验法本讲稿第六十页，共八十七页n3.内容效度的应用内容效度的应用n内容效度主要应用于成就测验以及职业选拔和分类测验。在这内容效度主要应用于成就测验以及职业选拔和分类测验。在这类测验中，测验内容是实际工作所需要的知识和技能。类测验中，测验内容是实际工作所需要的知识和技能。n使用内容效度要注意与表面效度（使用内容效度要注意与表面效度（surface validity）的区别。表）的区别。表

28、面效度是指一个测验在使用者和被试看来，直觉地认为它在测量什面效度是指一个测验在使用者和被试看来，直觉地认为它在测量什么，是否测到了测验所要测量的内容。表面效度不是效度。么，是否测到了测验所要测量的内容。表面效度不是效度。本讲稿第六十一页，共八十七页n（二）结构效度（二）结构效度（construct validity）n1.结构效度的含义、特点与应用范围结构效度的含义、特点与应用范围n结构效度是指一个测验实际测到所要测量的理论结构和特质的结构效度是指一个测验实际测到所要测量的理论结构和特质的程度，或者说测验分数能够说明测量的理论结构和特质的程度。程度，或者说测验分数能够说明测量的理论结构和特质的

29、程度。n结构效度有如下特点：结构效度有如下特点：本讲稿第六十二页，共八十七页n（1）结构效度首先取决于事先假定的心理特质的结构理论）结构效度首先取决于事先假定的心理特质的结构理论n（2）当实际测量的资料无法证实事先的理论假设时，并不一定就表明）当实际测量的资料无法证实事先的理论假设时，并不一定就表明该测验结构效度不高。该测验结构效度不高。n（3）结构效度通过测量什么、不测量什么的证据积累起来给以）结构效度通过测量什么、不测量什么的证据积累起来给以确定的，因而不可能有单一的数量指标来描述结构效度。确定的，因而不可能有单一的数量指标来描述结构效度。n结构效度主要应用于智力测验、人格测验等一些心理测

30、验方面。结构效度主要应用于智力测验、人格测验等一些心理测验方面。本讲稿第六十三页，共八十七页n2.结构效度的确定结构效度的确定n确定结构效度的基本程序确定结构效度的基本程序n第一，对所研究的心理特质的结构进行界定第一，对所研究的心理特质的结构进行界定n第二，依据理论框架，提出可能的假设第二，依据理论框架，提出可能的假设n第三，收集数据，验证假设第三，收集数据，验证假设本讲稿第六十四页，共八十七页n确定结构效度的具体方法确定结构效度的具体方法n（）测验内法（）测验内法n研究测验的内部结构，如测验的内容与题目间的相关来分析测验的结构效度。研究测验的内部结构，如测验的内容与题目间的相关来分析测验的结

31、构效度。n确定测验的内容效度：对于确定测验的内容效度：对于“语文能力语文能力”的测验，语文能力是对词的测验，语文能力是对词汇下定义、对语言进行类比推理和文章篇句中正确运用文字的能力。汇下定义、对语言进行类比推理和文章篇句中正确运用文字的能力。本讲稿第六十五页，共八十七页n分析被试对项目反应的过程：观察被试的操作，询问分析被试对项目反应的过程：观察被试的操作，询问他们的解题过程，做必要的数据相关分析。他们的解题过程，做必要的数据相关分析。n考察测验的同质性。考察测验的同质性。n因素分析的方法因素分析的方法n结构方程的方法结构方程的方法本讲稿第六十六页，共八十七页n（2）测验间法）测验间法n通过对

32、几个测验的比较研究，找出它们所测的共同特质，这样通过对几个测验的比较研究，找出它们所测的共同特质，这样便可以确定这些测验是否具有结构效度。便可以确定这些测验是否具有结构效度。n相容效度：计算被试在新旧两个同类测验上的分数的相关。如果相容效度：计算被试在新旧两个同类测验上的分数的相关。如果相关高，则说明两个测验测的是相同的特质。相关高，则说明两个测验测的是相同的特质。n区分效度：一个有效的测验不仅与其它测量同一构想的测区分效度：一个有效的测验不仅与其它测量同一构想的测验有比较高的相关，而且还应与测量不同构想的测验具有比验有比较高的相关，而且还应与测量不同构想的测验具有比较低的相关。较低的相关。本

33、讲稿第六十七页，共八十七页n（）效标关联法（）效标关联法n（）实际操作法（）实际操作法本讲稿第六十八页，共八十七页n（三）效标效度（实证效度）（三）效标效度（实证效度）n1.效标效度的含义、种类与作用效标效度的含义、种类与作用n效标效度是指一个测验对于特定情境中的个体的行为进行估效标效度是指一个测验对于特定情境中的个体的行为进行估计的有效性，即根据测验所作出的预测能否被实际的结果所计的有效性，即根据测验所作出的预测能否被实际的结果所证实。证实。本讲稿第六十九页，共八十七页n比如学习能力测验，如果测得某些学生的学习能力高，他们实比如学习能力测验，如果测得某些学生的学习能力高，他们实际的学习成绩高

34、，测得某些学生的学习能力低，实际的学习结际的学习成绩高，测得某些学生的学习能力低，实际的学习结果成绩低。测量的实证效度高。果成绩低。测量的实证效度高。n这里被估计或预测的行为的实际结果是检验测验效度的标准，这里被估计或预测的行为的实际结果是检验测验效度的标准，简称效标。简称效标。本讲稿第七十页，共八十七页n根据效标资料搜集的时间，效标效度可以分为同时效标和预测效根据效标资料搜集的时间，效标效度可以分为同时效标和预测效标。效标资料与测验分数是同时收集的，获得的效度叫同时效度；标。效标资料与测验分数是同时收集的，获得的效度叫同时效度；效标资料是根据测验之后的实际业绩定的，获得的效度叫预测效效标资料

35、是根据测验之后的实际业绩定的，获得的效度叫预测效度。度。n同时效度主要用于诊断现状，预测效度在于预测个体将来的行为。同时效度主要用于诊断现状，预测效度在于预测个体将来的行为。本讲稿第七十一页，共八十七页n2效标与效标测量效标与效标测量n估计测验效标效度首要条件是必须具有效标，什么是效标？估计测验效标效度首要条件是必须具有效标，什么是效标？n效标就是衡量一个测验是否有效的外在标准，是我们所要预测的行为。效标就是衡量一个测验是否有效的外在标准，是我们所要预测的行为。本讲稿第七十二页，共八十七页n效标可以是连续变量（如分数），也可以是分类变量（如职业）；效标可以是连续变量（如分数），也可以是分类变量

36、（如职业）；可以是自然的现成的指标（如产量、薪水），也可以是人为设计的可以是自然的现成的指标（如产量、薪水），也可以是人为设计的指标（如考试测验）；可以是主观评判，也可以是客观测量。归纳指标（如考试测验）；可以是主观评判，也可以是客观测量。归纳起来，常见的效标主要有学业成就、等级评定、临床诊断、特殊训起来，常见的效标主要有学业成就、等级评定、临床诊断、特殊训练的筹集、实际工作表现和其他测验成绩。练的筹集、实际工作表现和其他测验成绩。本讲稿第七十三页，共八十七页n阿斯汀（阿斯汀（A.W.Astin）将效标分为观念效标和效标测量。）将效标分为观念效标和效标测量。n观念效标是一个概念，效标测量是观念

37、效标的量化。如对于大学入学观念效标是一个概念，效标测量是观念效标的量化。如对于大学入学考试这个测验来说，观念效标是考试这个测验来说，观念效标是“大学学习成功大学学习成功”，而大学学习成绩，而大学学习成绩是效标测量。是效标测量。本讲稿第七十四页，共八十七页n好的效标测量应符合以下条件：好的效标测量应符合以下条件：n（1）必须真实的反映观念效标的重要侧面）必须真实的反映观念效标的重要侧面n（2）必须可靠稳定）必须可靠稳定n（3）必须客观，不存在偏见）必须客观，不存在偏见n（4）在保证有效性的前提下，尽量简单省时、代价低。）在保证有效性的前提下，尽量简单省时、代价低。本讲稿第七十五页，共八十七页n2

38、.效标效度的确定方法效标效度的确定方法n效标效度的确定方法一般有三个步骤：明确观念效标，确定效标测量，效标效度的确定方法一般有三个步骤：明确观念效标，确定效标测量，考察测验分数与效标测量的关系。考察测验分数与效标测量的关系。n效标效度的估计方法：效标效度的估计方法：本讲稿第七十六页，共八十七页n（1）相关法）相关法n即计算测验分数与效标测量的相关系数：积差相关、等级相关、二即计算测验分数与效标测量的相关系数：积差相关、等级相关、二列相关等。列相关等。n（2）分组法（区分法）分组法（区分法）n是被试接受测验后，让他们工作一段时间，再根据工作成绩（效标是被试接受测验后，让他们工作一段时间，再根据工

39、作成绩（效标测量）进行等级分组，然后考察两组测验分数的差异。测量）进行等级分组，然后考察两组测验分数的差异。本讲稿第七十七页，共八十七页n（3）预期表法）预期表法n是将源测验分数和效标测量绘制成双维图表，并将每个变量按水平是将源测验分数和效标测量绘制成双维图表，并将每个变量按水平分成若干档次，然后列出每个档次上的人数百分比。分成若干档次，然后列出每个档次上的人数百分比。本讲稿第七十八页，共八十七页本讲稿第七十九页，共八十七页n（4）命中率法）命中率法n如果预测源与效标都是二分的，可以得到一个命中预测表如果预测源与效标都是二分的，可以得到一个命中预测表 本讲稿第八十页，共八十七页本讲稿第八十一页

40、，共八十七页n（）功利率法（）功利率法n代价与利益进行比较代价与利益进行比较 本讲稿第八十二页，共八十七页n四、影响测量效度的因素四、影响测量效度的因素n（一）测验工具（一）测验工具n1.项目质量项目质量n测验项目不能够比较好的代表所要测验的内容和结构时，测量的的测验项目不能够比较好的代表所要测验的内容和结构时，测量的的内容效度和结构效度必然不高。题目语义不清、指导语不明确，题内容效度和结构效度必然不高。题目语义不清、指导语不明确，题目太难太易、题目安排不当等都会降低测量效度。目太难太易、题目安排不当等都会降低测量效度。本讲稿第八十三页，共八十七页n2.项目数量项目数量n增加项目的数量不但能够

41、提高测验的信度，也可以提高测验的增加项目的数量不但能够提高测验的信度，也可以提高测验的效度，增加项目数对于效度的影响效果可以通过下面公式估计：效度，增加项目数对于效度的影响效果可以通过下面公式估计：本讲稿第八十四页，共八十七页本讲稿第八十五页，共八十七页n（二）测验的实施（二）测验的实施n（三）被试（三）被试n（四）效标的性质（四）效标的性质n（五）测量的信度（五）测量的信度本讲稿第八十六页，共八十七页n五、提高测量效度的方法五、提高测量效度的方法n（一）精心编制测验量表，避免出现比较大的系统误差（一）精心编制测验量表，避免出现比较大的系统误差n（二）妥善组织测验，控制随机误差（二）妥善组织测验，控制随机误差n（三）创设标准的测试环境（三）创设标准的测试环境n（四）选好效标，定好效标测量（四）选好效标，定好效标测量本讲稿第八十七页，共八十七页