心理测量学测验的效度.ppt

《心理测量学测验的效度.ppt》由会员分享，可在线阅读，更多相关《心理测量学测验的效度.ppt（62页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、关于心理测量学测验的效度现在学习的是第1页，共62页 （Validity）n效度的概念效度的概念n效度评估的方法效度评估的方法n影响效率的因素影响效率的因素 现在学习的是第2页，共62页 一一、效度的概念、效度的概念效度的定义效度的定义效度的特点效度的特点现在学习的是第3页，共62页一、效度的概念一、效度的概念（一）效度的定义（一）效度的定义信度SX=ST+SE效度SX=SV+SI+SE随机误差有效方差SV系统误差SI现在学习的是第4页，共62页与测验目的有关的与测验目的有关的有效有效SV2和实得和实得SX2 的比值的比值效度效度定义现在学习的是第5页，共62页n信度高，给信度高，给 SV 增

2、加提供可能增加提供可能n能否提高效度，再看能否提高效度，再看SI大小大小n信度高不一定效度高信度高不一定效度高n效度要高，效度要高，SV须占较大比重，须占较大比重，STn效度高，信度必高效度高，信度必高ST2（二）信度与效度的关系（二）信度与效度的关系现在学习的是第6页，共62页（二）信度与效度的关系（二）信度与效度的关系信度是效度的必要条件信度是效度的必要条件非充分条件非充分条件现在学习的是第7页，共62页n效度是一个相对的概念。效度是一个相对的概念。n效度是两种误差的综合反映。效度是两种误差的综合反映。n效度的确定要从多方面搜集证据。效度的确定要从多方面搜集证据。（三）效度的特点（三）效度

3、的特点现在学习的是第8页，共62页 二、效度评估的方法二、效度评估的方法根据人们对测验目的解释的不同根据人们对测验目的解释的不同:n内容效度内容效度n结构效度结构效度n效标效度效标效度 考研题考研题现在学习的是第9页，共62页（一）内容效度（一）内容效度n概念概念n评估方法评估方法n特性特性(content validity)现在学习的是第10页，共62页（一）内容效度（一）内容效度1、概念、概念n定义：测验对于应测内容的代表性程度。定义：测验对于应测内容的代表性程度。n内容高的条件内容高的条件:n内容范围明确内容范围明确n取样有代表性取样有代表性 n应用：应用：成就测验成就测验 职业选择测验

4、职业选择测验现在学习的是第11页，共62页 2、特性、特性n特定性特定性：测验编制者与使用者的关系：测验编制者与使用者的关系n避免与避免与表面效度表面效度（face validity）混淆）混淆 一个测验看上去适合欲测目的的程度，而非实际适一个测验看上去适合欲测目的的程度，而非实际适合欲测目的的程度。合欲测目的的程度。测验在使用者或被试主观上感觉有效的程度。测验在使用者或被试主观上感觉有效的程度。编制测验应适当考虑表面效度。编制测验应适当考虑表面效度。最高作为测验表面效度可高些最高作为测验表面效度可高些 其他测验则希望表面效度低些其他测验则希望表面效度低些现在学习的是第12页，共62页n含义含

5、义n专家按测题和假设内容范围作出的符合度判断。专家按测题和假设内容范围作出的符合度判断。n作法与程序作法与程序n确定总体范围；确定总体范围；n编制双向细目表；编制双向细目表；n选择测验项目；选择测验项目；n制定评定量表。制定评定量表。3、评估方法、评估方法1）专家判断法（逻辑分析法）专家判断法（逻辑分析法）现在学习的是第13页，共62页n局限局限n不同专家对内容范围会有不同的理解。不同专家对内容范围会有不同的理解。n不同专家对同一测验内容效度的判断可能不不同专家对同一测验内容效度的判断可能不一致；一致；n无良好的数量指标描述这种符合性的程度；无良好的数量指标描述这种符合性的程度；现在学习的是第

6、14页，共62页2）经验推测法）经验推测法n检查不同年级被试总分与每题分数变化情况检查不同年级被试总分与每题分数变化情况n若随年级增高总分和每题通过率也升高，可若随年级增高总分和每题通过率也升高，可 推论该测验基本测量了教学内容和目标。推论该测验基本测量了教学内容和目标。n检查不同年龄儿童测验分数的变化情况检查不同年龄儿童测验分数的变化情况n是否随年龄增长而增加。是否随年龄增长而增加。现在学习的是第15页，共62页n信度指标信度指标n复本信度复本信度nr高：内容效度高（也可能两个都低）高：内容效度高（也可能两个都低）nr低：至少一个缺乏内容效度低：至少一个缺乏内容效度n再测信度再测信度 首测首

7、测-训练训练-再测再测-成绩提高成绩提高3）统计分析法）统计分析法现在学习的是第16页，共62页（二）构想效度（二）构想效度n定义定义n确定步骤确定步骤n估计方法估计方法(construct validity)现在学习的是第17页，共62页（二）构想效度（二）构想效度 1、定义、定义n构想（结构）构想（结构）n解释行为的理论框架或心理特质的抽象概念。解释行为的理论框架或心理特质的抽象概念。n结构效度结构效度 测验在多大程度上测量了所要测的理论构想。测验在多大程度上测量了所要测的理论构想。n应用应用 智力测验和人格测验智力测验和人格测验现在学习的是第18页，共62页2、确定步骤、确定步骤 提出理

8、论提出假设检验假设解释被试的测验表现测验成绩的假设逻辑和实证检验方法现在学习的是第19页，共62页关于情绪稳定性的假设关于情绪稳定性的假设n测验分数和心理学家的评价有某种程度的相关；测验分数和心理学家的评价有某种程度的相关；n精神病人和正常人的测验分数是有区别的；精神病人和正常人的测验分数是有区别的；n测验分数和同伴的评价有一定的关系；测验分数和同伴的评价有一定的关系；n测验分数与测验分数与IQIQ没有什么关系；没有什么关系；n测验分数和性别没有关系。测验分数和性别没有关系。现在学习的是第20页，共62页关于智力的假设关于智力的假设n智力随年龄而增长；智力随年龄而增长；n智力与学业成绩有密切关

9、系；智力与学业成绩有密切关系；n智商是相对稳定的；智商是相对稳定的；n智力受遗传的影响。智力受遗传的影响。现在学习的是第21页，共62页3、估计方法、估计方法n测验内方法测验内方法n测验间方法测验间方法n效标效度效标效度n实验法或观察法的证实实验法或观察法的证实现在学习的是第22页，共62页 3、估计方法、估计方法 1）对测验本身的分析）对测验本身的分析测验内方法测验内方法n研究测验研究测验内部构造内部构造分析测验的结构效度。分析测验的结构效度。n具体方法具体方法n内容效度法内容效度法n内部一致性法内部一致性法n分析解题的心理过程分析解题的心理过程 现在学习的是第23页，共62页内容效度法内容

10、效度法n确定取样内容范围后，利用这些资料确定取样内容范围后，利用这些资料 定义测验欲测的结构性质定义测验欲测的结构性质n韦氏智力测验韦氏智力测验n言语：常识、理解、算术、相似性、词汇、记忆广言语：常识、理解、算术、相似性、词汇、记忆广度度n操作：译码、填图、积木图案、图片排列、图形拼操作：译码、填图、积木图案、图片排列、图形拼凑凑 现在学习的是第24页，共62页n内容范围的描述内容范围的描述n见到老师、小朋友是否主动打招呼？见到老师、小朋友是否主动打招呼？n愿意自己独自玩，还是与其他孩子一起玩？愿意自己独自玩，还是与其他孩子一起玩？n语言较多还是较少，见生人时是否害羞？是语言较多还是较少，见生

11、人时是否害羞？是否大方？否大方？n做游戏时，与人交往时，能与人合得来吗？做游戏时，与人交往时，能与人合得来吗？独生子女合群性测验独生子女合群性测验现在学习的是第25页，共62页卡特尔卡特尔16PFn16个特质，个特质，187个题目个题目n乐群性，聪慧性，稳定性，持续性，兴奋性，乐群性，聪慧性，稳定性，持续性，兴奋性，有恒性，有恒性，敢为性，敏感性，怀疑性，幻想性，敢为性，敏感性，怀疑性，幻想性，世故性，忧虑性，实验性，独立性，自律性，世故性，忧虑性，实验性，独立性，自律性，紧张性紧张性n分测验间关系的分析：特质间相互独立分测验间关系的分析：特质间相互独立n分测验内项目关系的分析：项目相互联系分

12、测验内项目关系的分析：项目相互联系现在学习的是第26页，共62页内部一致性法内部一致性法n目的目的n推断测验是否测量单一特质推断测验是否测量单一特质n方法方法n极端组比较法极端组比较法（extreme-group method）n二列相关法：求题目与总分的相关二列相关法：求题目与总分的相关n分测验与总分的相关分测验与总分的相关现在学习的是第27页，共62页2）测验间的相互比较）测验间的相互比较测验间方法测验间方法n含义含义n同时考虑几个同时考虑几个测验间测验间的关联，考察是否测同一结构。的关联，考察是否测同一结构。n常用方法常用方法n相容效度相容效度n区分效度区分效度n因素效度因素效度 现在学

13、习的是第28页，共62页相容效度相容效度nconcurrent validityn含义含义n测相同结构的各种测验间应有测相同结构的各种测验间应有较高的相关较高的相关。n求一个新编测验与另一已知结构测验间的相关。求一个新编测验与另一已知结构测验间的相关。现在学习的是第29页，共62页区分效度区分效度n含义含义n某一特定测验的分数与已知测量不同结构的测某一特定测验的分数与已知测量不同结构的测验分数验分数无关无关。n相关高相关高n说明新测验的效度有问题。说明新测验的效度有问题。现在学习的是第30页，共62页因素效度因素效度n含义含义n通过对一组测验进行因素分析，找到影响测验分通过对一组测验进行因素分

14、析，找到影响测验分数的共同因素，每个测验在共同因素上的负荷量数的共同因素，每个测验在共同因素上的负荷量即每个测验与共同因素的相关，称作测验的因素即每个测验与共同因素的相关，称作测验的因素效度。效度。n基本原理基本原理 总变异总变异=共同因素共同因素+特殊因素特殊因素+误差误差现在学习的是第31页，共62页n（美）霍尔津格（美）霍尔津格（Holzinger）和斯温福）和斯温福德（德（Swineford）的因素分析）的因素分析n取样：芝加哥校区取样：芝加哥校区n被试：被试：145名名78年级学生年级学生n内容：实施内容：实施24个心理测验个心理测验n结果：结果：n4个基本因素个基本因素n图图-词测

15、验和数词测验和数-图测验的功能不明显。图测验的功能不明显。现在学习的是第32页，共62页24个心理测验的因素归类个心理测验的因素归类词 语速 度推 理记 忆1.一般知识 段落理解2.句子填空3.词汇分类4.词义解释5.加法6.编码7.计数8.点子9.直-曲10.算术 问题11.视知觉 15.数字游戏12.体积 16.问题推理13.面积 17.系列填空14.打旗 18.演绎推理19.词汇识别20.数字识别21.图形识别22.实物-数23.图词24.数图现在学习的是第33页，共62页3）效标效度的研究证明）效标效度的研究证明n测验测验效标效标n效标效度资料：提供与结构效度有关的信息。效标效度资料：

16、提供与结构效度有关的信息。现在学习的是第34页，共62页4）实验法和观察法的证实）实验法和观察法的证实n考察实验变量对考察实验变量对X的影响的影响n比较实验处理：前后分数的差异比较实验处理：前后分数的差异n搜集某些变异上的证据。搜集某些变异上的证据。现在学习的是第35页，共62页（三）效标效度（三）效标效度n定义定义n效标效标n估计方法估计方法criterion-related validity现在学习的是第36页，共62页 1、定义、定义n效标效度是指一个测验对处于特定情境效标效度是指一个测验对处于特定情境中的个体行为进行估计的有效性。中的个体行为进行估计的有效性。n一个测验是否有效，应以实

17、践的效果来作一个测验是否有效，应以实践的效果来作为检验标准。为检验标准。n符号：符号：rxyn又称又称统计效度或实证效度统计效度或实证效度。现在学习的是第37页，共62页 2、效标及其标准、效标及其标准 1）定义）定义n衡量测验效度的衡量测验效度的外在标准外在标准。它是独立于测验并可以从实践。它是独立于测验并可以从实践中直接获得我们所感兴趣的行为。中直接获得我们所感兴趣的行为。n做预测所依据的标准。做预测所依据的标准。n检验效度的参照标准。检验效度的参照标准。n测验所要测的或要预测的行为特质。测验所要测的或要预测的行为特质。现在学习的是第38页，共62页思考？思考？n能够考上大学的学生是否是能

18、力强、素能够考上大学的学生是否是能力强、素质好、有发展前途的人？质好、有发展前途的人？n我们可以通过他们的哪些方面来衡量？我们可以通过他们的哪些方面来衡量？n可见，一个测验的效标是不唯一的。具可见，一个测验的效标是不唯一的。具有多样性、复杂性、特殊性和时间性。有多样性、复杂性、特殊性和时间性。现在学习的是第39页，共62页 2）良好效标的选择依据）良好效标的选择依据n反映测验的目标；反映测验的目标；n较高的信度；较高的信度；n可客观地测量；可客观地测量；n测量方法简单，省时省力，经济实用。测量方法简单，省时省力，经济实用。现在学习的是第40页，共62页各类测验的可用效标各类测验的可用效标测验类

19、型常 见 效 标成就学年平均分，教师评定结果，学习量，知识应用力，评判知识的批判力，自学能力智力学科成绩，教师评定结果，学生总成绩能力倾向 特殊课程或训练成绩，工作或学习成绩职业兴趣 从业者的实际成绩或工作表现人格主试主观标准，被试以后行为，临床资料 现在学习的是第41页，共62页 3）效标效度的类型）效标效度的类型 同时效度同时效度n含义含义n根据测验分区分根据测验分区分已有的状态已有的状态或预测或预测已知的效标已知的效标表现来评估测表现来评估测验效度的方法。验效度的方法。n对同组对象求新编测验得分与现有测验得分（效标值）之间的相对同组对象求新编测验得分与现有测验得分（效标值）之间的相关。关

20、。n应用：效标分和新编测验分能同时得到。应用：效标分和新编测验分能同时得到。n度量指标：测验分与效标分的相关系数度量指标：测验分与效标分的相关系数 现在学习的是第42页，共62页 预测效度预测效度n定义定义n根据测验分数预测其在效标上根据测验分数预测其在效标上将来成绩将来成绩来考察测验效来考察测验效度的方法。度的方法。n一个测验对被试心理特质或一个测验对被试心理特质或未来绩效未来绩效所作预测的准确程所作预测的准确程度。度。n应用：测验分与效标分不能同时得到。应用：测验分与效标分不能同时得到。n度量指标：测验分与效标分的相关系数度量指标：测验分与效标分的相关系数。现在学习的是第43页，共62页

21、3、估计方法、估计方法n相关法相关法n区分法区分法n命中率命中率n功利率功利率现在学习的是第44页，共62页 ）相关法）相关法n效度系数效度系数n测验分（新编）与效标分的相关系数测验分（新编）与效标分的相关系数n计算方法计算方法n积差相关法积差相关法n二列相关、点二列相关，多系列相关等二列相关、点二列相关，多系列相关等现在学习的是第45页，共62页2）区分法）区分法n该方法的思路是该方法的思路是：被试接受测验后，让他们工作：被试接受测验后，让他们工作一段时间，再根据工作成绩（效标测量）的好坏一段时间，再根据工作成绩（效标测量）的好坏分成两组。这时再回过头来分析这两组被试原先分成两组。这时再回过

22、头来分析这两组被试原先接受测验的分数差异，若这两种人的测验分数差接受测验的分数差异，若这两种人的测验分数差异显著，则说明该测验有较高的效度。异显著，则说明该测验有较高的效度。n缺点缺点：组间均数差异显著性取决于团体大小。：组间均数差异显著性取决于团体大小。现在学习的是第46页，共62页3）命中率）命中率n含义：正确决策的比例。含义：正确决策的比例。n用途用途n人才选拔人才选拔n方法方法n正确决策的结果正确决策的结果 n正命中率正命中率n总命中率总命中率 现在学习的是第47页，共62页表：命中表表：命中表 效标成绩测验成绩失败（-）成功（+）成功（+）失败（-）总命中率总命中率=命中命中/（命中

23、（命中+失误）失误）=（B+C）/（A+B+C+D）正命中率正命中率=成功人数成功人数/选择人数选择人数 =B/（A+B）当测验用于提高工作效率时考察正命中率；当测验用于提高工作效率时考察正命中率；如果强调公平，考察总命中率。如果强调公平，考察总命中率。A（失误）（失误）B（命中）（命中）C（命中）（命中）D（失误）（失误）现在学习的是第48页，共62页4）功利率）功利率n使用测验所带来的好处应大大高于使用测验所耗费的使用测验所带来的好处应大大高于使用测验所耗费的时间、精力和经费，还要比较用测验与不用测验的效时间、精力和经费，还要比较用测验与不用测验的效益之差，若差别不大，则没有使用测验的必要

24、。益之差，若差别不大，则没有使用测验的必要。n总之，一个好的测验，根据其测验的目的和性质，总之，一个好的测验，根据其测验的目的和性质，往往需要多个效度指标达到相当高的水平。往往需要多个效度指标达到相当高的水平。现在学习的是第49页，共62页 三、影响效度的因素三、影响效度的因素n测验组成测验组成n测验实施测验实施n样本团体的性质样本团体的性质n效标的性质效标的性质现在学习的是第50页，共62页（一）测验组成（一）测验组成n试题的质量。试题的质量。n测验长度、试题难度和鉴别力及编排方式。测验长度、试题难度和鉴别力及编排方式。n增加新试题对信度的影响大于效度。增加新试题对信度的影响大于效度。现在学

25、习的是第51页，共62页测验长度与信度和效度的关系测验长度与信度和效度的关系题数 与原测验题数之比 信 度 效 度 10 1 0.300 0.400 20 2 0.462 0.496 30 3 0.562 0.548 60 6 0.720 0.619120 12 0.837 0.688240 24 0.911 0.697480 48 0.954 0.713现在学习的是第52页，共62页测验长度与效度关系的计算公式：测验长度与效度关系的计算公式：n =n例：已知例：已知 R RXXXX为为0.31,R0.31,RXYXY为为0.42,0.42,若把效度系数提高到若把效度系数提高到0.650.65

26、和和0.70,0.70,则测验的长度要增加几倍则测验的长度要增加几倍?现在学习的是第53页，共62页（二）测验实施（二）测验实施n主试主试n测验情境的控制测验情境的控制n按测验手册各项规定实施测验。按测验手册各项规定实施测验。n施测过程施测过程n场地布置场地布置n材料准备材料准备n作答方式说明作答方式说明n时间的限制等时间的限制等现在学习的是第54页，共62页n被试被试n人格：兴趣、动机、情绪、态度人格：兴趣、动机、情绪、态度 身心健康状况身心健康状况n作答真实性：是否充分合作与尽力作答真实性：是否充分合作与尽力现在学习的是第55页，共62页（三）样本团体的性质（三）样本团体的性质n异质性异质

27、性n越异质，分数分布越广，效度越高；越异质，分数分布越广，效度越高；n越同质，分数分布越窄，效度越低；越同质，分数分布越窄，效度越低；现在学习的是第56页，共62页 2、干涉变量、干涉变量n相同测验对不同团体的测量功能不同。相同测验对不同团体的测量功能不同。n干涉变量干涉变量n因性质不同（性别、兴趣、职业、年龄因性质不同（性别、兴趣、职业、年龄等）使不同团体具有不同的预测能力。等）使不同团体具有不同的预测能力。现在学习的是第57页，共62页（四）效标的性质（四）效标的性质n效标本身的性质效标本身的性质效标可靠性效标可靠性n相同条件下：测量行为与效标行为相似，效度越高。相同条件下：测量行为与效标

28、行为相似，效度越高。n有学者指出，智力测验分数与老师对学生等级评定之间的效度有学者指出，智力测验分数与老师对学生等级评定之间的效度系数只要在系数只要在0.30-0.50间就可以了间就可以了,因为老师的评价会受与因为老师的评价会受与智力无关的其他因素的影响。智力无关的其他因素的影响。现在学习的是第58页，共62页 提高效度的方法提高效度的方法n一般来说，可以通过以下方法提高效度：一般来说，可以通过以下方法提高效度：n精心编制测验，避免出现较大的系统误差；精心编制测验，避免出现较大的系统误差；n妥善组织测验，控制随机误差；妥善组织测验，控制随机误差；n创设标准的应试环境；创设标准的应试环境；n选取

29、好正确的效标，定好恰当的效标测量，选取好正确的效标，定好恰当的效标测量，n正确的使用有关公式等方法提高效标关联效度。正确的使用有关公式等方法提高效标关联效度。现在学习的是第59页，共62页n良好的测验必须具备良好的测验必须具备信、效度。信、效度。nrXX是测验可靠性，是测验可靠性，rXY是欲测内容准确性。是欲测内容准确性。n测验要有效，首先须提高效度。测验要有效，首先须提高效度。n与信度比，效度更重要。与信度比，效度更重要。n成就测验和职业选拔测验多用内容效度。成就测验和职业选拔测验多用内容效度。n智力和人格测验多用结构效度。智力和人格测验多用结构效度。信、效度小结现在学习的是第60页，共62

30、页本章需要明确的主要内容本章需要明确的主要内容：n1 1测量的误差及来源。测量的误差及来源。n2 2测量的信度及效度的定义。测量的信度及效度的定义。n3 3测量的信度及效度的估计方法。测量的信度及效度的估计方法。n4 4影响测量的信度及效度的因素。影响测量的信度及效度的因素。n5 5如何提高测量的信度及效度？如何提高测量的信度及效度？n6 6效度和信度的关系怎样？效度和信度的关系怎样？n7 7假设一学者自编了一神精类型测验，并在十几万人中进行了假设一学者自编了一神精类型测验，并在十几万人中进行了试用，试问该测验是否一定高效？试用，试问该测验是否一定高效？n8.8.名词名词:误差、信度、效度、经典测验理论。误差、信度、效度、经典测验理论。n9.9.关于测验长度与信、效度关系的计算公式。关于测验长度与信、效度关系的计算公式。现在学习的是第61页，共62页感感谢谢大大家家观观看看现在学习的是第62页，共62页