测量效与系统误差控制.pptx

心理测量学高等教育出版社第三章第三章 测量效度与系统误差控制测量效度与系统误差控制测量效度概述测量效度概述1测量工具效度验证的方法测量工具效度验证的方法2测量的系统误差控制测量的系统误差控制3第1页/共43页心理测量学高等教育出版社第三章第三章 测量效度与系统误差控制测量效度与系统误差控制测量效度概述测量效度概述1第2页/共43页心理测量学高等教育出版社测量效度概述测量效度概述 什么是效度测量工具测量了他所希望测量的心理特质或行为特征的效果和程度。效度总是与一定的测量目标相联系的。我们称为某测量工具进行效度验证的过程为效度证据的获取过程，简称为效效度验证度验证。第3页/共43页心理测量学高等教育出版社测量效度概述测量效度概述测量学定义：S2X=S2T+S2E S2T=S2V+S2I S2X=S2V+S2I+S2Er2xy=S2V/S2Xr rXXXX=S=S2 2T T/S/S2 2X X第4页/共43页心理测量学高等教育出版社测量效度概述测量效度概述效度与信度的关系信度研究的是测量结果的稳定性问题，效度研究的是测量结果的准确性问题。测量的信度只受到随机误差或非系统测量误差非系统测量误差的影响，而测量效度会同时受到随机误差和系统测量误系统测量误差差的影响。一个测量工具可能是非常稳定（信度高），但却是无效的，因为他与测量的目标之间产生了系统性的偏差；当然，一个完全不稳定的测量工具也不可能是有效的。第5页/共43页心理测量学高等教育出版社第三章第三章 测量效度与系统误差控制测量效度与系统误差控制测量工具效度验证的方法测量工具效度验证的方法2第6页/共43页心理测量学高等教育出版社测量工具效度验证的方法测量工具效度验证的方法 根据测量目标的不同，对测量工具进行效度验证的方法主要有三种：基于所测内容的效度验证方法。基于所测心理结构的效度验证方法。基于效标关联性的效度验证方法。第7页/共43页心理测量学高等教育出版社测量工具效度验证的方法测量工具效度验证的方法基于所测内容的效度验证方法含义就是要对测量工具本身的具体内容进行系统性的查验，以确定这些内容是不是测量目标特质或行为领域的一个有代表性的样本。主要应用 学业成就测验、职业资格测验，还如人员选拔与安置中的工作样本测验工作样本测验。第8页/共43页欺负研究言语欺负身体欺负关系欺负第9页/共43页心理测量学高等教育出版社测量工具效度验证的方法测量工具效度验证的方法基于所测内容的效度验证方法评估方法确定测量目标的全域范围及各部分内容权重。确定一批有经验的领域专家，在深入培训的基础上，要求他们按照已确定的测量全域范围及各部分内容权重，初步分析测试题目的代表性，并对题目测量的被试作答的内部心理过程进行初步分析。进行实测，根据测试数据分析和被试作答过程分析，全面验证测量工具的效度。第10页/共43页心理测量学高等教育出版社内容效度评估方法：专家评判法（双向细目表）、统计分析法（再测法）、经验推测法（试测发展变化）。内容效度比CVR=(ne-N/2)/(N/2);ne表示认为项目很好地表示了测量内容范畴的评判者人数。内容效度的特性：注意区分内容效度和表面效度测量工具效度验证的方法测量工具效度验证的方法第11页/共43页心理测量学高等教育出版社测量工具效度验证的方法测量工具效度验证的方法基于所测内容的效度验证方法关于测量工具的表面效度严格来说，表面效度并不符合效度的定义，因为他反映的不是实际要测量的目标是什么，或对目标测量的程度如何，而反映的是，测量工具从表面上看测量了什么。表面效度关心的是测量的友好性和与公众的和谐关系。第12页/共43页心理测量学高等教育出版社测量工具效度验证的方法测量工具效度验证的方法基于效标关联性的效度验证方法效标效标：它是独立于测量工具并可以从实践中获得的被试的行为特征表现，用于验证测量工具的有效性。根据测量工具与效标两者结果获得的时间间隔的不同，基于效标关联性的效度证据采集可以有同时性同时性设计与预测性设计设计与预测性设计两种方法。第13页/共43页量表 业绩工作压力 心理问题医闹 创收 晋升 领导本我 快乐自我 现实超我 良心第14页/共43页心理测量学高等教育出版社测量工具效度验证的方法测量工具效度验证的方法基于效标关联性的效度验证方法效度证据采集的预测性设计方法含义：验证现有测量评价结果与将来才可能获取的效标评价结果之间的关联程度。主要应用：人员选拔、安置类型的测量工具 第15页/共43页心理测量学高等教育出版社测量工具效度验证的方法测量工具效度验证的方法基于效标关联性的效度验证方法效度证据采集的预测性设计方法首先，获取被试在当前测量工具上的评价结果，如测验分数、等级评定；然后，间隔一定的时间，采集被试在预测目标（效标）上的评价结果；最后，分析以上这两个评价结果之间的关联性程度，这种关联性程度的分析方法常用的有以下几种：相关分析区分能力分析命中率分析第16页/共43页心理测量学高等教育出版社101981275 12 1612 5 2 4 152 6 3 3 241 3 4 2 4 131 4 6 9 2 125 2 2 31121010 1 2 3 4 5 6 7 8 9 10工工作作成成绩绩测测 验验 成成 绩绩第17页/共43页心理测量学高等教育出版社命中率法命中率法(如何分析上页表格如何分析上页表格)效标成绩测验预测失败（-）成功（+）成功（+）A（失误）B（命中）失败（-）C（命中）D（失误）第18页/共43页命中率法习题命中率法习题假设用某种测验选拔员工100人，经过一段时间的工作检验，得到以下四组数据：正确接受为42人，正确拒绝为34人，错误接受为10人，错误拒绝为14人。请算出该次选拔的总命中率。心理测量学高等教育出版社第19页/共43页心理测量学高等教育出版社测量工具效度验证的方法测量工具效度验证的方法基于效标关联性的效度验证方法效度证据采集的同时性设计方法含义：对同时获得的测量工具评价结果与效标评价结果之间的关联性程度进行分析。主要应用经常用于评价测量工具诊断被试当前心理特质状态的效果。在许多情形下，效度证据采集的同时性设计方法会替代预测性设计方法。评估方法第20页/共43页心理测量学高等教育出版社测量工具效度验证的方法测量工具效度验证的方法基于效标关联性的效度验证方法基于效标关联性的效度验证方法的影响因素群体的一致性或同质性同质性程度：应该尽量扩大被试群体的异质性，避免低估测验的真实效度。测验长度：一般来说，测验长度越长，测试结果越稳定，效度系数会倾向于越高。效标污染 第21页/共43页心理测量学高等教育出版社测量工具效度验证的方法测量工具效度验证的方法基于效标关联性的效度验证方法估计标准误指的是测量工具实际测量的结果与预先设定的测量目标之间相互偏离的程度，而效度验证的过程就是要考察这种偏离程度的大小。从实际应用范围及计算过程的便利性角度看，估计标准误的实际应用更多的是基于效标关联性的效度验证方法中。第22页/共43页心理测量学高等教育出版社测量工具效度验证的方法测量工具效度验证的方法基于效标关联性的效度验证方法估计标准误 是表现为相关系数的效度系数；是效标评定分数的标准差。第23页/共43页测量标准误与估计标准误测量标准误与估计标准误T X同一种心理变量X Y不同的变量心理测量学高等教育出版社第24页/共43页心理测量学高等教育出版社测量工具效度验证的方法测量工具效度验证的方法基于所测心理结构的效度验证方法含义：对测量工具测量了心理学中某种特质或特质结构的程度进行验证的方法。主要应用：各种心理测验，如智力测验、人格测验、焦虑测验、成就动机测验等。第25页/共43页心理测量学高等教育出版社测量工具效度验证的方法测量工具效度验证的方法基于所测心理结构的效度验证方法评估方法专家判断分析法主要依靠专家的主观专业经验。尽量减少专家主观随意性的影响。德尔菲法。第26页/共43页心理测量学高等教育出版社测量工具效度验证的方法测量工具效度验证的方法基于所测心理结构的效度验证方法评估方法测验内部一致性分析法基于所测心理结构的效度验证的一个重要证据来源。这个方法的实质是，测验总分本身是用于评价所测心理结构的效度最好的效标。相关分析法：求取每个项目与测验总分之间的相关系数，如果项目测验相关显著，表明该项目与总测验的结构是一致的。第27页/共43页心理测量学高等教育出版社测量工具效度验证的方法测量工具效度验证的方法基于所测心理结构的效度验证方法评估方法测验内部一致性分析法对照组比较法：按照被试的测验总分，选出一个高分组被试和一个低分组被试，然后，比较高分组被试与低分组被试在各个项目上的作答表现，如果高分组被试的通过比例显著大于低分组被试的通过比例，表明该项目与总测验的结构是一致的。第28页/共43页心理测量学高等教育出版社基于所测心理结构的效度验证方法评估方法测验内部一致性分析法很明显，测验内部一致性证据保证的是测验结构的同质性或单一性。测验内部一致性证据的作用是有限的，因为他毕竟无法证明该测验究竟测量了什么结构。测量工具效度验证的方法测量工具效度验证的方法第29页/共43页心理测量学高等教育出版社测量工具效度验证的方法测量工具效度验证的方法基于所测心理结构的效度验证方法评估方法与现有研究结论一致性的分析法通过分析新开发测量工具测试结果是否与已有研究结论相一致。在许多传统智力测验中，成长发展性变化证据是测验效度的一个重要证据。第30页/共43页心理测量学高等教育出版社测量工具效度验证的方法测量工具效度验证的方法基于所测心理结构的效度验证方法评估方法与其他测量工具的相关分析法求取新开发测量工具与另一个已经被公认为有效的测量工具之间的相关关系，是证明新开发测量工具测量了相同内容结构的一个有效证据。求取新开发测量工具与另一个测量工具之间的相关关系，有时候也被用于证明该测量工具没有受到其他无关心理因素的影响。第31页/共43页心理测量学高等教育出版社测量工具效度验证的方法测量工具效度验证的方法基于所测心理结构的效度验证方法其他评估方法因素分析法（因素分析法的基本原理及因素旋转）因素分析方法是基于所测心理结构的效度验证方法中几乎最为常用的一种方法，他很适合用于鉴别测量工具所测的心理特质结构。实际上，因素分析方法是一种分析观察数据之间相关矩阵的统计分析技术。第32页/共43页心理测量学高等教育出版社测量工具效度验证的方法测量工具效度验证的方法基于所测心理结构的效度验证方法其他评估方法聚合与区分效度验证分析法为了验证测量工具所测的心理结构，我们不仅必须提供关于它与另外一个理论上应该存在高相关的测量工具之间存在高相关的实际证据，同时，也需要提供关于它与另外的无关变量之间不存在显著相关的证据。多特质多特质多方法矩阵分析多方法矩阵分析法 第33页/共43页心理测量学高等教育出版社测量工具效度验证的方法测量工具效度验证的方法基于所测心理结构的效度验证方法其他评估方法实验介入分析法通过实验的方法考察某些重要变量的介入是否对被试测量分数产生显著影响。第34页/共43页心理测量学高等教育出版社测量工具效度验证的方法测量工具效度验证的方法基于所测心理结构的效度验证方法其他评估方法结构方程建模分析法除了鉴别测量的潜在结构之外，对这些潜在特质结构本身之间的关系以及它们之间的影响路径进行考察，同样是非常重要的。分析潜在特质结构之间的关系及其与效标变量之间的路径，有利于我们更深入理解所测特质的作用机制。这种分析过程可以用结构方程建模的方式进行。第35页/共43页心理测量学高等教育出版社测量工具效度验证的方法测量工具效度验证的方法基于所测心理结构的效度验证方法其他评估方法寻求当代认知心理学证据的分析方法基于信息加工理论的研究方法为我们深入理解人类问题解决的加工过程提供了更丰富的证据。认知加工模型让我们了解完成某种认知任务的智能过程、这个过程的组织方式、涉及的知识内容、这些知识在记忆中的表征形式及其提取模式，这些研究无疑会让我们对人类心理特质结构的认知更加深入。第36页/共43页对分课堂讨论对分课堂讨论1、探索性因素分析和验证性因素分析的异同2、如何用spss做探索性因素分析3、如何用结构方程软件做验证性因素分析4、从第17届全国心理学学术大会的摘要集中，找出心理测量口头报告、张贴报告，并总结作者是如何在摘要中报告信度、效度等测量学指标的心理测量学高等教育出版社第37页/共43页心理测量学高等教育出版社第三章第三章 测量效度与系统误差控制测量效度与系统误差控制测量的系统误差控制测量的系统误差控制3第38页/共43页心理测量学高等教育出版社测量的系统误差控制测量的系统误差控制 影响测量工具有效性的因素测量的心理特质本身的特点有些心理特质至今研究不够深入，概念界定还不清晰。有些心理特质本身不太稳定。测量工具的建构过程建构过程应遵循严谨的态度才能建构出优良的测量工具，避免出现系统偏差。第39页/共43页心理测量学高等教育出版社测量的系统误差控制测量的系统误差控制影响测量工具有效性的因素测量工具本身的信度信度是效度的必要条件。效度验证时的被试群体相同的一个测量工具，可能会因为测量对象特性的不同而测量到不同的心理特质结构。作为用相关系数表示的效度系数，希望参与效度验证的被试群体越异质越好。第40页/共43页心理测量学高等教育出版社测量的系统误差控制测量的系统误差控制影响测量工具有效性的因素效标的选取效标本身的信度及其有效性是非常关键的。其他因素测验形式、测验长度、测试过程的组织、评价者的经验、记分方式、访谈中主试的经验等。第41页/共43页高等教育出版社高等教育出版社第42页/共43页心理测量学高等教育出版社谢谢您的观看！第43页/共43页