效度与系统误差课件.ppt

《效度与系统误差课件.ppt》由会员分享，可在线阅读，更多相关《效度与系统误差课件.ppt（38页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、效度与系统误差效度与系统误差第1页，此课件共38页哦一个现实的问题一个现实的问题 1997年1月，湖北省政府宣布从社会各界 公开招聘36名厅、局级干部(均为副职)。经过各种测验与测评,36名干部从4000 多名候选者中脱颖而出,如期上任。其中使用的测验技术包括：结构化面试,评价中心,纸笔考试(专业知识)等。你从测验学的角度将如何看待这一举措？不考虑政治因素。一一.效度的概念效度的概念第2页，此课件共38页哦你如何解释下述现象？l一个很聪明的孩子,测得智商是80分l一个学习很好的学生,考试成绩为60分l一个人缘很好的人,人际关系测量低于常模值第3页，此课件共38页哦根据智力测验分数作出推断的根据

2、智力测验分数作出推断的例子例子 得这个分数的人能顺利完成医学院的学业 得这个分数的人可能成为最令人满意的工程师 得这个分数的人极有可能从工厂里偷东西第4页，此课件共38页哦l测量效度测量效度=测量的准确性、有效性测量的准确性、有效性效度是一个测验能够测量其所要测量的特质的效度是一个测验能够测量其所要测量的特质的准确程度准确程度(the extent or degree to which the test measures what it was designed to measure)。或根据测验分数做出的推断的正确性。即：这个测验测的是什么？这个测验测得准不准？一个测验的效度不止一个,不存在

3、一个一般的效度,因为一个测验可能测的是一个非常宽泛的概念,如智力,根据测验分数可以做出许多推断。第5页，此课件共38页哦效度的概念理解效度的概念理解1 1、效度是一个相对的概念。、效度是一个相对的概念。效度是相对于一定的测量目的而言的。效度是相对于一定的测量目的而言的。效度不是一个全或无的概念。效度不是一个全或无的概念。2 2、效度是系统误差和随机误差的综合反映。、效度是系统误差和随机误差的综合反映。3 3、效度不是直接可以测量到的，效度不是直接可以测量到的，判断一个测验是判断一个测验是否有效要从多方面搜集证据，从证据去推论测验否有效要从多方面搜集证据，从证据去推论测验的效度的效度 (犹如法庭

4、上收集证据一样犹如法庭上收集证据一样)。第6页，此课件共38页哦l测量学中的效度概念测量学中的效度概念 与测量目的有关的真实变异(或有效变异)在实测值变异中的比例即即 rXY=SV2/SX2第7页，此课件共38页哦l对同一测验之有效与无效的推断对同一测验之有效与无效的推断 使用MMPI你可以对患有心理障碍的人做出有效推断，但不能对“正常人”做出有效推断。尺子可以用来度量长度,但不能用来度 量重量,即便每次度量的结果都完全一样。第8页，此课件共38页哦效度与信度关系效度与信度关系l(1)高效度,高信度 (2)高信度,低效度 (3)低信度,低效度l信度是效度的必要而非充分条件 rXYXY=SV V

5、2/SX X2 =(SX X2-SI I2-SE E2)/SX X2 =1-SI I2/SX X2-SE E2/SX X2 =rXXXX-SI I2/SX X2 SI2 0 rxy rxxxx第9页，此课件共38页哦l信度的平方根为效度的最高限信度的平方根为效度的最高限 即即 rXYXYmaxmax=rXYXY/(rXXXX*rYYYY)1/2 1.0rXYXY/(rXXXX*rYYYY)1/2 rXYXY(rXXXX*rYYYY)1/2 rXYXY(rXXXX)1/2一个测验的效度总是受它的信度所制约一个测验的效度总是受它的信度所制约第10页，此课件共38页哦效度的种类效度的种类l证明一个测

6、验是有效的(validation),必须保证在以下三方面均是有效的 内容(content)效标关联或实证(criterion-related or empirical)构想或结构(construct)l不能只独立地保证一方面。构想构想效标关联效标关联内容内容第11页，此课件共38页哦1.1.内容效度内容效度(Content Validity)(Content Validity)及其估计及其估计 内容效度指测验实际测到的内容与所要测量的内容之间的吻合程度。内容效度指测验实际测到的内容与所要测量的内容之间的吻合程度。基本前提:测验试题应为所欲测内容或行为范围的有效性样本。基本条件：1)每个试题应与

7、所界定内容或行为范围有适度相关 2)测验内容应能确切涵盖所界定对象之范围 3)试题分配应能反映范围内各种变项或成分所应占 的比重 4)保证有一定的题量 主要用于建构或评价成就测验 依赖专家判断(基于逻辑)定性分析 其他估计方法:复本法 再测法 经验法二二.效度的估计效度的估计第12页，此课件共38页哦内容效度与表面效度内容效度与表面效度lFace validity:表面看起来测验内容与测验目的的一致性程度。市井或通俗测验多有高的表面效度，但它不能保证测量的正确性。l对表面效度的要求 最高水平测验:高;典型行为测验:低l提高表面效度可以起到“包装”的作用内容效度适用于内容效度适用于l领域参照测验

8、 成就测验 职业(选拔与分类)测验l不适用：智力与人格l为什么?基于任务目标的分析第13页，此课件共38页哦2.2.构想效度构想效度(construct construct ValidityValidity)及其估计 构想效度是指测验对理论上的构想或特质的测量程度。构想效度是指测验对理论上的构想或特质的测量程度。例如:l 一个测验在多大程度上测量了“幸福感”(责任感、自主性等等)？l这个面试(interview)测量了人际技能了吗？第14页，此课件共38页哦构想效度估计方法构想效度估计方法:l假设验证与实验操作l内容效度和效标关联效度都体现了构想效度l考察已知组别的分数测验内法 如,将一个艺术

9、能力测验施测两组人,艺术系和法律系学生。二者的差别？l考察一个新测量与测量同一构想的现有测量的关系测验间法 如，计算两个艺术能力测验的相关l 发展(年龄)变化 如,艺术能力随年龄而变吗?l 实验(干预)研究 如,力图提高艺术能力的干预措施确实提高了 在艺术能力测量上的分数了吗？第15页，此课件共38页哦l l一组度量的因素分析一组度量的因素分析 如，有20个艺术能力测验,但这些测验只测量了艺术能力的两个共同特质：创造力和灵巧性。这些共同特质称为因素l l相容相容(聚合聚合)效度效度(convergent validation)(convergent validation)如，一个艺术能力测验与

10、其他艺术能力测验、创造力测验以及去当地艺术博物馆的频率等有高相关l l区分效度区分效度(discriminant validation)(discriminant validation)如，一个艺术能力测验与耐力(力量)测验或与去体育馆的频率等没有相关第16页，此课件共38页哦因素分析因素分析(Factor analysis,FA)(Factor analysis,FA)l一种多变量统计法。目的是降维,即用更少量的因素概括解释许多相互关联的变量。(科学的吝啬率)l例如：假设你有一个包括四个部分的成就测验 阅读理解 词汇 数学计算 数学推理l你可能猜想,阅读理解和词汇都测量了言语技能,数学计算和

11、数学推理都测量了数学技能。l要知道你的想法是否正确,你首先需要计算他们彼此之间的相关。第17页，此课件共38页哦多特质多特质-多方法矩阵多方法矩阵 (multitrait-multimethod matrix)例证例证P74lCampbell&Fiske(1959)提出的方法,它将相容效度和区分效度两种方法结合起来验证构想效度的方法。l假设我们测量了三种心理特质：A：人格的支配性 B：社会敏感性 C：成就动机l假设我们测量这些心理特质使用了四种不同的方法 方法1：自陈量表 方法2：投射测验 方法3：同伴评定 方法4：情境问卷这样就可以获得一个9*16的相关矩阵：参见教材P P7474第18页，

12、此课件共38页哦多种特质多种特质-多种方法的矩阵说明：多种方法的矩阵说明：u实线三角形对角线上的相关系数是采用相同方法测量相同特质，是两次测量的信度系数；u在虚线三角形对角线上的相关系数，是采用不同方法测量相同特质（相容效度），它们的数值越大说明测量的效度越好；u实线三角形中的相关系数是采用相同方法测量不同特质的结果（区分效度），它们的数值越小说明测量的效度越好；u虚线三角形中的相关系数，是采用不同方法测量不同特质的结果。一个结构效度良好的测验，矩阵的相关系数情况应该是：信度系数一个结构效度良好的测验，矩阵的相关系数情况应该是：信度系数 相容效度系数相容效度系数 区区分效度系数分效度系数 虚线

13、三角形中的相关系数。虚线三角形中的相关系数。如果有相反的情况，表明结构效度不佳。如果有相反的情况，表明结构效度不佳。第19页，此课件共38页哦3.实证效度实证效度(效标关联效度效标关联效度)(Criterion-related validation)指一个测验对处于特定情境中的个体的行为预测的准确性。即将测验分数与希望做出推断的行为联系起来(求相关)。希望做出推断的行为或被预测的行为是检 验测验有效性的标准,简称效标(Criterion)测验=预测源 行为=效标 效标效度是基于数据的(data based)一个选拔测验与工作绩效的相关 一个成就测验与年级的相关 一个诚实测验与偷窃的相关第20页

14、，此课件共38页哦两种效标关联效度两种效标关联效度 预测效度预测效度(predictive(predictive validity)validity)：测验对未来表现预测得有多好 如:他会患焦虑症吗？同时效度同时效度(concurrent(concurrent validity)validity)：测验对目前表现预测得有多好 (现有状态)如:他患有焦虑症吗？二者的一个重要差别 是进行测验(即预测源)与进行效标测量之间的时间 不同时间=预测效度 同一时间=同时效度第21页，此课件共38页哦方法不同 预测效度预测效度 学生参加高考,有些人上了北师大 以后,将他们的平均学业成绩与高 考分数求相关这个

15、相关称为效度系数 如果二者相关很高,那么高考成绩 对预测大学平均学业成绩来说有高 效度 同时效度同时效度 已经上了北师大的学生参加高考,同时收集他们的平均学业成绩计算测验分数与学业表现的相关 二者的差别 时间 被测验的人群 动机和经验第22页，此课件共38页哦终极效标和实际效标终极效标和实际效标 预测源(predictor)是指用于预测效标的任何东西(如高考,认知能力测验)终极效标(ultimate criterion)是你要测量的东西(如在大学中的潜力,胜任工作)实际效标(actual criterion)是你实际测量的东西(如专门针对高考的学习策略上的技能加上大学中的潜力,每周的产量与次品

16、率)理想状况：实际效标理想状况：实际效标=终极效标终极效标第23页，此课件共38页哦常见的效标 学业成就：学业成就：学科成绩,学历,获奖 等级评定：等级评定：临床诊断临床诊断 特殊训练成绩培训特殊训练成绩培训 实际的工作表现实际的工作表现 产量、治愈率、违规次数等 对团体的区分对团体的区分(人口统计学变人口统计学变量量)年龄,种族,疾病类型 其他现成的测验其他现成的测验第24页，此课件共38页哦效标和效标测量 效标的定义 效标测量:观念效标和效标测量 好的效标测量应符合以下几个条件：好的效标测量应符合以下几个条件：1）有效性（关联性）2）可靠性3）客观性（抗偏性）：产生效标测量中偏差的主要原因

17、在于效标污染4）实用性（可得性）第25页，此课件共38页哦效标效度的估计方法 相关法 分组法 预期表法 命中率法 功利率法第26页，此课件共38页哦l常用方法：常用方法：1、相关法、相关法测验分数与效标分数之间的相关系数（1）（2）（3）选择团体获得测验分数获得效标分数根据分数性质不同采用不同相关计算法（1）积差相关系数（2）二列相关系数（3）四分相关系数（4）相关系数（5）列联相关系数（4）求相关系数第27页，此课件共38页哦2、分组法、分组法根据被试的效标行为表现，将他们分为不同的组别（团体），如果这些组在测验分数上有显著性差异，则说明该测验的效度高。第28页，此课件共38页哦3、预期表、

18、预期表预期表法是将预测源分数和效标分数制成双维图表，并将每个变量按水平分成若干档次，这个经验型的预期表可以不用计算相关系数或其他统计数据，而只要有频数和百分比。第29页，此课件共38页哦l例：下表是由若干个工作候选人在职业选择测验中得分的联合频数分布构成，表中还呈现了其工作领导在雇员他们6个月之后给这些候选人的等级评定。第30页，此课件共38页哦预期表预期表绩效评定职业选择测验分数1234567896100100/167/29195100/282/536/48690100/194/850/333/411/28185100/485/1048/722/54/17680100/688/1263/16

19、31/134/2第31页，此课件共38页哦4、命中率法、命中率法 决策 结果 决策过程关于个体的信息策略接受拒绝将会成功将会失败可能成功可能失败第32页，此课件共38页哦成功失败真正的表现水平拒绝（预测失败）接受（预测成功）命中（正确的消极）命中（正确的积极）失误（错误的消极）失误（错误的积极）第33页，此课件共38页哦l总命中率（基率，总命中率（基率，base rate）表示被认为潜在成功的人的百分比 命中/（命中+失误）*100%l正命中率（选择比率，selection ratio）表示决策制定者在其决策中的选择程度 正确的积极/预测成功人数*100%l当测验用于提高工作或学习效率时，应重

20、视正命中率；当强调维护社会公平时，则应重视总命中率。第34页，此课件共38页哦l5、功利率法、功利率法 对使用测验的投入和产出进行比较，这种效度指标叫功利率。U=B(Ns)-C(Na)-S U:效度 B:录用一个合格的人所产生的平均利润 C:录用一个不合格的人所造成的损失 Ns,Na：录用合格和不合格的人数 S：整个选拔过程的费用第35页，此课件共38页哦 三种效度的比较三种效度的比较效度效度类型类型含义含义考察的关系考察的关系确定的方法确定的方法内容内容效度效度指测验题目对所要测量指测验题目对所要测量的内容范围的代表性程的内容范围的代表性程度度考察测验题目与测量考察测验题目与测量内容范围之间

21、的关系内容范围之间的关系逻辑分析法、教学前测逻辑分析法、教学前测与后测法与后测法效标效标关联关联效度效度以测验分数与效标测量以测验分数与效标测量分数之间的关系表示的分数之间的关系表示的效度效度 考察测验分数与效标考察测验分数与效标测量分数之间关系测量分数之间关系相关法、区分法、命中相关法、区分法、命中率法率法结构结构效度效度测验分数能够说明心理测验分数能够说明心理学理论的某种结构或特学理论的某种结构或特质的程度质的程度 考察测验结果与心理考察测验结果与心理学理论结构之间的关学理论结构之间的关系系测验内部寻找证据法、测验内部寻找证据法、测验外部寻求证据法、测验外部寻求证据法、多种特质多种特质-多

22、种方法矩阵多种方法矩阵法、效标关联效度法法、效标关联效度法第36页，此课件共38页哦影响效度的因素影响效度的因素（一）被试：身心状态、样本的特征（一）被试：身心状态、样本的特征 效度系数受到受测者群体的异质性程度影响，样本群体越同质，效度系数越小。（二）测验的信度（二）测验的信度（三）测验的长度（三）测验的长度（四）效标的选择（四）效标的选择 1、效标污染 2、测验的性质和采用的效度类型l能力测验一般高于人格测验的效度l预测效度受到预测源和效标两个变量的影响第37页，此课件共38页哦l提高效度的方法：提高效度的方法：l精心编制测验，避免出现较大的系统误差l妥善组织测验，测量选择异质性较大的受测群体l适当增加测验项目l防止效标污染第38页，此课件共38页哦