测验的效度.ppt

测验的效度现在学习的是第1页，共35页效度的定义效度的定义一般定义一般定义l指所测量的与所要测量的心理特点之间符合的程度，即一指所测量的与所要测量的心理特点之间符合的程度，即一个心理测验的个心理测验的准确性准确性。它是科学测量工具最重要的必备。它是科学测量工具最重要的必备条件。条件。经典测量理论定义经典测量理论定义lS2x=S2T+S2ElS2T=S2V+S2I（S2V为有效方差，为有效方差，S2I为系统误差方差）为系统误差方差）lS2x=S2V+S2I+S2Elr2xy=S2V/S2x效度与信度的关系效度与信度的关系l效度高，信度高；信度高，效度不一定高。信度是效度的效度高，信度高；信度高，效度不一定高。信度是效度的必要条件。必要条件。r2xy rxX现在学习的是第2页，共35页效度的性质效度的性质相对性相对性l效度是相对于一定测量目标而言。效度是相对于一定测量目标而言。连续性连续性l效度只有程度上的不同，没有效度只有程度上的不同，没有“全有全有”或或“全无全无”的区别。的区别。l效度是针对结果而言的。效度是针对结果而言的。现在学习的是第3页，共35页效度的评估方法效度的评估方法内容效度及其评估方法内容效度及其评估方法构想效度及其评估方法构想效度及其评估方法效标效度及其评估方法效标效度及其评估方法现在学习的是第4页，共35页什么是内容效度什么是内容效度定义：定义：l指的是测验题目对有关内容或行为取样的适指的是测验题目对有关内容或行为取样的适用性，从而确定测验是否是所欲测量的行为用性，从而确定测验是否是所欲测量的行为领域的代表性取样。领域的代表性取样。编制高内容效度测验的步骤：编制高内容效度测验的步骤：l对所测量的心理特性有个明确的概念，并划对所测量的心理特性有个明确的概念，并划定出哪些行为与这种心理特性有关，即确定定出哪些行为与这种心理特性有关，即确定内容范围。内容范围。l测验题目应是所界定的内容范围的代表性取测验题目应是所界定的内容范围的代表性取样。即编制细目表。样。即编制细目表。注意：要求内容效度的测验，并不一定要求测验注意：要求内容效度的测验，并不一定要求测验为同质的。为同质的。现在学习的是第5页，共35页内容效度的评估方法专家判断法专家判断法l定义：指请有关专家对测验题目与原定内容的符合性做出定义：指请有关专家对测验题目与原定内容的符合性做出判断。所得的内容效度又叫逻辑效度。判断。所得的内容效度又叫逻辑效度。l步骤：步骤：l定义好测验内容的总体范围，描述有关的的知识定义好测验内容的总体范围，描述有关的的知识与技能及所用材料的来源；与技能及所用材料的来源；l编制双向细目表，确定内容和技能各自所占的比编制双向细目表，确定内容和技能各自所占的比例，并由测验编制者各题所测的是何种内容与技例，并由测验编制者各题所测的是何种内容与技能；能；l制定评定量表来测量测验的整个效度，由每位专制定评定量表来测量测验的整个效度，由每位专家在评定量表上做出判断，总估获得测验内容效家在评定量表上做出判断，总估获得测验内容效度的证据。度的证据。现在学习的是第6页，共35页统计分析法统计分析法l评分者的一致性：评分者的一致性：l复本上得分的相关。复本上得分的相关。l再测法。再测法。经验推测法经验推测法l是通过实践来检验效度。如发展量表。是通过实践来检验效度。如发展量表。现在学习的是第7页，共35页内容效度的特性内容效度的特性内容效度不具有普遍适用性，它具有内容范围的内容效度不具有普遍适用性，它具有内容范围的特定性和时间的特定性。特定性和时间的特定性。内容效度与表面效度既区别又联系。内容效度与表面效度既区别又联系。l评定主体不同：表面效度是靠外行的表面检查而确立的，评定主体不同：表面效度是靠外行的表面检查而确立的，它不反映测验实际测量的东西，内容效度是专家系统分它不反映测验实际测量的东西，内容效度是专家系统分析确立的。析确立的。l评定标准不同：表面效度考虑明显的、直接的关系；评定标准不同：表面效度考虑明显的、直接的关系；内容效度考虑逻辑的、微妙的关系。内容效度考虑逻辑的、微妙的关系。l测验编制必须考虑表面效度。最高行为测验要求表面效度高，测验编制必须考虑表面效度。最高行为测验要求表面效度高，典型行为测验要求表面效度低。典型行为测验要求表面效度低。现在学习的是第8页，共35页什么是构想效度定义定义l指测验能够测量到理论上构想或特质的程度，指测验能够测量到理论上构想或特质的程度，即测验的结果是否能证实或解释某一理论的即测验的结果是否能证实或解释某一理论的假设、术语或构想，解释的程度如何。它又假设、术语或构想，解释的程度如何。它又叫构思效度，结构效度。叫构思效度，结构效度。步骤步骤l从某一理论出发，提出关于某一心理特质的从某一理论出发，提出关于某一心理特质的假设假设l设计和编制题目组成测验进行施测。设计和编制题目组成测验进行施测。l对结果进行实证分析，验证与理论假设的程对结果进行实证分析，验证与理论假设的程度。度。现在学习的是第9页，共35页构想效度的估计方法构想效度的估计方法对测验本身的分析对测验本身的分析测验间的比较测验间的比较效标效度的研究证明效标效度的研究证明实验法和观察法证实实验法和观察法证实现在学习的是第10页，共35页对测验本身的分析对测验本身的分析特点特点l是通过研究测验内部结构来界定构想效度的是通过研究测验内部结构来界定构想效度的证据。证据。方法方法l测验的内容效度测验的内容效度l测验的内部一致性指标测验的内部一致性指标l分析被试者对题目的反应特点分析被试者对题目的反应特点现在学习的是第11页，共35页测验间的相互比较测验间的相互比较相容效度法相容效度法l一个是已有效度证据的成熟测验，一个是想研究其构想效度一个是已有效度证据的成熟测验，一个是想研究其构想效度的测验，如果两者相关高（即相容效度高），构想效度高，的测验，如果两者相关高（即相容效度高），构想效度高，反之，则构想效度低反之，则构想效度低区分效度法区分效度法l两个构思不同的测验，其相关为区分效度，如果区分效度低，两个构思不同的测验，其相关为区分效度，如果区分效度低，则构想效度高；如果区分效度高，则不一定证明构想效度高。则构想效度高；如果区分效度高，则不一定证明构想效度高。因素分析法因素分析法l找到影响测验分数的共同因素。采用验证性因素分析找到影响测验分数的共同因素。采用验证性因素分析法。法。现在学习的是第12页，共35页效标的研究证明效标的研究证明若效标效度高，则根据效标区分为两组若效标效度高，则根据效标区分为两组被试，然后比较两组被试在所编测验上被试，然后比较两组被试在所编测验上的成绩，若测验分数能将两组区分开，的成绩，若测验分数能将两组区分开，则构想效度高。则构想效度高。根据测验分数将被试分成两组，分析其根据测验分数将被试分成两组，分析其行为特点是否与理论构想相符，若相符行为特点是否与理论构想相符，若相符则构想效度高。则构想效度高。考察心理特质发展：若测验分数能反映考察心理特质发展：若测验分数能反映所测特质的发展规律，则测验的构想效所测特质的发展规律，则测验的构想效度高。度高。现在学习的是第13页，共35页实验法和观察法证实实验法和观察法证实针对某种心理特质进行训练，观察实验针对某种心理特质进行训练，观察实验前和实验后（即进行训练后）分数的差前和实验后（即进行训练后）分数的差异，如果差异大，则构想效度高。异，如果差异大，则构想效度高。现在学习的是第14页，共35页什么是效标效度什么是效标效度定义：定义：l又称实证效度，反映的是测验预测个体在某种情境下又称实证效度，反映的是测验预测个体在某种情境下行为表现的有效程度。被预测的行为是检验效度的标行为表现的有效程度。被预测的行为是检验效度的标准，即效标。准，即效标。分类：分类：l同时效度：测验所得的分数可与效标同时验证；通常与同时效度：测验所得的分数可与效标同时验证；通常与心理特征的评估与诊断有关。心理特征的评估与诊断有关。l预测效度：效标需要一段时间才能搜集到，通常用于预测效度：效标需要一段时间才能搜集到，通常用于选拔、分组。选拔、分组。l注意：两类效标效度的差异不是来源于时间，而是来自测验注意：两类效标效度的差异不是来源于时间，而是来自测验的目的，前者与用来诊断现状的测验有关，后者与预测将来的目的，前者与用来诊断现状的测验有关，后者与预测将来结果的测验有关。结果的测验有关。现在学习的是第15页，共35页好的效标的条件1.必须能最有效地反映测验的目标，即效标测量本身必必须能最有效地反映测验的目标，即效标测量本身必须有效；须有效；2.必须具有较高的信度，稳定可靠，不随时间等因素必须具有较高的信度，稳定可靠，不随时间等因素而变化；而变化；3.效标可以客观地加以测量，可用数据或等级来表示；效标可以客观地加以测量，可用数据或等级来表示；4.效标的测量方法简单，省时省力，经济实用。效标的测量方法简单，省时省力，经济实用。注意：一般来讲，学业成绩、教师的评定等常用作智力注意：一般来讲，学业成绩、教师的评定等常用作智力测验的效标；有经验精神科医生的诊断、教师或其他有测验的效标；有经验精神科医生的诊断、教师或其他有关人员的评判可作为个性问卷或精神科症状评定量表的关人员的评判可作为个性问卷或精神科症状评定量表的效标；特殊课程或特殊训练的成绩可作为能力倾向测验效标；特殊课程或特殊训练的成绩可作为能力倾向测验的效标。的效标。现在学习的是第16页，共35页效标效度的评估方法相关法相关法区分法区分法命中率法命中率法现在学习的是第17页，共35页相关法相关法定义定义l是求测验分数与效标资料间的相关，这一相关又称为效度系是求测验分数与效标资料间的相关，这一相关又称为效度系数。它是评估效标效度最常用的方法数。它是评估效标效度最常用的方法类型类型l积差相关：两列分数均为连续变量。积差相关：两列分数均为连续变量。l点二列相关：一列分数为连续变量；另一列分数为真正二分点二列相关：一列分数为连续变量；另一列分数为真正二分称名变量。称名变量。l二列相关：一列分数为连续变量；另一列分数为人为二分二列相关：一列分数为连续变量；另一列分数为人为二分称名变量。称名变量。l贾斯朋多系列相关：一列分数为连续变量；另一列分数为贾斯朋多系列相关：一列分数为连续变量；另一列分数为等级变量。等级变量。l等级相关：两列分数均为等级变量。等级相关：两列分数均为等级变量。现在学习的是第18页，共35页区分法区分法步骤步骤l根据效标，将被试区分为高分组和低分组根据效标，将被试区分为高分组和低分组l对两组被试用所编测验施测，计算出它们的对两组被试用所编测验施测，计算出它们的平均数和标准差平均数和标准差l根据公式求解。根据公式求解。缺点缺点l受团体大小的影响。受团体大小的影响。现在学习的是第19页，共35页重叠量的分析计算每一组内得分超过或低于另一组平计算每一组内得分超过或低于另一组平均数的人数百分比得出（如均数的人数百分比得出（如P364）。）。计算两组分布的共同区的百分比（如计算两组分布的共同区的百分比（如P364）。）。重叠量越大，说明两组分数差异越小，重叠量越大，说明两组分数差异越小，即测验的效度越差。即测验的效度越差。现在学习的是第20页，共35页命中率法定义定义l指当测验用来做取舍的依据时，用其正确决指当测验用来做取舍的依据时，用其正确决定的比例作为效度指标的一种方法。定的比例作为效度指标的一种方法。测验命中与失误的四种情况：测验命中与失误的四种情况：效标成绩测验预测失败(-)成功(+)成功(+)(A)失误(B)命中失败(-)(C)命中(D)失误现在学习的是第21页，共35页命中率的计算方法两种计算方法：总命中率和正命中率。两种计算方法：总命中率和正命中率。总命中率与正命中率一般情况下完全一致，正命总命中率与正命中率一般情况下完全一致，正命中率随划分测验分数成功与失败的临界分数的高中率随划分测验分数成功与失败的临界分数的高低而变化。临界分数低而变化。临界分数 ，则正命中率，则正命中率 。现在学习的是第22页，共35页效度的功能效度的功能预测效标分数预测效标分数预测误差预测误差预测效率指数预测效率指数现在学习的是第23页，共35页一、预测效标分数一、预测效标分数假设假设X与与Y呈直线相关，建立回归方程：呈直线相关，建立回归方程：通过求解可知：通过求解可知：把所求的把所求的a和和b值代入回归方程，如果已值代入回归方程，如果已知某人的测验分数知某人的测验分数(X)，便能对他的效标，便能对他的效标分数进行预测。分数进行预测。现在学习的是第24页，共35页二、预测误差二、预测误差如果我们知道测验的效度系数，我们就能如果我们知道测验的效度系数，我们就能预测真正的效标分数的范围。预测真正的效标分数的范围。计算步骤：计算步骤：l第一步：计算决定性系数。它是效度系数第一步：计算决定性系数。它是效度系数（即效标效度）的平方，即（即效标效度）的平方，即r2xy，它表示测验，它表示测验正确预测或解释效标的方差占总方差的比例。正确预测或解释效标的方差占总方差的比例。rxy=0.80的意义是什么的意义是什么?l第二步：计算预测的标准误。公式为第二步：计算预测的标准误。公式为Sest=Sy(1-r2xy)1/2。其中。其中Sy为效标成绩的标准为效标成绩的标准差。差。现在学习的是第25页，共35页l第三步：根据或然水平，求真正效标分数的第三步：根据或然水平，求真正效标分数的置信区间。如果：置信区间。如果：l或然水平为或然水平为68，则真正效标分数落在预测效，则真正效标分数落在预测效标分数的标分数的1 Sest范围内；范围内；l或然水平为或然水平为95，则真正效标分数落在预测效，则真正效标分数落在预测效标分数的标分数的1.96 Sest范围内；范围内；l或然水平为或然水平为99，则真正效标分数落在预测，则真正效标分数落在预测效标分数的效标分数的2.58 Sest范围内；范围内；现在学习的是第26页，共35页三、预测效率指数三、预测效率指数无关系数（无关系数（K）：表明预测源分数与效标分数无关的）：表明预测源分数与效标分数无关的程度程度,即预测误差仅为随机误差的百分之几即预测误差仅为随机误差的百分之几.预测效率指数（预测效率指数（E）：表明使用测验比盲目猜测能减）：表明使用测验比盲目猜测能减少多少误差。即由于测验的使用少多少误差。即由于测验的使用,使得我们在估计被试使得我们在估计被试的效标分数时减少了百分之几的误差的效标分数时减少了百分之几的误差.现在学习的是第27页，共35页影响效度的因素影响效度的因素测验本身的因素测验本身的因素测验实施中的干扰因素测验实施中的干扰因素样本团体的性质样本团体的性质效标的性质效标的性质现在学习的是第28页，共35页测验本身的因素测验本身的因素测验材料必须对整个内容具有代表性测验材料必须对整个内容具有代表性;测题设计时应尽量避免容易引起误差的测题设计时应尽量避免容易引起误差的题型（是非题）题型（是非题）;测验难度要适中，具有较高的区分度测验难度要适中，具有较高的区分度;测验长度要恰当，即要有一定的测题量测验长度要恰当，即要有一定的测题量;测题的排列按先易后难顺序。测题的排列按先易后难顺序。现在学习的是第29页，共35页测验实施中的因素测验实施中的因素主试的因素主试的因素l是否遵从测验使用手册的各项规定；是否遵从测验使用手册的各项规定；l指导语是否统一正确；指导语是否统一正确；l测验的时限是否一致；测验的时限是否一致；l评分是否合理。评分是否合理。测验情境和时间间隔因素测验情境和时间间隔因素l测验与效标时间间隔是否过长；测验与效标时间间隔是否过长；l场地的布置、材料的准备、测验场所有无噪音和其它场地的布置、材料的准备、测验场所有无噪音和其它干扰因素的影响；干扰因素的影响；被试影响因素被试影响因素l兴趣、动机、情绪、态度和身心状况、健康状态以及兴趣、动机、情绪、态度和身心状况、健康状态以及是否充分合作与尽力而为、反应定势等。是否充分合作与尽力而为、反应定势等。现在学习的是第30页，共35页样本团体的性质样本团体的性质作效度分析时，必须选择具有代表性的作效度分析时，必须选择具有代表性的被试团体；被试团体的以下性质会影响被试团体；被试团体的以下性质会影响测验的效度：测验的效度：l样本团体的异质性：异质性越高，分数分布样本团体的异质性：异质性越高，分数分布范围越大，效度越高，其影响因素：范围越大，效度越高，其影响因素：l以选拔上的被试为样本团体参加效度研究，降低以选拔上的被试为样本团体参加效度研究，降低了测验的效度；了测验的效度；l选拔标准太高，样本团体的同质性增加，降低了选拔标准太高，样本团体的同质性增加，降低了测验的效度。测验的效度。现在学习的是第31页，共35页l干涉变量：指被试团体的性质，即被试的特干涉变量：指被试团体的性质，即被试的特征。由于被试特征（干涉变量）的影响，使征。由于被试特征（干涉变量）的影响，使得测验对于不同的团体具有不同的预测能力得测验对于不同的团体具有不同的预测能力l美国心理学家吉赛利提出找出干涉变量的方美国心理学家吉赛利提出找出干涉变量的方法：法：l用回归方程求得每个人的预测效标分数，将该分用回归方程求得每个人的预测效标分数，将该分数与实际效标分数相比较，获得差异分数数与实际效标分数相比较，获得差异分数D。D的绝对值越大，说明测验存在干涉变量；的绝对值越大，说明测验存在干涉变量；l根据样本团体的组成分析，找出对照组，分别计根据样本团体的组成分析，找出对照组，分别计算效度，从而找出干涉变量；算效度，从而找出干涉变量；l按照干涉变量将样本团体区分为预测性高和预测按照干涉变量将样本团体区分为预测性高和预测性低的两个亚团体，对于预测性高的团体，获得性低的两个亚团体，对于预测性高的团体，获得的测验效度会有所提高。的测验效度会有所提高。现在学习的是第32页，共35页效标的性质效标的性质效标与测验分数之间的关系是否线性关效标与测验分数之间的关系是否线性关系；系；效标测量本身的可靠性，即效标测量的效标测量本身的可靠性，即效标测量的信度。信度。现在学习的是第33页，共35页例题例题（）指的是测验题目对有关内容或行为取）指的是测验题目对有关内容或行为取样的适用性，从而确定测验是否是所欲测样的适用性，从而确定测验是否是所欲测量的量的 行为领域的代表性取样。行为领域的代表性取样。（A）内容效度）内容效度 （B）构想效度）构想效度（C）效标效度）效标效度 （D）区分效度）区分效度()是检验测验分数能否有效地区分由效标是检验测验分数能否有效地区分由效标所定义的团体的一种方法。所定义的团体的一种方法。(A)相关法相关法 (B)区分法区分法(C)命中率法命中率法 (D)失误法失误法 现在学习的是第34页，共35页要保证测验具有较高效度，测验本身的要保证测验具有较高效度，测验本身的因素要做到因素要做到()。(A)测验材料必须对整个内容具有代表性测验材料必须对整个内容具有代表性(B)测题设计时应尽量避免容易引起误差测题设计时应尽量避免容易引起误差的题型的题型(如是非题如是非题)(C)测题难度要适中，具有较高的区分度测题难度要适中，具有较高的区分度(D)测验长度要恰当，测题的排列应先易测验长度要恰当，测题的排列应先易后后 现在学习的是第35页，共35页