第十一讲测评质量分析.ppt

第十一讲测评质量分析现在学习的是第1页，共35页l一项测评是否可靠、可信？l一项测评是否准确、有用？l一项测评是否公正、公平？l一项测评是否经济、合理？现在学习的是第2页，共35页第一节结果的可靠性分析l可靠性由测评信度来决定，信度又由信度系数来衡量l一、信度的含义l1、信度：测评结果的准确性和一致性程度。l2、信度的分类l再测信度：按同样的方法对同样的对象进行再次测评。跨时间的一致性。同一测评对象不同时间的一致性。l复本信度：测评结果与另一个等值测评结果的一致性。跨维度、跨形式的一致性。等值测评对象不同测评的一致性。现在学习的是第3页，共35页l内在一致性信度：各测评项目分数间的一致内在一致性信度：各测评项目分数间的一致性。性。跨项目的一致性跨项目的一致性,前提是各测评项前提是各测评项目必须是可操作性的。同一测评对象不同项目必须是可操作性的。同一测评对象不同项目间测评的一致性。目间测评的一致性。l评分者信度：多个测评者给同一组被测评组评分者信度：多个测评者给同一组被测评组进行评分的一致性程度。同一测评对象不同进行评分的一致性程度。同一测评对象不同考官的一致性。考官的一致性。现在学习的是第4页，共35页二、信度系数的估计l信度系数：衡量信度大小的指标。l信度指标的一般公式：测验分数=真实分数+测量误差或者：X=T+el信度系数是真分数的变异系数与实得的分数变异系数之比，即：l真分数是不可能测到的，因而信度系数是一个估数值现在学习的是第5页，共35页1、稳定系数l用来估计再测信度前后两次测评的结果一致性程度，用积差相关系数求得，公式是：l稳定系数；N测评数据的个数；X被分析的测评数据，y重复测评结果数据现在学习的是第6页，共35页l例：一次品德测评后，随机抽取了其中10名被测，分数是：74，71，80，85，76，77，77，68，74，74；再次测评后，10名被测分数依次是：82，75，81，89，82，89，88，84，80，87。请对这次品德测评结果的可靠性进行分析。l代入公式得：r=0.48l信度不高。现在学习的是第7页，共35页2、等值系数l通过计算两次测评数据之间的相关系数来求得等值系数，当测评结果是分数时，用积差相关法计算，当测评结果是等级或者名次时用等级相关法计算，计算公式：lr等值系数，N测评结果的个数，D同一被测两次评定等级之差。现在学习的是第8页，共35页l10个被测接受了一次技能水平的观察评定，名次分别是1，2，3，4，5，6，7，8，9，10.为了检验测评结果的可靠性，同时进行了另一次等值技能测试，10名被测的名次依次是2，3，1，4，7，6，10，9，8，5.请分析这次技能测评的可靠性。l较可靠现在学习的是第9页，共35页3、内在一致性系数l估计不同测评项目对同一素质测评的一致性。估计不同测评项目对同一素质测评的一致性。l两种方法：一种是项目折半分析；另一种是两种方法：一种是项目折半分析；另一种是 系系数分析。数分析。l项目折半分析：先将测评分分成等值的两半，再计项目折半分析：先将测评分分成等值的两半，再计算两组之间的相关系数，斯皮尔曼算两组之间的相关系数，斯皮尔曼-布朗公式：布朗公式：现在学习的是第10页，共35页例子：l某公司对10名销售人员进行市场开拓能力测试，采用评定量表，由12个问题组成，将测评数据分成奇数偶数两半，分数如表：姓名ABCDEFG HIJ单项题目得分和（x)5646364534双项题目得分和6654456545测评总分1112910711101079现在学习的是第11页，共35页lx=46,y=50,xy=233lxx=224,yy=256l=0.35,t=2*0.35/1+0.35=0.52l信度较低。现在学习的是第12页，共35页l当一次测评无法分成对等的两半时，可考虑用l系数分析信度，较常用。l克朗巴赫公式：lN测评项目数，测评结果的方差，l第i个项目的方差现在学习的是第13页，共35页4、评分者的信度系数l通过两个评分者对同一组被测评分数之间的相关系数来鉴定，可用积差或等级相关来计算，当评分者为两人以上，并且用等级计分时，用肯德尔和谐系数来分析：公式是：lK评分者人数，N被测评对象数，Ri第i个被测对象等级之和或分数之和。W越大说明评分者信度越高。现在学习的是第14页，共35页如果同一被测评对象出现了相同等级，则采用下列公式：现在学习的是第15页，共35页三、影响信度的因素分析l误差：随机误差偶然因素引起的；系统误差恒定而有规律的因素引起。l测评信度就是随机误差大小的反应，影响因素：l测评者因素：l被测者因素:总体水平的离散程度和平均水平l测评工具：如测评的测题取样不当，题太少或面太窄。l测评环境的因素：现在学习的是第16页，共35页第二节 测评的效度分析l一、效度的含义与分类l1、概念：l效度：测评结果对素质反映的真实程度。l效度是一个相对概念。不存在对所有目的都有效的方案。l效度是一个程度概念。l效度是测评误差的综合反映。现在学习的是第17页，共35页l效度是评价测量工具好坏的重要标准之一。较高的效度是评价测量工具好坏的重要标准之一。较高的效度是一个良好的测量工具最重要的特性，是必要效度是一个良好的测量工具最重要的特性，是必要条件，也是选择和评价测量工具质量的重要依据。条件，也是选择和评价测量工具质量的重要依据。l一般来说。效度的作用比信度的作用更为重要。如果一般来说。效度的作用比信度的作用更为重要。如果一个测验效度很低，无论它的信度有多高，这项测验一个测验效度很低，无论它的信度有多高，这项测验都没有应用价值。效度高的测量工具往往信度也高。都没有应用价值。效度高的测量工具往往信度也高。l效度和信度的区别：效度和信度的区别：信度与效度的差别在于所考虑的误差信度与效度的差别在于所考虑的误差不同。信度考虑的是随机误差的影响；效度考虑的误差包不同。信度考虑的是随机误差的影响；效度考虑的误差包括随即误差和对测验目的无关的变量引起的系统误差。括随即误差和对测验目的无关的变量引起的系统误差。现在学习的是第18页，共35页2、分类l内容效度：实际测评内容与期望内容的一致性程度。l结构效度：测评结果与所想测评素质的同构程度。l关联效度：测评结果与效标的一致性程度。现在学习的是第19页，共35页效度的评估方法l对测量效度的考察反映在下面两个问题之中：该测验能够很好的预测我们感兴趣的成绩吗？该测验真正测量的是什么？l第一个问题集中于效标，也就是判断一个测验预测的成功性的标准。这就要求建立测验成绩与那个标准之间的关系。（预测效度）l第二个问题集中于测验，要求明确关于测验所测量目标的内在理论或心理构想。（内容效度）现在学习的是第20页，共35页l测验效度不能按笼统的方式去测量，而只能根据测验所考虑的特定用途去测量，在决定是否使用测验时，我们需要了解从已知测验结果做出某种推论的有效性，也就是说，我们是证实测验的有效性，还是证实我们希望对测验结果进行推论的有效性。l对于一个特定问题，测量目的决定了所用的效度评定方法，问题是关于使用测验成绩来预测在校标上的成绩，还是关于研究测验实际测量的内容或构想。现在学习的是第21页，共35页二、测评效度的分析l1、内容效度分析l（1）是否包含了欲测评素质的各种成分。l（2）测评范围内的行为样本的比例是否与工作分析结果一致。l方法：定性分析方法，蓝图对照分析方法、专家比较法l专家分析后，下列公式可以鉴定内容效度：现在学习的是第22页，共35页持肯定评判意见的人数，N评判总人数，C值从-1到1.现在学习的是第23页，共35页2、结构效度分析l（1）给所测评的素质下一个操作化定义。l（2）根据事实资料评判结构效度。现在学习的是第24页，共35页3、关联度的分析l通过效度系数进行，效度系数就是测评结果与标准结果的相关系数。相关系数越高，表明关联度越高。现在学习的是第25页，共35页三、影响效度的因素l测评根据因素l测评过程及测评者因素l被测者状态l效标因素l信度因素现在学习的是第26页，共35页第三节测评与选拔的项目质量分析l项目分析是指根据试测结果对组成测验的各个题目（项目）进行分析，从而评价题目好坏、对题目进行筛选的程序和方法。l通过项目分析，对测验题目进行选择和修改，可以提高测验的信度和效度。l定性分析：主要考虑内容效度，即题目表达的恰当性和有效性等方面。l定量分析：主要考察题目难度和鉴别度是否适当现在学习的是第27页，共35页1 项目的难度分析l难度分析就是对题目的难度进行估计以确定适宜的难度，难度的指标通常以“通过率”表示，即答对或通过该题目的人数百分比。通过人数越多题目越容易。l测验难度的确定，要依据测验的目的、性质和题目的形式而定。现在学习的是第28页，共35页2 项目的鉴别度分析l项目鉴别度是指测验项目对于所测查的心理特性的鉴别能力和区分程度，可以从项目效度和内部一致性方面进行考虑。l项目效度分析主要以效标为依据，考察被试在每个试题上的反应与其在效标上表现的相关程度，即每个试题所测查的行为是否反映了被试在效标上的表现。l内部一致性分析有时进行项目分析难以找到合适的效标，这是就用测验总分代替效标，考察每个试题与总分的一致性。现在学习的是第29页，共35页3项目的公平性分析l掷色子或扔硬币帮助做决策你认为公平吗？l结果的公平性：在职业选拔中，结果公平指选用了“最好”的人。如何定义“最好”以及怎样确保“最好”能够被测量决定结果的公平性，这主要由测验的技术性方面来确定，是测验过程和测量效标过程二者的函数。l过程的公平性：指的是某些人的测验分数受到误差的影响不会与其他人显著不同。因为受测者的表现总是发生在一定情境中，测验成绩必然反映一定情境的作用。测验选择时要考虑文化、语言因素测验实施时要公平对待每个受测者l监测不同群体的成绩分布是否存在显著差异，是合理原因造成的还是另有隐情。现在学习的是第30页，共35页4 项目的经济效益分析l效用分析l在选拔性测评中，需要计算因录取率提升和生产效率上升而带来的价值。l在招聘测评中要计算通过测评技术提高的工作效率和录用准确性带来的价值。现在学习的是第31页，共35页l一、项目的适合度l公式：lW项目满分值；全体被测得分平均值；P适合度。现在学习的是第32页，共35页二、项目区分度l区分度：项目对被测水平差异的区分能力。l（1）两端分组法l（2）相关法现在学习的是第33页，共35页三、项目的独立性l通过分析项目分数之间的相关系数来评定。l当项目为连续分值，且项目得分均匀，用积差相关法，否则用如下方法：l1、系数法l公式：lA,b,c,d分别为表格中的人次数。现在学习的是第34页，共35页2、检验法现在学习的是第35页，共35页