第十一讲测评质量分析.ppt
《第十一讲测评质量分析.ppt》由会员分享,可在线阅读,更多相关《第十一讲测评质量分析.ppt(35页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、第十一讲测评质量分析现在学习的是第1页,共35页l一项测评是否可靠、可信?l一项测评是否准确、有用?l一项测评是否公正、公平?l一项测评是否经济、合理?现在学习的是第2页,共35页第一节结果的可靠性分析l可靠性由测评信度来决定,信度又由信度系数来衡量l一、信度的含义l1、信度:测评结果的准确性和一致性程度。l2、信度的分类l再测信度:按同样的方法对同样的对象进行再次测评。跨时间的一致性。同一测评对象不同时间的一致性。l复本信度:测评结果与另一个等值测评结果的一致性。跨维度、跨形式的一致性。等值测评对象不同测评的一致性。现在学习的是第3页,共35页l内在一致性信度:各测评项目分数间的一致内在一致
2、性信度:各测评项目分数间的一致性。性。跨项目的一致性跨项目的一致性,前提是各测评项前提是各测评项目必须是可操作性的。同一测评对象不同项目必须是可操作性的。同一测评对象不同项目间测评的一致性。目间测评的一致性。l评分者信度:多个测评者给同一组被测评组评分者信度:多个测评者给同一组被测评组进行评分的一致性程度。同一测评对象不同进行评分的一致性程度。同一测评对象不同考官的一致性。考官的一致性。现在学习的是第4页,共35页二、信度系数的估计l信度系数:衡量信度大小的指标。l信度指标的一般公式:测验分数=真实分数+测量误差或者:X=T+el信度系数是真分数的变异系数与实得的分数变异系数之比,即:l真分数
3、是不可能测到的,因而信度系数是一个估数值现在学习的是第5页,共35页1、稳定系数l用来估计再测信度前后两次测评的结果一致性程度,用积差相关系数求得,公式是:l稳定系数;N测评数据的个数;X被分析的测评数据,y重复测评结果数据现在学习的是第6页,共35页l例:一次品德测评后,随机抽取了其中10名被测,分数是:74,71,80,85,76,77,77,68,74,74;再次测评后,10名被测分数依次是:82,75,81,89,82,89,88,84,80,87。请对这次品德测评结果的可靠性进行分析。l代入公式得:r=0.48l信度不高。现在学习的是第7页,共35页2、等值系数l通过计算两次测评数据
4、之间的相关系数来求得等值系数,当测评结果是分数时,用积差相关法计算,当测评结果是等级或者名次时用等级相关法计算,计算公式:lr等值系数,N测评结果的个数,D同一被测两次评定等级之差。现在学习的是第8页,共35页l10个被测接受了一次技能水平的观察评定,名次分别是1,2,3,4,5,6,7,8,9,10.为了检验测评结果的可靠性,同时进行了另一次等值技能测试,10名被测的名次依次是2,3,1,4,7,6,10,9,8,5.请分析这次技能测评的可靠性。l较可靠现在学习的是第9页,共35页3、内在一致性系数l估计不同测评项目对同一素质测评的一致性。估计不同测评项目对同一素质测评的一致性。l两种方法:
5、一种是项目折半分析;另一种是两种方法:一种是项目折半分析;另一种是 系系数分析。数分析。l项目折半分析:先将测评分分成等值的两半,再计项目折半分析:先将测评分分成等值的两半,再计算两组之间的相关系数,斯皮尔曼算两组之间的相关系数,斯皮尔曼-布朗公式:布朗公式:现在学习的是第10页,共35页例子:l某公司对10名销售人员进行市场开拓能力测试,采用评定量表,由12个问题组成,将测评数据分成奇数偶数两半,分数如表:姓名ABCDEFG HIJ单项题目得分和(x)5646364534双项题目得分和6654456545测评总分1112910711101079现在学习的是第11页,共35页lx=46,y=5
6、0,xy=233lxx=224,yy=256l=0.35,t=2*0.35/1+0.35=0.52l信度较低。现在学习的是第12页,共35页l当一次测评无法分成对等的两半时,可考虑用l系数分析信度,较常用。l克朗巴赫公式:lN测评项目数,测评结果的方差,l第i个项目的方差现在学习的是第13页,共35页4、评分者的信度系数l通过两个评分者对同一组被测评分数之间的相关系数来鉴定,可用积差或等级相关来计算,当评分者为两人以上,并且用等级计分时,用肯德尔和谐系数来分析:公式是:lK评分者人数,N被测评对象数,Ri第i个被测对象等级之和或分数之和。W越大说明评分者信度越高。现在学习的是第14页,共35页
7、如果同一被测评对象出现了相同等级,则采用下列公式:现在学习的是第15页,共35页三、影响信度的因素分析l误差:随机误差偶然因素引起的;系统误差恒定而有规律的因素引起。l测评信度就是随机误差大小的反应,影响因素:l测评者因素:l被测者因素:总体水平的离散程度和平均水平l测评工具:如测评的测题取样不当,题太少或面太窄。l测评环境的因素:现在学习的是第16页,共35页第二节 测评的效度分析l一、效度的含义与分类l1、概念:l效度:测评结果对素质反映的真实程度。l效度是一个相对概念。不存在对所有目的都有效的方案。l效度是一个程度概念。l效度是测评误差的综合反映。现在学习的是第17页,共35页l效度是评
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第十一 测评 质量 分析
限制150内