第四章教育测量的质量指标效度课件.ppt
《第四章教育测量的质量指标效度课件.ppt》由会员分享,可在线阅读,更多相关《第四章教育测量的质量指标效度课件.ppt(56页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、第四章教育测量的质量指第四章教育测量的质量指标效度标效度第1页,此课件共56页哦第二节效度第二节效度一、效度的意义一、效度的意义一、效度的意义一、效度的意义二、效度的统计定义及其与信度的关系二、效度的统计定义及其与信度的关系二、效度的统计定义及其与信度的关系二、效度的统计定义及其与信度的关系三、效度的分类及估计三、效度的分类及估计三、效度的分类及估计三、效度的分类及估计四、提高效度的方法四、提高效度的方法四、提高效度的方法四、提高效度的方法第2页,此课件共56页哦一、效度的意义一、效度的意义效度(效度(ValidityValidity)测量结果测量结果的的准确性准确性和和有效性有效性的的程度程
2、度一个测验或量表实际能测出其所要测量的特性的程度记为:r rxyxy第3页,此课件共56页哦一、效度的意义一、效度的意义第一,效度始终是针对一定的测量目的而言的。第一,效度始终是针对一定的测量目的而言的。第二,效度是针对测量结果而言的。第二,效度是针对测量结果而言的。第三,效度只有高或低的程度上的差异。第三,效度只有高或低的程度上的差异。第四,评价一个测量是否有效要多角度、多方面第四,评价一个测量是否有效要多角度、多方面地收集证据。地收集证据。第五,教育测量中,效度问题比在其他领域的测第五,教育测量中,效度问题比在其他领域的测量中更为重要。量中更为重要。第4页,此课件共56页哦一、效度的概念一
3、、效度的概念这是因为:这是因为:教育测量的对象大多是精神现象,只能通过对其具有可测性教育测量的对象大多是精神现象,只能通过对其具有可测性的外部表现(如语言或动作等)的测量,以间接认识其心理活的外部表现(如语言或动作等)的测量,以间接认识其心理活动、心理特征或知识水平等。动、心理特征或知识水平等。学生的心理活动、心理特征与其外部表现之间,一般学生的心理活动、心理特征与其外部表现之间,一般仅具有相关关系而无函数关系,外部行为并不能准确无仅具有相关关系而无函数关系,外部行为并不能准确无误地反映某种心理状态。误地反映某种心理状态。教育测量的对象不是物而是有主观能动性的人。人能有教育测量的对象不是物而是
4、有主观能动性的人。人能有意识地调节自己的外部行为,掩盖自己的内心活动,这就意识地调节自己的外部行为,掩盖自己的内心活动,这就增加了认识其精神现象的难度。增加了认识其精神现象的难度。第5页,此课件共56页哦二、效度的统计定义及其与信度的关系二、效度的统计定义及其与信度的关系1 1、效度的统计学原理、效度的统计学原理在实际测量中,影响效度的主要因素是系统误差。因而在在实际测量中,影响效度的主要因素是系统误差。因而在讨论效度时,还必须把真分数方差分解为两个部分,一是讨论效度时,还必须把真分数方差分解为两个部分,一是潜在真分数方差(潜在真分数方差(V V2 2),另一部分是系统误差分数方差),另一部分
5、是系统误差分数方差(I I2 2),它与由随机误差引起的变异(,它与由随机误差引起的变异(E E2 2)不同。)不同。第6页,此课件共56页哦第7页,此课件共56页哦2 2、效度与信度的关系、效度与信度的关系V2I2E2V2I2E2V2I2E2根据公式(根据公式(2-22-2)和()和(2-32-3),可将效度与信度的关系),可将效度与信度的关系图解于后:图解于后:根据分析,可得结论如下根据分析,可得结论如下:1)1)高信度是高效度的必要条件,高信度是高效度的必要条件,而非充分条件。而非充分条件。2)2)效度系数不会大于信度系数的平方根。效度系数不会大于信度系数的平方根。可以用下式表示:可以用
6、下式表示:高效度、高信度高效度、高信度低效度、高信度低效度、高信度低效度、低信度低效度、低信度第8页,此课件共56页哦三、效度的类别与分析验证法三、效度的类别与分析验证法19741974年美国心理学会发行的年美国心理学会发行的教育和心理教育和心理测量的标准测量的标准一书将效度分为三大类:一书将效度分为三大类:内容效度:侧重于测验题目取样的代表性,内容效度:侧重于测验题目取样的代表性,考查这些题目对所欲测量的内容和行为反应考查这些题目对所欲测量的内容和行为反应测量的有效程度。测量的有效程度。结构效度:侧重于一个测验的能够测量到心结构效度:侧重于一个测验的能够测量到心理学和教学理论上的抽象概念和特
7、质的程度。理学和教学理论上的抽象概念和特质的程度。效标效度:侧重于测验分数预测我们所关心效标效度:侧重于测验分数预测我们所关心的外在行为的准确程度。的外在行为的准确程度。第9页,此课件共56页哦三、效度的类别与分析验证法三、效度的类别与分析验证法琳恩和格朗兰德提出效度的四个向度,即琳恩和格朗兰德提出效度的四个向度,即内容内容内容效度、效标关联效度、构想效度内容效度、效标关联效度、构想效度和和结果效度结果效度。第10页,此课件共56页哦(一)内容效度及其分析方法(一)内容效度及其分析方法内容效度内容效度(Content validityContent validity)又称合理效度或逻辑程度,是
8、指测验内容或行为取又称合理效度或逻辑程度,是指测验内容或行为取样的代表性和适当程度;即实测内容和预定测验内样的代表性和适当程度;即实测内容和预定测验内容之间的一致性程度。容之间的一致性程度。估计内容效度的方法:估计内容效度的方法:逻辑分析法(定性的方法)逻辑分析法(定性的方法)统计分析法(定量的方法)统计分析法(定量的方法)第11页,此课件共56页哦(一)内容效度及其分析方法(一)内容效度及其分析方法逻辑分析法(定性的方法)逻辑分析法(定性的方法)依据教材内容、教学大纲的范围以及教学目标分析测验内容,检查测依据教材内容、教学大纲的范围以及教学目标分析测验内容,检查测验内容究竟在体现教材内容和教
9、学目标方面达到多大程度验内容究竟在体现教材内容和教学目标方面达到多大程度对每一道题目逐一进行审查,以此形成对每一道题目逐一进行审查,以此形成“题目双向细目表题目双向细目表”与与“命题双向细目表命题双向细目表”加以对照,以确定试卷的效度加以对照,以确定试卷的效度统计分析法(定量的方法)统计分析法(定量的方法)克龙巴赫法(两套测验试题,对相同被试实施测试后,计算得分的相关克龙巴赫法(两套测验试题,对相同被试实施测试后,计算得分的相关系数)系数)评分一致性考查法(不同评分者之间评分的一致性程度,即考查评分者评分一致性考查法(不同评分者之间评分的一致性程度,即考查评分者信度)信度)前后测对比法(根据前
10、后两次测验的差异显著性,确定测验的内前后测对比法(根据前后两次测验的差异显著性,确定测验的内容效度)容效度)第12页,此课件共56页哦(二)结构效度的验证方法(二)结构效度的验证方法结构效度结构效度是指一个测量能实际测量出理论上的构是指一个测量能实际测量出理论上的构想或心理特性的程度。它的目的在于用心理学的想或心理特性的程度。它的目的在于用心理学的概念来说明分析测验分数的意义,也就是说从心概念来说明分析测验分数的意义,也就是说从心理学的理论观点就测验的结果加以解释和探讨。理学的理论观点就测验的结果加以解释和探讨。这里的这里的结构结构的含义是心理学理论所涉及的抽象而属的含义是心理学理论所涉及的抽
11、象而属假设性的概念、构想、特性或变量,如智力、焦虑、假设性的概念、构想、特性或变量,如智力、焦虑、机械能力倾向、成就、动机等。机械能力倾向、成就、动机等。第13页,此课件共56页哦(二)结构效度的验证方法(二)结构效度的验证方法建立理论框架建立理论框架从理论框架出发,提出各种假设从理论框架出发,提出各种假设根据假设编制测验根据假设编制测验以逻辑及实证的方法,检验结果是否符合心理学的理论框架及以逻辑及实证的方法,检验结果是否符合心理学的理论框架及其假设其假设比如:中学生数学能力的研究比如:中学生数学能力的研究数学能力由分析能力、综合能力、归纳和演绎能力、运算能数学能力由分析能力、综合能力、归纳和
12、演绎能力、运算能力、空间想象能力构成;数学能力与早期教育有关;数学能力、空间想象能力构成;数学能力与早期教育有关;数学能力与智力正相关。力与智力正相关。编制测验,施测并收集测验结果编制测验,施测并收集测验结果分析测验结果,考查测试的结构效度,考查测验结果分析测验结果,考查测试的结构效度,考查测验结果是否支持理论构想是否支持理论构想第14页,此课件共56页哦(三)效标关联效度的估计方法(三)效标关联效度的估计方法效标:检验测验效度的外在的、客观的标准,效标:检验测验效度的外在的、客观的标准,即效度的标准即效度的标准效标效度,也称为效标关联效度,也称为实证效标效度,也称为效标关联效度,也称为实证效
13、度效度验证方法是指一个测验对处于特定情境中的个验证方法是指一个测验对处于特定情境中的个体行为进行预测时的有效性体行为进行预测时的有效性例:例:高考成绩预测大学学习成绩高考成绩预测大学学习成绩能力倾向测验预测工作成效能力倾向测验预测工作成效第15页,此课件共56页哦(三)效标关联效度的估计方法(三)效标关联效度的估计方法分类:分类:同时效度:测验分数与效标资料的取得约在同一时同时效度:测验分数与效标资料的取得约在同一时间内连续完成,这两种资料的相关系数即为同时效间内连续完成,这两种资料的相关系数即为同时效度度目的:诊断现状目的:诊断现状用全国高考的成绩作为效标来检验高中毕业生会考的成绩,计算两者
14、用全国高考的成绩作为效标来检验高中毕业生会考的成绩,计算两者之间的相关系数就是会考的同时效度之间的相关系数就是会考的同时效度预测效度:测验分数取得一段时间后才获得效标资预测效度:测验分数取得一段时间后才获得效标资料,计算这两种资料间的相关系数料,计算这两种资料间的相关系数目的:预测某个个体将来的行为目的:预测某个个体将来的行为而用大学一年级的成绩作为效标来检验高考的成绩,计算两者的相关系数而用大学一年级的成绩作为效标来检验高考的成绩,计算两者的相关系数就是高考的预测效度。就是高考的预测效度。第16页,此课件共56页哦效标效度的估计方法相关法相关法直接计算测验分数与效标分数的相关系数直接计算测验
15、分数与效标分数的相关系数积差相关、等级相关、二列相关等积差相关、等级相关、二列相关等显著差异法显著差异法根据效标测量将被试分为两个极端组,检验这两个组测验分数是否具有统计学上的根据效标测量将被试分为两个极端组,检验这两个组测验分数是否具有统计学上的差异显著性差异显著性命中率命中率当测验用作取舍决策时,常使用命中率当测验用作取舍决策时,常使用命中率相关概念:总命中率、正命中率、负命中率相关概念:总命中率、正命中率、负命中率总命中率高,则测试的效度高总命中率高,则测试的效度高例:例:7070人参加的考试,通过测验选取了人参加的考试,通过测验选取了5050人,淘汰了人,淘汰了2020人;选出的人中有
16、人;选出的人中有4040人合人合格,淘汰的人中有格,淘汰的人中有8 8人不合格。该测验的总命中率、正命中率和负命中率分别人不合格。该测验的总命中率、正命中率和负命中率分别是多少?是多少?第17页,此课件共56页哦1 1、用积差相关系数的方法估计效度、用积差相关系数的方法估计效度 积差相关积差相关,是计算两个变量线性相关的一种方法,由英国统计学家,是计算两个变量线性相关的一种方法,由英国统计学家皮皮尔逊尔逊提出,因此也称为皮尔逊提出,因此也称为皮尔逊(Pearson)(Pearson)相关。要使用积差相关必须同相关。要使用积差相关必须同时时具备如下几个条件具备如下几个条件:两个变量都是由测量获得
17、的连续性数据,即等距或等比数据。两个变量都是由测量获得的连续性数据,即等距或等比数据。两个变量的总体都呈正态分布,或接近正态分布,至少是单峰对两个变量的总体都呈正态分布,或接近正态分布,至少是单峰对称分布,当然样本并不一定要正态。称分布,当然样本并不一定要正态。必须是成对的数据,而且每对数据之间是相互独立的,即各自互不影响,必须是成对的数据,而且每对数据之间是相互独立的,即各自互不影响,本条件是难以检验的。本条件是难以检验的。两个变量之间呈线性关系。一般用描绘散点图的方式来观察,两个变量之间呈线性关系。一般用描绘散点图的方式来观察,最好是先各自转化为最好是先各自转化为Z Z分数,单位会统一些。
18、分数,单位会统一些。第18页,此课件共56页哦例:例:某中学数学教研组的教师积多年的教学法经验,认为刚入高中某中学数学教研组的教师积多年的教学法经验,认为刚入高中的学生学习立体几何感到困难的主要原因是空间想像力弱。的学生学习立体几何感到困难的主要原因是空间想像力弱。为了证明这个论点,他们让刚入高中的为了证明这个论点,他们让刚入高中的103103名学生作名学生作1010道题,测量道题,测量其空间想像力。为避免知道了某些学生的刚入高中时的成绩影响以其空间想像力。为避免知道了某些学生的刚入高中时的成绩影响以后考试的评分,试卷暂不评阅。立体几何学完后,进行考试,按得后考试的评分,试卷暂不评阅。立体几何
19、学完后,进行考试,按得分多少把成绩分为五等(分多少把成绩分为五等(A A、B B、C C、D D、E E)分别得)分别得5 5、4 4、3 3、2 2、1 1分。分。这时才评阅入学时的试卷,统计出期末得这时才评阅入学时的试卷,统计出期末得5 5、4 4、3 3、2 2、1 1分者在入分者在入学测验中分别答对学测验中分别答对1 1道题至道题至1010道题的人数(见表道题的人数(见表2-12-1)。)。就现有资料,用什么方法可以判断教师们的意见是否正确?就现有资料,用什么方法可以判断教师们的意见是否正确?第19页,此课件共56页哦表2-1:(答对的题数)1 2 3 4 5 6 7 8 9 10 所
20、评的等级ABCDE54321 1 3 10 5 4 2 1 6 8 8 4 3 1 2 4 5 9 8 3 111 3 2 1 11 1 2 1 1第20页,此课件共56页哦解:(1)设期末考试的等第为y,空间想像力测验答对的题数为x,列出二重交叉次数分布表:X(答对的题数)1 2 3 4 5 6 7 8 9 10 Y所评的等级ABCDE54321 1 3 10 5 4 2 1 6 8 8 4 3 1 2 4 5 9 8 3 111 3 2 1 11 1 2 1 125313296合计2 4 10 14 20 20 17 9 5 2103第21页,此课件共56页哦(2)用积差相关系数公式计算效
21、度系数:第22页,此课件共56页哦第23页,此课件共56页哦第24页,此课件共56页哦二列相关二列相关适用于两个变量就其实际含义而言是适用于两个变量就其实际含义而言是等距或等比数据,它们服从正态分布,等距或等比数据,它们服从正态分布,其中一列人为地划分为两类。其中一列人为地划分为两类。第25页,此课件共56页哦点二列相关点二列相关 适用于一列数据为等距或等比且总体服从正态分布(实际上只需适用于一列数据为等距或等比且总体服从正态分布(实际上只需要单峰对称分布,如分布),另一列变量是按事物的性质划分要单峰对称分布,如分布),另一列变量是按事物的性质划分为两类的变量,也可以是一个双峰分布,人为划分为
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第四 教育 测量 质量指标 课件
限制150内