教育测量的种类与质量分析.pptx

《教育测量的种类与质量分析.pptx》由会员分享，可在线阅读，更多相关《教育测量的种类与质量分析.pptx（50页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第十一章第十一章 测量的种类及其质测量的种类及其质量分析量分析第一节第一节 教育测量的种类教育测量的种类l根据测量的目标分类：智力测量、成绩测量、品德状况测量、人格特征测量、能力倾向测量。l根据测量的方式分类：个别测量、团体测量l根据测量的材料分：文字测量和非文字测量l根据测量的来源分：标准化测量、教师自编测量l根据参照标准分：常模参照测量、标准参照测量第二节第二节 测量的信度测量的信度一、信度的概念信度是指测验结果的一直性或可靠性的程度信度可以理解为：（一）实测值和真值相差的程度 X=T+E (二）两次重复测量或等值测量之间的关联程度l二、信度的估计方法（一）稳定性系数（重测信度）指用同一试

2、卷对相同被试者在不同时间测验两次的实得分数的相关系数例：用某量表测验个学生，得分记为。为了考察测量结果的可靠性，于天后用原量表对这个学生重测一次，得分记为。问测验结果是否可靠？l（二）等值性系数（复本信度） 等值性系数是估计测验间跨形式的一致性指标，是以两个等值（题型、题数、难度、区分度相同）但具体内容不同的量表，在最短时间内，对相同应试者先后施测两次测验所获得的两组对应分数的相关系数。l（三）内部一致性系数（同质性信度）是估计测验内部跨测题的一致性指标，是同一测验试卷的两个部分得分的相关系数计算方法有两种：.分半信度是把一次测验按题目番号分为两半，一半是奇数题，一半是偶数题，计算两部分的相关

3、系数，最后用斯皮尔曼布朗公式校正l.库德尔理查森公式法l（）rKR20的用法：这个公式以每题能正确回答的人数占总人数的百分数为基础计算为应试者总分的方差例：有一种包含个问题的测验，个应试者得分如下，试估计应试者反应的一致性程度l计算内部一致性系数要注意的问题：l（1）若用分半法时，以按奇数题和偶数题分为两半为宜。l（2）若速率是测验的重要因素，则不宜用分半法。l（3）若答案多种，得分多样，不宜用上边的公式计算。l3、论文式测验的信度系数4、评分者信度计算方法、评分者信度计算方法肯德尔和谐系数肯德尔和谐系数)(12132nnKssrRw公式为：公式为：三、影响信度的因素三、影响信度的因素l（一）

4、测验的长度（一）测验的长度 l一般来说，测验越长，信度值越高。这是因为： l测验加长，可能改进项目取样的代表性，从而能更好地反映受测者的真实水平； l测验的项目越多，在每个项目上的随机误差就可以互相抵消。 l（三）测验的难度（三）测验的难度 l测验的难度与信度没有直接对应关系，但是当测验太难或太易时，则分数的范围就会缩小，从而降低信度。l（三）测验内容的同质性l（四）被试者差异l（五）评分的客观性l四、提高测验信度的方法1.适当增加测验题目的数量2.测验的难度要适中3.测验的内容要尽量同质4.测验的程序应统一5.测验的时间要充分6.评分要客观第三节第三节 效度效度l一、效度的概念效度是量表能实

5、际测量出其所要测量的特性或功能的程度。效度可从以下几方面理解：第一，测量的效度始终是对一定的测量目的而言的。第二，测量的效度是对测量结果而言的第三，测量的效度只是高低问题第四，在教育测量中，测量效度显得更为重要信度和效度的关系信度和效度的关系:l信度是效度的必要非充分条件l一个测验的效度不会超过它的信度的平方根二、效度的类别和估二、效度的类别和估计方法计方法效度的种类内容效度结构效度效标关联效度测验题目样本对于应测内容测验题目样本对于应测内容与行为领域的代表性程度与行为领域的代表性程度侧重于测验题目取样的代表侧重于测验题目取样的代表性，考查这些题目对所欲测性，考查这些题目对所欲测量的内容和行为

6、反应测量的量的内容和行为反应测量的有效程度有效程度结构：心理学或社会学上结构：心理学或社会学上的一种理论构想或特质的一种理论构想或特质侧重于一个测验能够测量侧重于一个测验能够测量到心理学和教学理论上的到心理学和教学理论上的抽象概念或特质的程度抽象概念或特质的程度效标：检验测验效度的参照标效标：检验测验效度的参照标准，实际上是本测验所想测量准，实际上是本测验所想测量或要预测的特性或功能或要预测的特性或功能测验分数与作为效标的另一独测验分数与作为效标的另一独立测验结果之间的一致性程度立测验结果之间的一致性程度（一）内容效度的概念和估计方（一）内容效度的概念和估计方法法l1.内容效度的概念l测验试题

7、对欲测验内容或行为目标的代表性程度l2.内容效度的验证方法l逻辑分析法l统计分析法（定量的方法）l逻辑分析法（定性的方法）l依靠有关专家对测验题目与应测内容范围的吻合程度作出判断l对每一道题目逐一进行审查，以此形成“题目双向细目表”l与“命题双向细目表”加以对照，以确定试卷的效度l统计分析法（定量的方法）l克龙巴赫法（两套测验试题，对相同被试实施测试后，计算得分的相关系数）l评分一致性考查法（不同评分者之间评分的一致性程度，即考查评分者信度）l前后测对比法（根据前后两次测验的差异显著性，确定测验的内容效度）（二）、构想效度及其验证方法（二）、构想效度及其验证方法l1.结构效度的概念l测验对于人

8、的假设属性或理论概念测量到的程度l这些假设属性或理论概念是决定人们外部行为的内隐或潜在的特性l2.结构效度的建立过程l 对所欲测量的属性根据某种理论提出假定的结构l 根据假定的结构拟定测试题，编制测验l 寻求测验分数与其它评定之间的关系l 以测验结果为根据来验证假设结构中的各种因素是否成立，验证的方法可以从差异性上寻求证据l 将与假设结构相违背的测试题删去，对测验进行修改之后，再重新实施第和第个步骤l结构效度建立的示例l建立理论框架l从理论框架出发，提出各种假设l根据假设编制测验l以逻辑及实证的方法，检验结果是否符合心理学的理论框架及其假设l比如：中学生数学能力的研究l数学能力由分析能力、综合

9、能力、归纳和演绎能力、运算能力、空间想象能力构成；数学能力与早期教育有关；数学能力与智力正相关。l编制测验，施测并收集测验结果l分析测验结果，考查测试的结构效度，考查测验结果是否支持理论构想（三）、效标关联效度及其验证（三）、效标关联效度及其验证方法方法l1.效标关联效度的验证方法l效标关联效度是指测验分数与作为效标的另一独立测验结果之间的一致性程度，即推断某测验所得分数与同类标准测验所得分数的相关程度。效标关联效度（criterion-related validity）的验证方法是指一个测验对于处于特定情境中的个体行为进行预测时的有效性。l效标：检验测验效度的外在的、客观的标准，即效度的标准

10、.效标是足以显示测验所欲测量的或 要测量的特性的变量。l分类：l同时效度：测验分数与效标资料的取得约在同一时间内连续完成，这两种资料的相关系数即为同时效度l预测效度：在测验分数取得一段时间后，才获得效标资料,计算这两种资料间的相关系数即代表测验的预测效度。效标关联效度的估计方法效标关联效度的估计方法l相关法l直接计算测验分数与效标分数的相关系数l积差相关、等级相关、二列相关等l显著差异法l根据效标测量将被试分为两个极端组，检验这两个组测验分数是否具有统计学上的差异显著性l命中率l当测验用作取舍决策时，常使用命中率l相关概念：总命中率、正命中率、负命中率l总命中率高，则测试的效度高l例：l70人

11、参加的考试，通过测验选取了50人，淘汰了20人；选出的人中有40人合格，淘汰的人中有8人不合格。该测验的总命中率、正命中率和负命中率分别是多少？第四节第四节 项目的难度项目的难度l一、难度的含义l难度是指测验项目的难易程度l刻画被试作答一个题目所遇到的困难程度的量数，叫做题目的难度系数，用符号 P表示l在教育测量中，P正确回答试题的人数R/参加测验的总人数Nl二、难度的计算l客观试题（二分法记分）：lPR/N R：答对该题的人数；N：参加测验的总人数主观题难度计算P=XK教育测量与评价中题目（项目）的难度教育测量与评价中题目（项目）的难度l二、难度的计算l客观题的极端分组法l根据测验分数按高低

12、排序，用两个极端组（高分、低分）在某项目上的平均通过率表示项目的难度l步骤：按测验总分由高到低排序从高分段向下选出全部试卷的27作为高分组从低分段向上选出全部试卷的27作为低分组按照上述公式计算项目难度值l例：100人参加某测验，高分组与低分组各取27人，其中第一题高分组20人答对，低分组10人答对。这道题的难度系数是多少？2LHPPP教育测量与评价中题目（项目）的难教育测量与评价中题目（项目）的难度度l二、难度的计算主观题的极端分组法l公式：l步骤l按测验总分依次排序，确定比例各为25的高分组和低分组l为高分组、低分组分别编制每题得分的分析表（试题分析表）l用上述难度公式计算难度值)(2)2

13、(LHNNLXXPLH教育测量与评价中题目（项目）的难教育测量与评价中题目（项目）的难度度l公式的含义：lXH：高分组所得总分；lXL：低分组所得总分；H：该题最高分；L：该题最低分；N：考生总人数的25)(2)2(LHNNLXXPLH4 10 404 0 0 5 2 105 1 57 8 567 6 42 8 5 408 8 6410 0 0低分组10 10 100高分组X f fx X f fx试题分析表试题分析表l例：l100名学生参加论文式测验，按高、低分各占总人数的25分组，其中第6题的得分统计表如下所示。求该题目的难度。教育测量与评价中题目（项目）的难教育测量与评价中题目（项目）的

14、难度度l难度指出的仅仅是题目的相对难度，不能客观地指出题目难度之间差异大小l一般情况下，测验分数呈正态分布教育测量与评价中题目（项目）的难教育测量与评价中题目（项目）的难度度l三、难度对测验的影响l难度对测验分数分布的影响l过易、过难会造成测验分数偏离正态分布，使测验分数离散程度变小l难度对测验鉴别力的影响l测验的主要功效是鉴别考生实际水平的高低l适宜难度可以加大考生得分的差异，从而提高测验的鉴别力l项目难度的适宜值为0.5左右时，测验得分的方差才可达最大值l难度与测验目的的关系l项目难度应根据测验目的来确定l常模参照评价：区分学生能力或成就的高低l标准参照评价：了解学生达到教学目标规定的掌握

15、程度教育测量与评价中题目（项目）的区分度教育测量与评价中题目（项目）的区分度l一、区分度的概念l区分度是测验对被试实际水平的区分程度l通常用D表示，取值范围为1.00至1.00lD越高时，试题的质量越好lD为正时，试题积极区分lD为负时，试题消极区分教育测量与评价中题目（项目）的区分度教育测量与评价中题目（项目）的区分度l二、区分度计算方法l极端分组法l客观性试题区分度的计算公式： DPHPL按测验总分从高到低排序确定测验总分最高的27的被试作为高分组，最低的27的被试为低分组分别求出这两组被试通过试题的百分比将算得的有关数据带入上公式l主观性试题区分度的计算公式：说明：XH：高分组所得总分；

16、XL：低分组所得总分；H：该题最高分；L：该题最低分；N：考生人数（总人数的25）步骤：按测验总分由高到低排序；分别确定测验总分的25、25作为高低分组；列出试题分析表；将数据带入以上公式加以计算)(LHNXXDLH教育测量与评价中题目（项目）的区分度教育测量与评价中题目（项目）的区分度l例：100名考生参加主观性试题测验，按高、低分各占人数的25分组，其中第四题试题分析表如下所示，求该题目的区分度。)(LHNXXDLH4 10 404 2 8 6 5 306 3 188 6 488 4 32 10 4 4010 6 6012 0 0低分组12 10 120高分组X f fx X f fx试题

17、分析表试题分析表教育测量与评价中题目（项目）的区分度教育测量与评价中题目（项目）的区分度l三、区分度计算方法l相关法l考虑中间数据l以项目分数与效标分数的相关作为项目区分度的指标l（效标分数不易得到时，以测验总分代替）l相关越高，区分能力越好l具体方法：积差相关法点二列相关二列相关相关积差相关法计算区分度积差相关法计算区分度l非二分法记分的项目，可将题目得分与测验总分求积差相关系数以得到题目的区分度22YYXXYYXXriiiixyl积差相关的另一计算公式：YXDYXxySSSSSr2222lSx为全体被试在某道题目上得分的标准差；Sy为全体被试总分的标准差；SD是由被试总分减去某题目得分而得

18、到的新变量的方差点二列相关计算区分度点二列相关计算区分度l测验的一个变量是连续变量，另一个变量是二分变量时，要用点二列相关系数表示某项目的区分度pqSXXrtqppb公式的说明：公式的说明：p为答对某题人数占全体人数为答对某题人数占全体人数的比例的比例q为答错此题人数所占全体人为答错此题人数所占全体人数的比例数的比例（q1-p）St为全体考生的标准差为全体考生的标准差生1234567891011121314151617181920总8652947265227683807576736291477481886258题10011001111011011000l20个学生参加语文测验，总分与某一个选择

19、题的得分情况如下表。计算该选择题的区分度。二列相关计算区分度二列相关计算区分度l测验总分与项目分数均为连续变量，其中一个被人为地分成两个类别，YpqSXXrtqpb公式的说明：公式的说明：p为二分变量中某一类别在全为二分变量中某一类别在全部变量中所占的比例，部变量中所占的比例，q为另为另一类别所占的比例（一类别所占的比例（q1-p）St为全部连续变量的标准差为全部连续变量的标准差Y表示正态曲线下与表示正态曲线下与P相对应相对应的纵线高度。的纵线高度。生1234567891011121314151617181920总8652947265227683807576736291477481886258

20、作4737552722103542463940413852213942482927类合合合不不不不合合合合合合合不不合合不不相关法计算区分度相关法计算区分度l测验的两个变量都是二分变量，可用计算相关系数来表示某项目的区分度l以测验总分划分为合格、不合格两类的被试在某一题目上通过、未通过的人数列成四格表来计算另一类数据一类数据ABCD合计A+CB+DDBCADCBABCADr相关法计算区分度相关法计算区分度l例：45名学生考取大学的人数和在某题上通过的人数由下表所示。若以升学为效标，此题对学生是否有区分能力？205713通过考取未考取未通过l检验计算出的r值是否达到显著性水平，还需将r值转换成2

21、值，再进行2检验。22 Nr练习：练习：生1234567891011121314151617181920总8690548950444328758260707581708076777950一11010000110111011110l20名学生的期末成绩如下表，为考查第一题是否有区分能力，将该题用二分法记分，答对记1分，答错记0分。试计算该题的区分度。l若60分以上（含60分）为升级，60分以下为留级。试用相关法分析该题的区分度。教育测量与评价中题目（项目）的区分度教育测量与评价中题目（项目）的区分度l三、区分度对测验的影响l1.区分度与难度的关系难度（难度（P）区分度（区分度（D的最大的最大值）值）1.000.000.900.200.700.600.501.000.300.600.100.200.000.00