第四章 教育测量的质量指标-效度.pdf

一、效度的意义效度(Val idit y)-潮量络栗的准确性和有效性的程度-一个测验或量表实际能测出其所要测量的特 性的程度-记为：rxy一、效度的意义 第一，效度始终是针对一定的测量目的而言的。第二，效度是针对测量结果而言的。第三，效度只有高或低的程度上的差异。第犯,评价一个测量是否有效要多角度、多方面地收集证据。第五，教育测量中，效度问题比在其他领域的 测量中更为重要。一、效度的概念 这是因为：教育测量的对象大多是精神现象，只能通过对其 具有可测性的外部表现（如语言或动作等）的测量,以间接认识其心理活动、心理特征或知识水平等。学生的心理活动、心理特征与其外部表现之间，一般仅具有相关关系而无函数关系，外部行为并不 能准确无误地反映某种心理状态。教育测量的对象不是物而是有主观能动性的人。人能有意识地调节自己的外部行为，掩盖自己的内动，这就增加了认识其精神现象的难度。二、效度的统计定义及其与信度的关系 观 1、效度的统计学原理 手在实际测量中，影响效度的主要因素是系统误冒f 因而在讨论效度时，还必须把真分数方差分解为两 个部分，一是潜在真分数方差（。丫2），另一部分 是系统误差分数方差（。F），它与由随机误差引 起的变异（。2）不同。（公志-1）因而，（公尬一2）所以可以将效度定义为潜在真分数方差 G 实得分数方差（吠）之日口（Jy U即：为二8二二0%（。;+7）b;+区（公式2 3）=1-2、效度与信度的关系根据公式（2-2）和（2-3）,可将效度与信度的根据分析，可得结论如下高信度是高效度的必要条 件，而非充分条件。2）效度系数不会大于信度系数的 平曲卷o可以用下式表示：公式（2-4）三、效度的类别与分析验证於 1974年美国心理学会发行的教育和心 理测量的标准一书将效度分为三大类:-内容效度：侧重亍测验题目取样的代表嵯,考查这些题 目 对所歆测量的内容和行为反应 测量的有效程度。-结构效度：侧重亍一个测验的能缚测量到心 理学和教学理论上的抽象概念和特质的程度。-效标效度：侧重亍测验介数预测我1门所关心外在行为的准确程度。三、效度的类别与分析验证於琳恩和格朗兰德提出效度的四个向度,即内容内容效度、效标关联效度、构想效度和结第效度。(-)内容效度及其分析方法内容效度(Cont ent val i di t y)-又称合理效度或逻辑程度，是指测验内容或行 为取样的代表性和适当程度；即实测内容和预 定测验内容之间的一致性程度。估计内容效度的方法：-逻辑分析法(定性的方法)-统计分析法(定量的方法)（-）内容效度及其分析方法逻辑分析法（定性的方法）-依据教材内容、教学大纲的范围以及教学目标分析测验内容，检查测验内容究竟在体现教材内容和教学目标方面达到多大程 度-对每一道题目逐一进行审查，以此形成“题目双向细目表”-与“命题双向细目表”加以对照，以确定试卷的效度统计分析法（定量的方法）-克龙巴赫法（两套测验试题，对相同被试实施测试后，计算得 分的相关系数）-评分一致性考查法（不同评分者之间评分的一致性程度，即考 查评分者信度）-前后测对比法（根据前后两次测验的差异显著性，确定测验的 容效度）(-)结构效度的验证方法、结构效度是指一个测量能实际测量出理论上的 构想或心理特性的程度。它的目的在于用心理 学的概念来说明分析测验分数的意义，也就是 说从心理学的理论观点就测验的结果加以解释 和探讨。这里的结构的含义是心理学理论所涉及的抽象 而属假设性的概念、构想、特性或变量，如智 力、焦虑、机械能力倾向、成就、动机等。(-)结构效度的验证方法 建立理论框架 从理论框架出发，提出各种假设 根据假设编制测验 以逻辑及实证的方法，检验结果是否符合心理学的理 论框架及其假设 比如：中学生数学能力的研究-数学能力由分析能力、综合能力、归纳和演绎能力、运算能力、空间想象能力构成；数学能力与早期教 育有关；数学能力与智力正相关。-编制测验，施测并收集测验结果4-分析测验结果，考查测试的结构效度，考查测验结 是否支持理论构想（三）效标关联效度的估计方法-效标：检飨测验效度的外在的、客观的标准,即效度的标准-效标效度，也都为效标关联效度，也称为实证效度-验证方法是指一个测验对处亍特定情境中的个 体行为进行预测时的有效帙-囱：高考成绩预测大学学习成绩能力网向测验预测工隹成效（三）效标关联效度的估计方法 n-分类：同时效度：测验分数与效标资料的取得约在同一时 间内连续完成，这两种资料的相关系数即为同时效 度-目的：诊断现状-用全国高考的成绩作为效标来检验高中毕业生会考的成绩，计 算两者之间的相关系数就是会考的同时效度预测效度：测验分数取得一段时间后才获得效标资 料，计算这两种资料间的相关系数-目的：预测某个个体将来的行为-而用大学一年级的成绩作为效标来检验高考的成绩，计算两者 的相关系数就是高考的预测效度。效标效度的估计方法相关法-直接计算测验分数与效标分数的相关系数积差相关、等级相关、二列相关等显著差异法-根据效标测量将被试分为两个极端组，检验这两个组测验分数是 否具有统计学上的差异显著性命中率-当测验用作取舍决策时，常使用命中率-相关概念：总命中率、正命中率、负命中率-总命中率高，则测试的效度高-例：70人参加的考试，通过测验选取了50人，淘汰了20人；选出的人中有G 40人合格，淘汰的人中有8人不合格。该测验的总命中率、正命中率玛V!负命中率分别是多少？1、用积差相关系数的方法估计效度 积差相关，是计算两个变量线性相关的一种方法，由英国统 学家皮尔逊提出，因此也称为皮尔逊(Pearson)相关。要使用 积差相关必须同时具备如下几个条件：两个变量都是由测量获得的连续性数据，即等距或等比数据。两个变量的总体都呈正态分布，或接近正态分布，至少是单 峰对称分布，当然样本并不一定要正态。(必须是成对的数据，而且每对数据之间是相互独立的，即各自互不影响，本条件是难以检验的。J 两个变量之间呈线性关系。一般用描绘散点图的方式来观察卜,最好是先各自转化为Z分数，单位会统一些。)例:某中学数学教研组的教师积多年的教学法经验，认为则R 高中的学生学习立体几何感到困难的主要原因是空间想彳期 弱。甩为了证明这个论点，他们让刚入高中的103名学生作10道 题，测量其空间想像力。为避免知道了某些学生的刚入高中 时的成绩影响以后考试的评分，试卷暂不评阅。立体几何学 完后，进行考试，按得分多少把成绩分为五等（A、B、C、D、E）分别得5、4、3、2、1分。这时才评阅入学时的试卷，统 计出期末得5、4、3、2、1分者在入学测验中分别答对1道题 至10道题的人数（见表2T）。就现有资料，用什么方法可以判断教师们的意见是否正瞰（答对的题数）表 2-1：解：（1）设期末考试的等第为y,空间想像力）验答对的题数为x,列出二重交叉次数分布表：X（答对的题数）5 122 3 39 65 4 3 2 1 A B c D E y所评的等级310259172020141042(2)用积差相关系数公式计算效度系数:r工咫小-xy(公式2-4)_ 5式中温刚入学的啰验中答对1道题到10道题的人数的平均数5是期末测验中103人得分平均数,Sx是刚入学的测验各题答对题数的标准差，S,是期末测验各人得分的标准差。小y是指刚入学测验中答对的题数与期末测 验的得分和式中Sx是刚入学的测验各题答对题数的标准差，Sx=JZ/(x-%)2/N工是刚入学的测验中答对1道题到io道题的人数的平均数,q(lx 2+2 x 4+3*10 +9 x 5+10*2)+103=5.55Sx=J2(l-5.55)2+4(2-5.55)2+.2(10-5.55)2/103 二L理期末测验中103人得分平均数，不=(5 x 25+4 x 31+3 x 32+2 x 9+1 x 6)+103=3.58标是期末测验各人得分的标准差。Sy=jZ/d)2/N=L12 1fxy=1(5 x5)+3(6x5)+l 0(7 x5)+5(8x5)+4(9 x5)+2(10 x5).-+1(5x1)=2203(2203/103-5.55x3.58 八,八八 rxy=-=0.699/y 1.94x1.12 相关系数较大，表明铜想像力测验成绩与酬几彳学习成绩有较高的相关 前者对后者有一定测效M二列相关适用于两个变量就其实际含义而言是 等距或等比数据，它们服从正态分布,其中一列人为地划分为两类。1血卢图公式（2一5）文;或兄是二分名称变量中t或“。”相对应的连续变量的平均a。S,是该例连续变量全部变量值的标准差。p是二分称名量表中一种的次数占总次数的百分比，q=l-pa 滥的是在整个正态曲线中从左到右概率值为夕时的纵高。r点二列相关适用于一列数据为等距或等比且总体服从正态分布(实 际上只需要单峰对称分布，如T分布)，另一列变量是 按事物的性质划分为两类的变量，也可以是一个双峰分 布，人为划分为两类，如文盲与非文盲。这种相关系数 多用于测验中评价题目的区分度。对选择题、判断题在 整个测量中作用作出判断。基科熬式：X x _4pQ 公式(2-6)天;或兄是二分名称变量中或0”相对应的连续变量的平均数。S是该例连续变量全部变量值的标准差。p是二分称名量表中一种的次数占总次数的百分比，q=lp。例：有一位教师自编了一套测验题，用来预测学生 一年后的某科成绩，自编测验按百分制评分，一年 后考试评分只把学生分为及格者和不及格者。试就 所获资料估计自编测验的预测效度。解：1）把两次测验成绩成对排列：J被试者1 2 3 4 5 6 7 8 9 10 11 12 13 14 自编测验 的成绩（X）67 10 20 44 60 43 61 10 26 23 30 18 35 23 J一年后考试成绩（Y）1 1 1 0 0 1 1 0 1 0 0 1 1 1|2）计算出二列相关公式所需统计量:rpb=$Xq 乐 公式(2-6)天;或又;是二分名称变量中“1”或相对应的连续变量的平均数。XpXq67+10+35+23 -=33.67944+60+10+23+30-=33.405S,是该例连续变量全部变量值的标准差。5=18.125p是二分称名量表中一种的次数占总次数的百分比，q=i-p.9p=0.64,143）代入公式计算得:q=l =0.36rb=33.6733.40,0 64x0.36=0.007pb 18.125相关系数极小，说明这个测验结果的预测效度极低,不能用来预测学生的成绩。四、提高效度的方沫（一）各种效度系数的要求（二）影响效度的因素（三）提高效度的方法：1、控制系统误差2、精心编制量表3、妥善组织测验4、扩充样本的容量和代表性5、合理处理效度和信度的关系、一 6、适当增加测验的长度表2.1测验长度与信度和效度的关系题数与原测验题数之比信度系数效度系数1010.3000.4002020.4620.4963030.5620.5486060.7200.619120120.8370.668140140.9110.679480480.9540.713第三节难度及其计算 一、难度的概念 1、难度是指测量试题的难易程度。在教育测量中，客观题的难度一般用正确回 答试题的人数与参加测验的总人数的比值来 表示。其公式为：Rp=一 N 例如：在100个学生中，答对第一题的30人,答对第二题的60人，这两道题的难度分别是可多少？2、难度对测验的影响 V 1）测验难度影响分数的分布形态。难度值越接近0,测验的难度就越大，测验分数 就越是集中在低分端，其分数分布越呈现正偏 态；反之，难度值越接近1.00,其难度就越小,测验分数越集中在高分端，分数分布呈负偏态。2）测验难度影响测验分数的离散程度 测验难度过大过小，都会造成测验分数偏离正 态分布，从而使分数的全距缩小，使测验分数 的离散程度变小。3）测验难度影响测验的鉴别能力 百测验中，考生之间相互配对比较的可能性越 越有利于准确地鉴别考生的不同能力。3、测验的适宜难度、难度在0.50左右的试题能组成考生之间最多的 配对比较次数，能使测验分数的离散指数达到 最大值，并能有效地造成测验分数的正态性。这有两层意思：一是测验中的各试题的难度，均应在0.50左右;二是测验中的试题的难度在0.2-0.8之间，平 均难度应在0.50左右。二、难度的计算(-)计算难度的基本公式 3、整个试卷的难度计算试卷的难度是指一份试卷的总体难易程度，其 由试卷中每道题的难度决定。其计算办法为：将每道题目的难度与满分值相乘的积相加，然后将其总和除以试卷的满分值,所得的商即为整个试卷的难度。二、难度的计算(-)计算难度的基本公式1、客观题难度的计算p=P表示难度指标，N表示参加考试的总N 人数，R表示答对某道客观题的人数。2、主观题难度的计算X p=一 K(X表示所有考生在某一道题上的平均得分,K表示此题的满分。)(-)用极端分组法计算试题的难度 1、用极端分组法计算客观题的难度 q 具体步骤如下：飞 D先按测验总分的高低，按由高到低的顺序依次挑 列试卷。2)从得分最高的一份试卷开始依次向下选出全部试 卷的27%作为高分组；从得分最低的一份试卷开始依 次向上选出全部试卷的27%作为低分组。3)按计算公式计算难度；Pl(p为高分组的难度，Pl为低分组的难度|例题：在100名学生中，高分组与低分组各有27人。其中高分组答对第一题的有 20人，低分组答对第一题的有10人。这道题的难度为多少?计算解：依据客观题极端分组法计算公式Ph+PlPT20 10-1-=27 27一 2=0.562、用极端分组法计算论文试题难度、步骤如下：、1）按测验得分排列试卷，确定高分组与低分组，各占总人数的25%（方法同前）。2）分别为高分组、低分组编制每道试题的分析表。3）按下列公式计算难度，X h+X r 2nLl p=-2n（H L）乂月为高分组得分总和，Xl为低分组得分总和，表示总人数的25%,H是这道题的最高分，L为最低O例：某道论文题，高分组得分总和为40分，低分组得分总和为15分，有40人参加考试，这道题最高得分为8分，最低得分为2分,则此题的难度为多少？(0.125)计算解：依据主观题极端分组法计算公式X h+X/2nL t l L_2n(H L)_ 40+15 2x40 x25%x2 2x40 x25%x(8-2)二 0.125第四节 区分度及其计算 一、区分度的意义,（一）区分度（Discriminat ion）是指测验对考 生实际水平的区分程度，用符号D表示。又叫鉴 别力，它是评价试题质量，筛选试题的主要指标 与依据。区分又分为正（或积极）区分（D0）,零区分（b=o）和负（或消极）区分（DVO）。区分度的高低直接影响到测验的信度和效度。(-)区分度与测验信度、难度的关系 1、区分度与信度的关系(见下表2.2)区分度 0.12250.16 0.20 0.30 0.40 0.50信度 0.00 0.42 0.63 0.84 0.915 0.949这里是假定全部试题的难度均为0.50时所预测的信度系数。X分度指的是平均值。可见，要想达到理想的测验信度，提高区分度是 个好办法。(-)区分度与难度的关系表2.3 D的最大值与试题难度的关系难度 1.00.90.70.50.30.10.00区分度的最大值.00.20.60 1.00.60.20 00由上表可知，难度适中，可使区分度达到最大值。二、区分度的计算（一）用极端分组法计算区分度 1、客观题区分度的计算：b=PH-Pl注：将被试依照总分从高到低排 歹U,然后将总算最高/27%和最低的27%的被试分别 定为高分组和低分组。）2、主观题区分度的计算：D_Xh-Xln（H-L）X”为高分组得分总和，Xl为低分组得分总和，表示总人数的25%,H是这道题的最高分，L为最低分。二、区分度的计算（-）用极端分组法计算区分度 1、客观题区分度的计算：D=Ph Pl（D为区分度，Ph为高分组通过率，PI为低分组 通过率。）（注：将被试依照总分从高到低排列，然后将总 分最高的27%和最低的27%的被试分别定为高分 组和低分组。）二、区分度的计算(-)用极端分组法计算区分度 3、整个试卷的区分度计算 试卷的区分度是指一份试卷总体对学生的 区分程度。其计算办法为：将每道题目的区分度与满 分值相乘的积相加，然后将其总和除以试 卷的满分值，所得的商即为整个试卷的区 分度。（-）用内部一致性系数计算区分度极端分组法分析通常只在教师编制的课堂测绘 中使用。在标准化的或大规模的测验中，多采 用相关法分析试题的内部一致性。由于测验总分属于连续变量，测验项目（试题）多属二分称名变量（对、错或通过、不通过），所以，用相关法计算区分度时，多采用点二列相关、二列相关、系数等方法计算相关系数。P80页第14题某学科测验，10名被武博介情况也表3-20所示:被试 题目01 02 03 04 05 06 07 08 09 1012345678220200202202202002020022202000020020022057466245346554716245111491016512810131016812156151198P80页第14题某学科测验，10名被武野分情况如皴3-20所示：1、计算第1、5题的难度与区分度；2、用嵩低分组法计算第2、6的难度与 良分度 3、计算该测验的信度。P80页第14题某学科测验，10名被武博介情况也表3-20所示:被试 题目0102030405060708091012202002022202202002023002220200040200200220557466245346655471624571114910165128101381016812156151198总分34483036501441303034P80页第14题某学科测验，10名被武博介情况也表3-20所示:被试 题目010203040506070809101220200202255746624534总分344830365014413030341、计算第1、5题的难度与区分度；PkR/N 二 6/10=0.6；P5=4.6/7二（假定这道题的满分为7分）被试 题目010203040506070809101220200202255746624534总分34483036501441303034第1题的区分度的计算：（用点二列相关法）V _ V _缶二p q国公式(2-6)元=223区=124p=0.6;q=l-p=0.4;=0.5Sz2=(0.72x2+13.32+4.72x3+1.32+15.32+20.72+6.32)/10=94.81S,=9.8rPb=0-5第5题的区分度的计算：（用积差相关系数法）被试 题目010203040506070809101220200202255746624534总分344830365014413030342-公式(3-30)P80页第14题,某学科测验，10名被武博介情况也表3-20所示:34 48 30 36 50 14 41 30 30 34被试 题目0102030405060708091(?12202002022202202002023002220200040200200220557466245346655471624571114910165128101381016812156151198某学科测验，10名被武蹲介情况如表3-20所示:被试 题目26总分01 02 03 04 05 06 07 08 09 100 22 0 20020 26 55 4 71624 53448 30365014 41 3030342、用高低分组法计算第2、6的难度。P客二主=Ph+Pl2X h+X,2tiLJLl L2n(H-L)某学科测验，10名被武蹲介情况如表3-20所示:被试 题目01 0203 0405 0607 08091020 22 02 0020266 55 47 16245总分34 4830 3650 14413030342、用高低分组法计算第2、6的区分度。%=Ph-Pl口=XH-XL王 n(H L)P80页第14题3,计算该测验的信度。被试 题目0102030405060708091012202002022202202002023002220200040200200220557466245346655471624571114910165128101381016812156151198总分344830365014413030343、计算该测验的信度。克龙巴赫(Cronbach,1951)所创的a系数公式：a=(1-)公式(1-14)K-1 S；其中，a为信度系数，K为题目数；S：为每题各应试者得分的方差；为每题各应试者得分的方差之和；S；为每个被试者所得总分的方差。