第四章地理测试命题质量分析优秀PPT.ppt

《第四章地理测试命题质量分析优秀PPT.ppt》由会员分享，可在线阅读，更多相关《第四章地理测试命题质量分析优秀PPT.ppt（88页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第四章地理测试命题质量分析第四章地理测试命题质量分析第一页，本课件共有88页地理测试命题工作是地理教学过程中一个不可缺少的环节。而做好地理测试命题质量分析工作，对正确认识、评价地理测试结果，为以后的命题工作提供必要的经验，教训等同样也具有重要的意义。第二页，本课件共有88页第一节 试题质量的初步评价评价试题质量的一条重要途径是对学生考试之后所得的原始卷面分数进行必要的处理、分析，转化为一种比较直观的形式，以对试题质量作出一个初步的判断。下面就地理测试命题质量分析实践中比较常用的几种方法结合实例作详细的介绍。第三页，本课件共有88页一、测验分数的分布状态一、测验分数的分布状态描述测验分数的分布状

2、态通常用频数直方图或频数多边图描述测验分数的分布状态通常用频数直方图或频数多边图来表示。来表示。所谓频数，是指在某分数段中出现测验分数的次数，通过对测验分所谓频数，是指在某分数段中出现测验分数的次数，通过对测验分数分布状态的描述，可以从一个侧面反映出试题的质量水平。数分布状态的描述，可以从一个侧面反映出试题的质量水平。其具体方法与步骤分别如下：其具体方法与步骤分别如下：1 1用频数直方图描述测验分数的分布状态用频数直方图描述测验分数的分布状态第一步第一步 求全距。求全距。全距是指要处理的所有测验分数中最高分与最低分的差，全距是指要处理的所有测验分数中最高分与最低分的差，一般用一般用R R来表示

3、，即来表示，即R=R=最高分数一最低分数最高分数一最低分数全距主要是反映全部测验分数的分布范围，而不能提供这些分数全距主要是反映全部测验分数的分布范围，而不能提供这些分数的数据变异情况。的数据变异情况。第四页，本课件共有88页第二步第二步 定组数。定组数。组数一般根据全距组数一般根据全距R R和测验分数的个数和测验分数的个数n n来确定的，用来确定的，用I I表示。表示。R R值越大，测验分数的个数值越大，测验分数的个数n n越多越多,组数就会越组数就会越多。一般用如下公式进行计算组数：多。一般用如下公式进行计算组数：第三步第三步 定组距。定组距。组距即为全距组距即为全距R R与组数与组数I

4、I相除后取整，用相除后取整，用ZRZR表示：表示：ZR=R/IZR=R/I第五页，本课件共有88页第四步第四步 确定组限。确定组限。根据组距和全距确定每组的上限和下限根据组距和全距确定每组的上限和下限,通常约定通常约定每组只含下限、不含上限，即每组都是左闭右开每组只含下限、不含上限，即每组都是左闭右开区间。在实际计算中要取分点值比原分数的有效区间。在实际计算中要取分点值比原分数的有效数字多一位的组实限，以避免分点值刚好是某个数字多一位的组实限，以避免分点值刚好是某个分数的值。分数的值。第五步第五步 求组中值。求组中值。即求每组的中点值，用即求每组的中点值，用M M表示，其方法为：表示，其方法为

5、：M=M=组实际下限组实际下限+0+05ZR5ZR第六步第六步 列频数分布表，统计落在每个组中的测列频数分布表，统计落在每个组中的测验分数的个数验分数的个数,即每个组的频数，将其填入频数分布即每个组的频数，将其填入频数分布表的相应位置。表的相应位置。第六页，本课件共有88页第七步第七步 根据频数分布表绘制频数直方图，其方法是：根据频数分布表绘制频数直方图，其方法是：在一个直角坐标系中，以横坐标表示测验分数，从左在一个直角坐标系中，以横坐标表示测验分数，从左到右标出各组分数的组中值；用纵坐标表示频数，从到右标出各组分数的组中值；用纵坐标表示频数，从上到下等距地标出频数数值；分别以各组的组距为底上

6、到下等距地标出频数数值；分别以各组的组距为底边，以组中值作为底边的中点，频数为高，对每组作边，以组中值作为底边的中点，频数为高，对每组作矩形。矩形。由这一系列矩形组成的图即为频数直方图。由这一系列矩形组成的图即为频数直方图。第七页，本课件共有88页 2用频数多边图描述测验分数的分布状态 编制频数多边图与频数直方图在前六步是完全相同的，只是在第七步进行的具体绘制方法上有些区别。绘制频数多边图时，要以各组的组中值为横坐标，以各组的频数为纵坐标对每组分别进行描点，然后把相邻两点用直线相连即可。图形左右两侧应引至外侧一组的中点，并与基线相接。第八页，本课件共有88页下面以实例说明这两种方法的具体操作过

7、程：下面以实例说明这两种方法的具体操作过程：【例例】某班级的某班级的4545名学生进行一次地理测验，测验的原始名学生进行一次地理测验，测验的原始卷面分数如表卷面分数如表4 41 1。要求分别用频数直方图和频数多边图对。要求分别用频数直方图和频数多边图对其进行处理，以对测验命题质量作一个初步的鉴定。其进行处理，以对测验命题质量作一个初步的鉴定。第九页，本课件共有88页具体方法和步骤如下：具体方法和步骤如下：第一步求全距第一步求全距R R。R=R=最高分数一最低分数最高分数一最低分数=95-54=41=95-54=41第二步第二步 定组数。定组数。n=45n=45I8.5I8.5对对I I取整，组

8、数取整，组数I=9I=9第三步第三步 定组距。定组距。ZR=R/I=41/9ZR=R/I=41/9 4.64.6对对ZRZR取整，组距取整，组距ZR=5ZR=5第十页，本课件共有88页第四步第四步 确定组限。确定组限。根据约定，每一组都是左闭右开区间，因此，第一组的下限为根据约定，每一组都是左闭右开区间，因此，第一组的下限为5454，上限，上限为不满为不满5858，第一组要想包括，第一组要想包括5858，则实际组限为，则实际组限为53535 558585 5；第二组的下限；第二组的下限为为5959，上限为不满，上限为不满6363，实限组限为，实限组限为58585 563635 5。其他各组依类

9、推，结果。其他各组依类推，结果见表见表4-24-2中的第一栏中的第一栏“组别组别”和第二栏和第二栏“起止点起止点”所示。所示。第十一页，本课件共有88页第五步第五步 求组中值。求组中值。M=M=组实际下限组实际下限+0+05ZR5ZR 第一组的组中值为第一组的组中值为53535+55+52=562=56 第二组的组中值为第二组的组中值为58585+55+52=612=61 第三组的组中值为第三组的组中值为63635+55+52=662=66 第四组的组中值为第四组的组中值为68685+55+52=712=71 第五组的组中值为第五组的组中值为737354+554+52=762=76 第六组的组

10、中值为第六组的组中值为78785+55+52=812=81 第七组的组中值为第七组的组中值为83835+55+52=862=86 第八组的组中值为第八组的组中值为88885+55+52=912=91 第九组的组中值为第九组的组中值为93935+55+52=962=96 第十二页，本课件共有88页第六步第六步 列频数分布表。列频数分布表。根据表根据表4 4一一l l的测试分数表，对照每组的组限计算出每组段所包的测试分数表，对照每组的组限计算出每组段所包含的分数个数，并填入表含的分数个数，并填入表4 42 2中的第三、四栏，表中的第三、四栏，表4-24-2即为频数即为频数分布表。分布表。第七步根据

11、频数分布表绘制频数直方图和频数多边图，如图第七步根据频数分布表绘制频数直方图和频数多边图，如图4-14-1和图和图4-24-2所示。所示。第十三页，本课件共有88页3 3测验分数分布状态的分析测验分数分布状态的分析 原始测验分数用图表进行处理之后可以得到多种分布曲原始测验分数用图表进行处理之后可以得到多种分布曲线经常会出现的曲线形态见图线经常会出现的曲线形态见图4-34-3所示的几种情况。这些分所示的几种情况。这些分布曲线比较直观地、形象地反映了测验分数的集中趋势与离散程布曲线比较直观地、形象地反映了测验分数的集中趋势与离散程度通过分析，可以对试题质量进行一个初步的分析。下面分别度通过分析，可

12、以对试题质量进行一个初步的分析。下面分别对各曲线所反映的试题质量情况作初步解释。对各曲线所反映的试题质量情况作初步解释。第十四页，本课件共有88页曲线曲线(a)(a)表示测验分数频数呈正态分布，表明在高分段和低分表示测验分数频数呈正态分布，表明在高分段和低分段的人数明显少于中间分数段的人数，说明试题设计比较合段的人数明显少于中间分数段的人数，说明试题设计比较合理，试题难度、区分度分布正常；理，试题难度、区分度分布正常；曲线曲线(b)(b)呈正偏态分布，低分段出现的人数明显偏多，说明难度呈正偏态分布，低分段出现的人数明显偏多，说明难度偏高的题目多，试题难度过高；偏高的题目多，试题难度过高；曲线曲

13、线(c)(c)呈负偏态分布，高分段出现的人数偏多，说明难度偏低呈负偏态分布，高分段出现的人数偏多，说明难度偏低的题较多，试题难度偏低；的题较多，试题难度偏低；曲线曲线(d)(d)呈高峰形的正态分布，中间段分数出现的人数特别集呈高峰形的正态分布，中间段分数出现的人数特别集中，学生之间的差距没有拉开，说明中等难度的题目比例过高，中，学生之间的差距没有拉开，说明中等难度的题目比例过高，试题区分度较差；试题区分度较差；曲线曲线(e)(e)呈平峰形的正态分布，各分数段出现人数的差异较小，说明呈平峰形的正态分布，各分数段出现人数的差异较小，说明试题中不同难度题目的比例比较接近；试题中不同难度题目的比例比较

14、接近；曲线曲线(f)(f)呈双峰形分布，高分段和低分段出现的人数多，而中间分数呈双峰形分布，高分段和低分段出现的人数多，而中间分数段的人数偏少，说明难度过高和过低的题目偏多，而中等难度的题段的人数偏少，说明难度过高和过低的题目偏多，而中等难度的题目偏少，试题难度梯度大。目偏少，试题难度梯度大。第十五页，本课件共有88页 从图从图4 41 1和图和图4 42 2所示的例子来看，学生测验分数的所示的例子来看，学生测验分数的频数直方图和频数多边图来看，基本上呈一种负偏态分布频数直方图和频数多边图来看，基本上呈一种负偏态分布状态，如果不考虑其他因素对学生测验分数的影响，这次状态，如果不考虑其他因素对学

15、生测验分数的影响，这次测验试题的总体难度是偏低的，中等程度的学生和程度较测验试题的总体难度是偏低的，中等程度的学生和程度较高的学生没有拉开距离。高的学生没有拉开距离。当然，以上的这种分析只是一个初步的判断，是以不当然，以上的这种分析只是一个初步的判断，是以不考虑影响学生测验分数的其他因素为前提。考虑影响学生测验分数的其他因素为前提。而在实际测验过程中，影响学生测验分数高低而在实际测验过程中，影响学生测验分数高低的因素是多方面的，并不是完全由命题质量所能决定的因素是多方面的，并不是完全由命题质量所能决定的，如出现平峰形的分布曲线时，可能并不是由于易、的，如出现平峰形的分布曲线时，可能并不是由于易

16、、中、难三类题目的比例比较接近，而是因为参加测验中、难三类题目的比例比较接近，而是因为参加测验的学生相互之间的水平差异明显。的学生相互之间的水平差异明显。因此，在实践过程中，要根据具体情况，参照其他参数对因此，在实践过程中，要根据具体情况，参照其他参数对试题质量作出具体的分析和解释。试题质量作出具体的分析和解释。第十六页，本课件共有88页 二、平均分二、平均分 平均分是地理测验统计中最为常用、方便的指标平均分是地理测验统计中最为常用、方便的指标之一，它是一组测验分数的之一，它是一组测验分数的“代表值代表值”，能在一定，能在一定程度上反应测验分数的集中趋势，也可以用来对不程度上反应测验分数的集中

17、趋势，也可以用来对不同组测验分数之间进行比较。同组测验分数之间进行比较。依据平均分的高低可以对试题的总体难度作出一个依据平均分的高低可以对试题的总体难度作出一个初步的评判，如果平均得分比较高，试题的整体难度初步的评判，如果平均得分比较高，试题的整体难度可能偏低，若平均得分比较低，则试题的整体难度可可能偏低，若平均得分比较低，则试题的整体难度可能偏高。能偏高。在实际计算过程中，根据具体情况可以采用在实际计算过程中，根据具体情况可以采用算术平均分和加权平均分。算术平均分和加权平均分。第十七页，本课件共有88页1 1算术平均分算术平均分 算术平均分就是一组测验分数的总和与分数个数相算术平均分就是一组

18、测验分数的总和与分数个数相除所得的商，如果用除所得的商，如果用 表示算术平均数，表示算术平均数，n n表示测验分表示测验分数个数，数个数，表示第表示第i i个测验分数，那么算术平均分可个测验分数，那么算术平均分可用下面的公式来表示：用下面的公式来表示：第十八页，本课件共有88页【例例】对表对表4 4一一l l所示的地理测验分数求算术平均分。所示的地理测验分数求算术平均分。根据上述计算公式，可得：根据上述计算公式，可得：=1/45(73+71+87+88+67+=1/45(73+71+87+88+67+74+73+86+81+80)+74+73+86+81+80)=77=777 7分分即在这次地

19、理测验中即在这次地理测验中4545名学生的平均分为名学生的平均分为77777 7分。分。第十九页，本课件共有88页 2 2加权平均分加权平均分 在同一次地理测验中，如果已经知道各个被试组测在同一次地理测验中，如果已经知道各个被试组测验分数的算术平均分，要求计算所有考生的平均分时，验分数的算术平均分，要求计算所有考生的平均分时，则需要用加权平均分来计算。其计算公式如下：则需要用加权平均分来计算。其计算公式如下：式中的式中的 表示加权平均分，表示加权平均分，n n表示被试组个数，表示被试组个数，代表第代表第i i个被试组测验分数的算术平均分，个被试组测验分数的算术平均分，为对应于为对应于 的权重系

20、数的权重系数(简称权简称权)。第二十页，本课件共有88页 【例例】某学校对高一年级某学校对高一年级6 6个平行班进行了一次地理个平行班进行了一次地理测验，测验，6 6个班级的学生数和算术平均分如表个班级的学生数和算术平均分如表4-34-3所示，所示，求高一年级全体学生的平均分。求高一年级全体学生的平均分。第二十一页，本课件共有88页三、标准差三、标准差在分析试题质量时，不仅要知道平均分，以了解测在分析试题质量时，不仅要知道平均分，以了解测验分数的集中趋势，而且还需要对测验分数的离散验分数的集中趋势，而且还需要对测验分数的离散程度进行描述。因为，当一组测验分数的离散程度程度进行描述。因为，当一组

21、测验分数的离散程度比较大时，则对应的平均分的代表性就比较小，反比较大时，则对应的平均分的代表性就比较小，反之则比较大。用来表示测验分数离散程度的特征量之则比较大。用来表示测验分数离散程度的特征量数很多，如全距、平均差、四分差、方差、标准差数很多，如全距、平均差、四分差、方差、标准差等等，其中比较常用的是标准差。下面就标准差的等等，其中比较常用的是标准差。下面就标准差的计算方法结合实例作简要说明。计算方法结合实例作简要说明。第二十二页，本课件共有88页例如，表例如，表4-44-4是两组学生在同一次地理测验中所得的分数，是两组学生在同一次地理测验中所得的分数，要分别计算它们的标准差。要分别计算它们

22、的标准差。即第一组的标准差为即第一组的标准差为21213939，第二组的标准差为，第二组的标准差为2 24040，由此可，由此可见，尽管第一组与第二组的平均分近似相等，但第一组测验分数见，尽管第一组与第二组的平均分近似相等，但第一组测验分数的离散程度要比第二组的离散程度要大的多，也就是说用平均分的离散程度要比第二组的离散程度要大的多，也就是说用平均分来反应测验分数的集中趋势时，第二组更具有代表性。来反应测验分数的集中趋势时，第二组更具有代表性。第二十三页，本课件共有88页第二节第二节 试题的信度试题的信度一、相关系数一、相关系数 在地理教育测量中，经常需要考虑某两个变量之间在地理教育测量中，经

23、常需要考虑某两个变量之间的关系或联系程度，这种关系或联系程度称为相关。的关系或联系程度，这种关系或联系程度称为相关。如果一个变量增大如果一个变量增大(或减小或减小)时，另一变量也会时，另一变量也会增大增大(或减小或减小)，则称这两个变量为正相关；，则称这两个变量为正相关；反之，如果一个变量增大反之，如果一个变量增大(或减小或减小)时，另一个变量时，另一个变量会减小会减小(或增大或增大)，则称为负相关；，则称为负相关；如果两个变量之间不存在相互影响的关系，则称如果两个变量之间不存在相互影响的关系，则称为不相关。为不相关。第二十四页，本课件共有88页当两个变量为相关时，并且每一对变量所确定的点在当

24、两个变量为相关时，并且每一对变量所确定的点在直角坐标系中都分布在某一条直线上、直线的附近或直角坐标系中都分布在某一条直线上、直线的附近或直线的两侧那么就称这两变量间存在线性相关。直线的两侧那么就称这两变量间存在线性相关。描述这两个变量之间相关程度的量就是相关量数，叫做相描述这两个变量之间相关程度的量就是相关量数，叫做相关系数。关系数。相关系数是表明两个变量间相关程度的一个指标，取值相关系数是表明两个变量间相关程度的一个指标，取值介于介于1 100001 10000之间之间(包括一包括一1 10000和和1 10000在内在内)。第二十五页，本课件共有88页相关系数的绝对值越大，说明变量之间的相

25、相关系数的绝对值越大，说明变量之间的相关程度越高。当两个变量呈线性相关，并且关程度越高。当两个变量呈线性相关，并且都是正态连续时，可以用积差相关系数来表都是正态连续时，可以用积差相关系数来表示两个变量间的相关系数，其具体计算公式示两个变量间的相关系数，其具体计算公式如下：如下：式中的式中的 代表两个变量之间的相关系数，代表两个变量之间的相关系数，x x、y y分别表示两分别表示两个变量在变化过程中所取的一系列值，个变量在变化过程中所取的一系列值，n n表示每个变量取表示每个变量取值的个数。值的个数。第二十六页，本课件共有88页【例例】在其他条件都相同的情况下，一次以主在其他条件都相同的情况下，

26、一次以主观性试题为主的地理测验和一次以客观性试题观性试题为主的地理测验和一次以客观性试题为主的地理测验中为主的地理测验中,抽取某班的抽取某班的9 9位学生的成绩如位学生的成绩如表表4-54-5所示。试分析这两种不同题型为主的地理测所示。试分析这两种不同题型为主的地理测验成绩之间的相关关系。验成绩之间的相关关系。第二十七页，本课件共有88页即可求得相关系数，最后求得相关系数即可求得相关系数，最后求得相关系数0.94这说明学生在以主观性试题为主的地理测验题和以客观性试这说明学生在以主观性试题为主的地理测验题和以客观性试题为主地理测验题的考试中所取得的成绩是呈高度正相关，题为主地理测验题的考试中所取

27、得的成绩是呈高度正相关，在不考虑其他因素影响的前提下，表明主观性试题和客观性在不考虑其他因素影响的前提下，表明主观性试题和客观性试题这两种题型都能比较好地考查学生对有关地理知识掌握试题这两种题型都能比较好地考查学生对有关地理知识掌握的情况。的情况。第二十八页，本课件共有88页二、信度的概念二、信度的概念 信度也称信度也称“可靠性可靠性”或或“测验分数的稳定性测验分数的稳定性”，是，是指测量的一致性程度，表现在同一个测验在不同时间上指测量的一致性程度，表现在同一个测验在不同时间上所得结果的一致性。所得结果的一致性。对信度的估计或计算，通常用相关分析的方法，即计对信度的估计或计算，通常用相关分析的

28、方法，即计算两种变量间的相关系数，以相关系数作为数据指标来衡算两种变量间的相关系数，以相关系数作为数据指标来衡量测验的一致性程度，也称为信度系数。信度系数的取值量测验的一致性程度，也称为信度系数。信度系数的取值范围在范围在0 0与与1 1之间，其值越大，说明测验的可信程度越高，之间，其值越大，说明测验的可信程度越高，试题的试题的“可靠性可靠性”也就越好。也就越好。因此，试题的信度，可以看作是试题的因此，试题的信度，可以看作是试题的“可靠性可靠性”，即它在多大程度上能准确地反映学生学习的真实水平。，即它在多大程度上能准确地反映学生学习的真实水平。试题的信度是无法直接进行测量的，但是可以通过试题的

29、信度是无法直接进行测量的，但是可以通过考试的信度系数的估算来间接反映。一般来说，考考试的信度系数的估算来间接反映。一般来说，考试的信度系数越高，说明试题的试的信度系数越高，说明试题的“可靠性可靠性”越好，越好，反之，试题的反之，试题的“可靠性可靠性”则较差。则较差。第二十九页，本课件共有88页因为试题的质量会直接影响到考试的信度系数的大小，因为试题的质量会直接影响到考试的信度系数的大小，这种影响主要体现在以下几方面：这种影响主要体现在以下几方面：一是题目的数量，如果题目很少，则测验所得分数越容一是题目的数量，如果题目很少，则测验所得分数越容易受试题取样偶然因素的影响，测验的信度就会降低，易受试

30、题取样偶然因素的影响，测验的信度就会降低，反之，则会提高测验的信度；反之，则会提高测验的信度；二是题目的难度，题目的难度会影响到测验分数的分布范围，二是题目的难度，题目的难度会影响到测验分数的分布范围，从而影响测验结果的信度，如，题目难度过大，考生大部分从而影响测验结果的信度，如，题目难度过大，考生大部分得低分，测验分数频数分布曲线形成正偏态分布，导致分数得低分，测验分数频数分布曲线形成正偏态分布，导致分数间的差异较小；间的差异较小；三是题目的区分度，因为只有当题目有较好的区分度时，才三是题目的区分度，因为只有当题目有较好的区分度时，才能使实际水平较高的学生在测验中获得高分，实际水平较低能使实

31、际水平较高的学生在测验中获得高分，实际水平较低的学生得低分，这样才能保证测验结果的的学生得低分，这样才能保证测验结果的“稳定性稳定性”和和“可可靠性靠性”。第三十页，本课件共有88页 三、几种常用信度的意义及计算方法根据不同的测验目的，信度可以分为两大类，即常模参照测验的信度和目标参照测验的信度，下面就这两大类信度的意义及一些常用的计算方法作简要的介绍。1常模参照测验的信度 常模参照测验的主要目的是确定学生个体在群体中的相对位置，测验结果的一致性程度可以用每一个学生个体在群体中的相对位置的变动情况或用个体的测验分数的可能分布范围来表示。前者用信度系数(相关系数)来表示，后者用“测量标准误”来表

32、示，它们均以测验分数的变异性为前提，一般只用于常模参照测验的信度测量。下面只对用信度系数的估算方法进行介绍。信度系数的估算方法很多，其中在中小学地理教育测量与评价中比较常用的主要有以下三种方法。第三十一页，本课件共有88页(1)重测法 重测法是指用同一份试题在不同的时间对同一学生群体进行两次测验，以这两次测验分数之间的相关系数作为信度系数的一种方法。用重测法求得信度系数又叫重测信度或稳定性系数，它反映的是两次测验分数之间的一致性程度。如果两次测验分数的相关性越好，说明测验的信度就越高，表明试题的稳定性好。第三十二页，本课件共有88页 在用重测法估算信度系数时，要特别注意两次测验时间间隔的长短。

33、合适的时间间隔是提高估算信度准确性的一个重要因素：时间过短，容易产生练习效应；时间过长，由于被试知识背景等的变化，会影响第二次测验分数。根据测验目的和性质的不同，其时间间隔可以是几天，几个月，甚至几年。在非标准化测验中很少采用这种方法来估算试题的稳定系数，而在标准化测验中，采用重测法来获得试题的稳定性系数不仅是可能的，而且稳定性系数还是衡量试题质量的一个重要指标。第三十三页，本课件共有88页【例】假设某地理教师对某班级的45位学生进行一次标准化地理测验，为评价该次测验结果的稳定性，过了10周后，又用同一份试题对该班全体学生进行第二次测验，两次测验的分数如表46所示。试估算这次测验的信度系数(为

34、计算的简便，这里仅取9位考生的分数）。第三十四页，本课件共有88页第三十五页，本课件共有88页(2)复本法 用复本法估算信度系数时，首先要编制一份在题目内容、形式、难度、区分度、评分方法、题量、分值、测验时间等方面都与原测验试题基本相同或相近的复本，然后分别对同一学生群体进行测验，用考生在两次测验中所取得的分数之间的积差相关系数作为信度系数。用复本法求得的相关系数所表示的信度，叫做复本信度。它所反映的是用两份等值测验试题对同一学生群体两次测验结果的等值性程度。如果考生对两份测验试题都能比较顺利答对，则说明两次测验有良好的等值性，可初步认为测验试题具有较好的信度。因此复本信度系数也叫等值性系数。

35、第三十六页，本课件共有88页 产生复本信度误差的来源有：如果两次测验时间间隔过长，第二次测验分数易受被试在此期间的学习、练习等的影响；如果两次测验连续进行，则容易使被试感到疲劳，测验时注意力分散，而影响测验分数。不过，复本法因使用的是两次不同的测验，可以进行连续测验，从而尽量避免由于时间间隔过长而引起被试特质的成长或变化，而且被试的练习效应明显低于重测法。可见，复本法略优于重测法。第三十七页，本课件共有88页 【例】某地理教师编制了A卷和B卷两份等值试卷，为了解测验结果的信度，对某班的45位学生先后用A卷和B卷施测，两次测验的分数如表47所示。试估算复本信度。(为计算的简便这里仅取9位被试的分

36、数)第三十八页，本课件共有88页自己用自己用自己用自己用excelexcelexcelexcel生生生生成公式成公式成公式成公式算出相算出相算出相算出相关系数关系数关系数关系数第三十九页，本课件共有88页求得 097，即复本信度系数为097，考生在两次测验中所得分数呈高度正相关，说明两份测验试卷间有较好的等值性，可认为测验试卷的可靠性良好。第四十页，本课件共有88页(3)折半法折半法的一般作法是：将整份测试卷的全部题目分成对等的两半，然后依据考生群体中每位考生在两半部分题目上的得分，计算积差相关系数，最后用相应的校正公式对积差相关系数加以校正，以求得测验或测验试卷的整体信度系数。其核心在于如何

37、将测验试卷进行分半，比较常用的有三种方法：一是完全随机分半；二是奇偶题目分半，即奇数题组成一个部分，偶数题则为奇数题的复本；三是测验试卷分成若干个内容块，再将各内容块的题目奇偶分半，所有奇数题和所有偶数题各组成一个分测验。第四十一页，本课件共有88页 用折半法求得的测验或测验试卷的整体信度，叫折半信度，其信度系数叫折半信度系数。折半信度主要反映的是测验或测验试卷内部所有题目之间的一致性或同质性程度。折半信度的误差主要来自测验中的分半过程，不同的分半方法所得的分半信度是会有差异的。不过，它可以避免重测法和复本法的误差源，而且方便易行，具有良好的可行性，是一种实际教学中最为常用的一种信度估算方法。

38、第四十二页，本课件共有88页 在对考生群体在两半部分题目上的得分的积差信度系数进行校正，以得到测验或测验试卷的整体信度系数时，要根据不同的情况采用不同的校正方法：第四十三页，本课件共有88页第四十四页，本课件共有88页可见两个方差相差非常接近，所以可用斯皮尔曼-布朗公式校正。第四十五页，本课件共有88页第三步第三步 校正校正即这次测试卷的整体信度系数为即这次测试卷的整体信度系数为0.980.98第四十六页，本课件共有88页2 2目标参照测验的信度目标参照测验的信度 目标参照测验的目的不在于区分考生相互间的差异性，而是目标参照测验的目的不在于区分考生相互间的差异性，而是检查考生是否已经达到既定的

39、教学目标。因此不能用相关系数检查考生是否已经达到既定的教学目标。因此不能用相关系数作为衡量信度的标志作为衡量信度的标志,而需要用另外的方法来测量它的信度。而需要用另外的方法来测量它的信度。比较常用的方法主要有以下两种。比较常用的方法主要有以下两种。(1)(1)分阶段比较法分阶段比较法 分阶段比较法是对考生在前后两个阶段的目标参照测验结分阶段比较法是对考生在前后两个阶段的目标参照测验结果进行对照，以后一阶段的测验结果来检验前一阶段测验的果进行对照，以后一阶段的测验结果来检验前一阶段测验的信度。信度。通过分析可以了解测验内容与实际教学中要求掌握的内容之间的通过分析可以了解测验内容与实际教学中要求掌

40、握的内容之间的一致性程度，来测量试题内容的质量。一致性程度，来测量试题内容的质量。如果信度高，说明试题内容反映了教学要求，试题质量较高，如果信度高，说明试题内容反映了教学要求，试题质量较高，否则，试题质量就不高。否则，试题质量就不高。第四十七页，本课件共有88页 其具体步骤是：第一步，对考生进行第一次测验(前期目标预测测验)，即对考生进行一次较低水平的目标参照测验，确定一个决断分数，从测验中找出高出决断分数的考生，并认为这些考生已具备进入下一阶段学习所需要的条件。第二步，让这一部分考生进入下一阶段的学习或训练。在完成学习或训练之后，对考生进行第二次测验(后期目标检测测验)。第三步，分析结果。因

41、为这部分考生在第一次测验之后被认为已经具备进入下一阶段学习的条件。因此在第二次测验中能达到目标的可能性应该比较大。可见，如果在第一次测验中达到目标的大部分考生在第二次测验中也能达到所规定的目标，则可认为上一次测验的信度是高的。如果在第一次测验中达到目标的许多考生在第二次测验中得分很低，没有达到所规定的目标，则可认为第一次测验的信度不高。第四十八页，本课件共有88页2.复本法复本法的具体做法是：用两份等值测验试卷对同一考生群体进行两次测验，事先确定一个决断分数，如果考生的测验分数低于决断分数，则认为不合格，然后统计出两次测验中均合格(两次测验都合格)人数(a)和均不合格人数(b)，用两者的总数与

42、参加测验总人数(n)的百分比来判断测验的信度。即用两次测验合格与不合格的一致性百分比作为测验的信度(r)。其计算公式如下：第四十九页，本课件共有88页第五十页，本课件共有88页第三节 试题的效度试题的信度主要反映的是试题的“可靠性”，可以通过考生在测验中所得分数的稳定程度来反映，它是评估试题质量的一个重要指标。但即使在试题“可靠性”很好的情况下，也不能完全断定这是一份高质量的试题。比方说用一支温度计对同一物体进行连续的多次测量，尽管每次测量的结果都高度一致，也就是说测量的信度是很高的，但是，如果温度计本身的刻度不准确，测量的结果还是无效的。因此，要评估一份试题质量的好坏，还要把握另一个重要指标

43、试题的效度。第五十一页，本课件共有88页一、效度的概念 效度也称“测验的有效性”，是指某次测验所能提供的对某一特质所做预测的理想程度，也就是测验在多大程度上测试了所要测的东西，它代表的是测验的准确性。对地理测验来说，则表示所测验的内容能否反映学生在掌握地理方面的一些特质，如测验内容是否充分反映所要测量地理教学内容的教学目的和要求，能否预测所要测量的某种地理技能在将来某一时期的发展情况等等，如果不能很好做出反映，测验自然就是无效的。第五十二页，本课件共有88页 例如，在测试学生对地球运动这节内容的掌握程度时，如果测验试题选取的是一些有关地壳变动方面的内容，则自然不能达到预期想要知道的结果，这种测

44、验显然是无效的。根据不同用途，效度通常可以分为内容效度、效标关联效度和构想效度。下面就这三种效度的意义和估算方法做简单介绍。第五十三页，本课件共有88页二、几种常用的效度及估计方法 1内容效度 内容效度是指测验内容反映出考生掌握相关的教学内容和实现预期能力提高的程度，即测验的内容能否反映所要测试的目的和要求。例如在测验考生掌握“时差”这一概念程度时，用“北京位于东八区，东京位于东九区，当北京是2010年11月21日晚上12点整时，东京是2010年（）月（）日（）点”这一题目来测试，显然要比“中国的首都是（），日本的首都是（）”这种测验试题更具有内容代表性，即内容效度更高。第五十四页，本课件共有

45、88页教学内容和教学目标是内容效度的两个重要因素。在一次测验中是否具有理想的内容效度，其关键自然也就在于测验试题的取样是否合适，而不在于测验的形式。因此，为了提高测验的内容效度，在命题时，应依据地理课程标准规定要求掌握的各部分地理课程内容，以及应提高的各种地理技能、地理能力等等的相对重要性，确定它们在测验试题中应该占有的比重，并根据这个比重来命题。第五十五页，本课件共有88页评估内容效度时，主要是通过比较地理测验内容与地理课程标准要求的一致性程度来衡量的，不过目前还没有一种很好的方法来统计这种一致性程度的大小。现在采用的比较多的是先编制一份双向细目表，然后将测验内容对照双向细目表进行逻辑分析和

46、比较的方法。其具体做法是：第五十六页，本课件共有88页首先，根据想要测验的教学内容范围编制一份双向细目表，它包括教学内容和教学目标两大维度，各维度又分为若干个小项，列出每一项的相对比例。然后，分析测验试卷的每一个题目，确定它们所涉及的相关地理知识和技能，列出涉及同一教学内容和教学目标的题目，并统计它们的分值及在整份测验试卷中所占比例。最后，把测验试卷的内容结构与相应的双向细目表进行比较分析，计算测验内容对双向细目表范围的覆盖率，从而获取衡量内容效度的指标。第五十七页，本课件共有88页 不过，这种方法只能从表面上了解地理测验内容与地理课程标准要求的一致性程度，而无法真正测出双向细目表所列的内容。

47、比如，有这样一道填充题，“我国冬季气温（）差别很大”，出题的本意是想测试学生对我国冬季气温地区差异的掌握情况，应该填“南北”，由于题意表述不明确，虽然学生可能知道我国冬季气温的地区差异性，但学生也可能会填“早晨和中午”，结果无法达到预期的测试目的。、第五十八页，本课件共有88页2 2效标关联效度效标关联效度 效标关联效度，指某测验对考生目前或将来的某种能力、行为进行测试、预测的有效性。比如，用一次地理测验来衡量学生参加地理兴趣小组所需的相关地理能力，以组建地理兴趣小组。如果地理测验对学生能力的预测性很差，即效标关联效度很低，则选进来的学生可能就是一些并不符合参加地理兴趣小组要求的学生，而那些真

48、正符合要求的学生反而没有入选。在这里，学生的地理能力既是被预测的内容也是检验测验效度的标准，简称效标，它常用另外一种测验结果来表示。如果测验分数和作为效标的分数获得的时间间隔很短，则称为同时效度；若获得时间间隔比较长，则称为预测效度。效标关联效度也就是反映测验分数与效标相关程度的高低。第五十九页，本课件共有88页 估算效标关联效度的方法有多种，如相关法、团体区分的统计检验法、预测表等，其中比较常用的是相关法。下面只对相关法的估算方法作简单介绍。相关法，是指用统计方法求出被测测验与效标测验两者所得分数之间的相关系数，作为衡量效标关联效度高低的指标。如果用x、y分别表示被测测验和效标测验所得分数，

49、、分别表示被测测验和效标测验所得分数的平均分，r表示两者间的相关系数，则计算公式如下：第六十页，本课件共有88页 r的取值范围为-1r1，如果r0，说明两者是正相关，取值越大，表明效度越高；如果，r0，说明两者是负相关；如果r=0，说明两者不相关，效度为零。第六十一页，本课件共有88页相关系数的计算方法还有以下两种。用标准分数Z用ZX、Zy分别表示被测验和校标测验所得分数的标准分数，学生数用n表示，则利用原始分数第六十二页，本课件共有88页 3构想效度 构想效度是指测验对于被称作构想的某理论概念或特质测量的程度。一般认为构想效度包括内容效度和效标关联效度，而不是一种独立的效度。所谓“构想的某理

50、论或特质”，是指人的行为过程中表现出来的某些抽象的属性或心理特质，如学习地理的兴趣、学习地理的动机、实践操作能力、地理思维能力等。这些抽象的属性或心理特质都会与某种外在可观察的行为有着直接或间接的联系，因此，可用后者对前者进行测量。第六十三页，本课件共有88页而测量的有效程度便以构想效度来表示。如果一个测验具有良好的构想效度，而某考生在此测验中取得了较高的成绩，则说明该考生在所测的特质上有较高的水平，如果测验的构想效度很低，则说明测出的特质并不是想要测的特质，表明测验分数高的考生在想要测的特质上并不一定有较高的水平。第六十四页，本课件共有88页估算构想效度的方法主要有因素分析法、多元特质多重方