《考试命题的基本知识与技巧PPT培训讲义课件.ppt》由会员分享,可在线阅读,更多相关《考试命题的基本知识与技巧PPT培训讲义课件.ppt(51页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、考试命题的基本知识与技巧(优选)考试命题的基本知识与技巧n 考试的信度指测量结果或评价结果之间的一致性程度。也就是测量结果是否真实、客观地反映了考生的实际水平。无论是量的稳定性,还是质的分析判断,高信度的测验或评价表意味着具有较好的误差控制能力。因此,信度是反映测量或评价表性能的一个重要的质量指标。(一)考试的信度 具体而言,可以从以下三方面来理解测量的信度。1.信度指实测值与真值相差的程度 测量的目的之一,就是希望通过测量得到的实测值能够接近事物的真实值。由于各种原因,实测值一般不会完全等于真实值,两者之差称为测量误差。测量误差越小,测量的信度就越高。2.信度指统计量与参数之间的接近程度 统
2、计量和参数是统计学中的两个基本概念。统计量是指样本上的各种数字特征(如样本的平均数、标准差等),参数是总体上的各种数字特征(如总体的平均数、标准差等)。统计量越接近参数,这个统计量的可靠性就越高,因此,信度就越高。要知道统计量对参数的接近程度,可以对参数进行区间估计。这种方法对估计真分数也很有用的。但这种理解也无法计算出信度。3.信度指两次重复测量或等值测量之间的关联程度 如果对同一对象进行两次重复测量或者等值测量以后,计算两次测量的相关系数,相关系数越高,说明测量的信度就越高;反之,就越低。对于信度的这种理解,有利于信度的计算。但重复测量会受到被测对象的经验、知识增长等因素的影响,等值测量又
3、较难编制,因此,采用这种方法计算信度时,也是有误差的。信度是任何一个测量的必要条件,对于教育测量来说,它具有更为重要的意义。因为教育测量的对象主要是精神现象,所测量的特性不易把握,为了能真实地反映测量对象的某种特点,需要更加注意测量的信度,从而正确地判断测量结果的价值。只有信度高的测量才能成为教育工作者有用的工具,否则,测量的结果是无意义的、无效的。(二)考试的效度 n 效度是指测量结果的准确性和有效性的程度,亦即测量是否达到了预期的目的。考试的效度是指通过一次考试能确实地测量到它所欲测量的程度。因此,考试的效度既与考试本身属性有关,也与考试的用途与使用方法有关。离开考试用途,孤立地研究考试的
4、效度是没有太大意义的。效度的概念在不断发展,效度的种类也因用途或研究方法的不同而不同。统计量越接近参数,这个统计量的可靠性就越高,因此,信度就越高。离开考试用途,孤立地研究考试的效度是没有太大意义的。点评:题目有比较明显的人工编造的痕迹。填空题需要提供相对完整的语境,其答案可以是唯一的,也可以是灵活的。命题要充分体现新课程理念,严格按照学科课程标准命题。这种方法对估计真分数也很有用的。因此,信度是反映测量或评价表性能的一个重要的质量指标。列出各种认知能力(学习水平)目标的权重;内容效度的评估方法选择题主要用于考查考生的识记、理解、辨析能力,由题干和选择支组成。对于信度的这种理解,有利于信度的计
5、算。相反,难度值越接近1,其难度就越小,正确回答试题的人数就越多,测验分数集中在高分段,分数分布呈现负偏态。统计量是指样本上的各种数字特征(如样本的平均数、标准差等),参数是总体上的各种数字特征(如总体的平均数、标准差等)。填空题属于再生式的客观测验,同等难度填空题得分低于选择题得分。但是材料体现的价值观得商榷。(9)正确答案出现的位置应随机排列,且其次数要大致相等,以避免猜测因素之影响。专家判断法;命题要充分体现新课程理念,严格按照学科课程标准命题。1.考试的效度分类:内容效度、准则效度和结构效度。(1)内容效度指的是测验题目对有关内容或行为取样的适用性,从而确定测验是否是所欲测量的行为领域
6、的代表性取样。内容效度的评估方法 专家判断法;统计分析法(评分者信度复本信度折半信度再测法);经验推测法(实验检验)(2)准则效度指测量所得到的数据和其他被选择的变量(准则变量)的值相比是否有意义。同一概念可能有多种测量方法,假如其中一种成为准则另外一种就可以与之比较而判断其效度。(3)结构效度指测量结果体现出来的某种结构与测值之间的对应程度。结构效度分析所采用的方法是因子分析。最关心的问题是:量表实际测量的是哪些特征?在评价建构效度时,调研人员要试图解释“量表为什么有效”这一理论问题以及考虑从这一理论问题中能得出什么推论。结构效度包括同质效度、异质效度和语意逻辑效度。2.效度的理论公式3.信
7、度与效度的关系(1)信度是效度的必要条件,但不是充分条件。一个测量工具要有效度必须有信度,没有信度就没有效度;但是有了信度不一定有效度。(2)信度低,效度不可能高。因为如果测量的数据不准确,也并不能有效地说明所研究的对象。(3)信度高,效度未必高。例如,如果我们准确地测量出某人的经济收入,也未必能够说明他的消费水平。(4)效度低,信度很可能高。例如,即是一项研究未能说明社会流动的原因,但它很有可能很精确很可靠地调查各个时期各种类型的人的流动数量。(5)效度高,信度也必然高。因此,在信度与效度之间,首先要重点保证是高效度,因为,高效度必然高信度;反之,则不然。特别是对于教育测量而言,效度问题显得
8、更为重要。(三)试题的难度 难度是指测验试题的难易程度,可用通过比率来表示。各个试题的难度以适中为宜。国外许多研究者以及我国的试验结果证明,只有难度中等的试题才是较好的。计算难度的基本公式(1)客观题难度的计算:1.难度的计算另外主观题是考察学生思考过程的好载体。试题要反映课程标准对学生三维目标的基本要求,加强与社会生活和学生经验的联系,注重考查学生对知识与技能、过程与方法的掌握情况及创新精神和实践能力,特别要注重考查在具体情境中学生综合运用所学知识分析和解决问题的能力。这样,可以提高区分度。因此,信度是反映测量或评价表性能的一个重要的质量指标。(6)尽量避免引用课文的原话,以免导致机械背诵教
9、材的不良风气。(一)考试命题双向细目表(一)选择题的命题技术奥维尔莱特在空中飞行的12秒使他成为第一个操纵由驾驶员控制的、重于空气的、真正的飞机的人。命题要充分体现新课程理念,严格按照学科课程标准命题。但是有了信度不一定有效度。(2)在大规模的测试中,通过预测来控制难度值。结构效度包括同质效度、异质效度和语意逻辑效度。(1)探究题考查理解能力、问题解决等能力,通常作为重要的甄别、选拔试题;在探究试题中,考生面对的不是现成的陈述性知识,而是具有一定挑战性的问题,通过自主探究来回答问题,并在此过程中展示知识和技能、发展能力、获得基本的情感体验。有一次,一个和曾参同名的人杀了人,别人误以为是曾参,就
10、对曾参的母亲说“你儿子杀了人。结构效度分析所采用的方法是因子分析。(6)要求题干完整,其叙述应能显示题意。填空题主要用于考查考生对所学知识的识记、理解与分析的能力。这种方法对估计真分数也很有用的。(1)填空题(2)问答题(3)简答题(4)解答题(5)论述题(6)图文题(7)探究题(8)开放题(2)主观题难度的计算:2.难度对测验的影响(1)测验难度影响测验分数的分布形态 难度值过大或过小,都会造成测验分数的偏态分布。难度值越接近0,测验的难度就越大,正确回答试题的人数就越少,测验分数就越是集中在低分段,其分数分布呈正偏态;相反,难度值越接近1,其难度就越小,正确回答试题的人数就越多,测验分数集
11、中在高分段,分数分布呈现负偏态。(2)测验难度影响测验分数的离散程度 测验难度直接影响测验分数的离散程度,因为难度过大或过小,测验分数的分布都呈偏态分布,亦即测验分数都分布在高分段或低分段,这样,测验分数的离散程度就变小了。(3)测验难度影响测验的鉴别能力 这里实际上谈的是难度对区分度的影响。适中的难度可使试题的区分度达到最大。3.测验的适宜难度 一般要求试题难度适中,即大多数题目的难度在0307之间,少数题目可在这一范围之两边且题数(或题分)大体相当,使整个试卷的平均难度为050左右(045055之间)。只有适中的题目难度,才能使试题产生区分不同程度考生的最大效果,也才能使考生得分呈正态分布
12、。而对全部考生都能做或都不会做的题目则应予删去。4.控制题目难度的基本方法(1)影响题目难度的主要因素 考查知识点的多少;考查能力的复杂程度或层次的高低;考生对题目的熟悉程度(如本来较易的题目会因考生均未注意而造成很难,或本来较难的题目会因为考生普遍练习过而变得较容易);命题的技巧性(如同一个问题,可以命得容易,也可以命得较难)。(2)在大规模的测试中,通过预测来控制难度值。命题人员根据上述因素估计一个难度范围;然后通过测试看这个估计的准确程度,分析原因,进而提高评估能力。经过预测取得难度的题目可以进入题库,以备后用。(四)题目的区分度 区分度是指测验对考生实际水平的区分程度,用符号 表示。具
13、有良好区分度的测验,实际水平高的应该得高分,实际水平低的应该得低分。所以,区分度又叫鉴别力。它是评价试题质量,筛选试题的主要指标与依据。5.区分度与难度的关系 由上表可知,难度适中,可使区分度达到最大值。6.提高区分度的方法(1)使题目的难度适中。难度与区分度的关系在上表中已有说明,题目的难度适中可使区分度达到最大值。因此,使难度适中是提高区分度的重要方法。(2)着重考察复杂的学习结果。复杂的学习结果使高能学生能得高分或最高分,低能学生得低分甚至最低分,使分数尽量分布在整个分数量尺上。这样,可以提高区分度。二、常见题型的命题技术(一)考试命题双向细目表 考试命题双向细目表是一种考查目标(能力)
14、和考查内容之间的列联表。制作考试命题双向细目表,是命题工作的一个重要环节。双向细目表可以使命题工作避免盲目性而具有计划性;使命题者明确测验的目标,把握试题的比例与份量,提高命题的效率和质量。同时,它对于审查试题的效度也有重要的指导意义。测验内容选择题 简答题 证明题 应用题 分析题合计识记理解识记分析综合应用分析综合、创造合计(二)反映测验内容与测验目标、题型之间关系的双向细目表 该表是上一个表的改进,增加了题型。(三)制作双向细目表的程序 1.列出课程标准的细目表;2.列出各部分内容的权重;3.列出各种认知能力(学习水平)目标的权重;4.确定各考查点的题型数量、难易 度、测验内容;5.审查各
15、考查点的分配是否合理。(1)探究题考查理解能力、问题解决等能力,通常作为重要的甄别、选拔试题;最关心的问题是:量表实际测量的是哪些特征?在评价建构效度时,调研人员要试图解释“量表为什么有效”这一理论问题以及考虑从这一理论问题中能得出什么推论。这种方法对估计真分数也很有用的。向一定质量的氯化铜溶液中,逐滴加入硝酸银溶液至完全反应,经测定反应后所得溶液质量恰好等于加入的硝酸银溶液质量,则该氯化铜溶液的溶质质量分数是。点评:题目有比较明显的人工编造的痕迹。结构效度包括同质效度、异质效度和语意逻辑效度。结构效度包括同质效度、异质效度和语意逻辑效度。经过预测取得难度的题目可以进入题库,以备后用。填空题主
16、要用于考查考生对所学知识的识记、理解与分析的能力。结构效度分析所采用的方法是因子分析。(2)在大规模的测试中,通过预测来控制难度值。同时,它对于审查试题的效度也有重要的指导意义。由上表可知,难度适中,可使区分度达到最大值。有一次,一个和曾参同名的人杀了人,别人误以为是曾参,就对曾参的母亲说“你儿子杀了人。而对全部考生都能做或都不会做的题目则应予删去。若反比例函数(5)选项之间应避免重迭现象,且宜按选项的逻辑顺序排列。填空题需要提供相对完整的语境,其答案可以是唯一的,也可以是灵活的。开放题的基本要求是把握好开放的空间、开放的梯度和开放的题点。举例:某地一道语文中考题各个试题的难度以适中为宜。重庆
17、高2013级二诊文科数学细目表三、常见题型的命题技术 命题要充分体现新课程理念,严格按照学科课程标准命题。试题要反映课程标准对学生三维目标的基本要求,加强与社会生活和学生经验的联系,注重考查学生对知识与技能、过程与方法的掌握情况及创新精神和实践能力,特别要注重考查在具体情境中学生综合运用所学知识分析和解决问题的能力。(1)单项选择(2)多项选择(3)辩识选择(4)阅读选择(5)最佳选择(6)图解选择(7)归类选择(8)承接选择(9)排序选择(10)填空选择1.选择题分类(一)选择题的命题技术 选择题主要用于考查考生的识记、理解、辨析能力,由题干和选择支组成。这是一种便于评卷的常用题型。选择题内
18、容覆盖广,有利于考查考生对知识的掌握程度和能力的发展水平。(1)每题所列的选项应该一致,以四个为宜。(2)每题的选项以简短为宜,必要的叙述或相同的字词宜置于题干中。(3)选项之“答案”在形式或内容性质上不可特别突出。(4)每个选项均有一定的迷惑性,但要避免人为的“陷阱”。少用“以上皆非”,避免使用“以上皆是”的答案2.命制选择题技术(5)选项之间应避免重迭现象,且宜按选项的逻辑顺序排列。(6)要求题干完整,其叙述应能显示题意。(7)题干句子相对可长,而选项则尽量短些。除非重要概念,少使用双重否定。(8)语言叙述较多的选项,在语法、语气和句子长短方面应保持一致。(9)正确答案出现的位置应随机排列
19、,且其次数要大致相等,以避免猜测因素之影响。奥维尔莱特在空中飞行的12秒使他成为第一个操纵由驾驶员控制的、重于空气的、真正的飞机的人。“人”前面有几个定语?()A2个 B3个 C5个 D6个3.选择题举例点评:人为制造繁难题干,难以理解(二)填空题的命题技术 填空题主要用于考查考生对所学知识的识记、理解与分析的能力。填空题需要提供相对完整的语境,其答案可以是唯一的,也可以是灵活的。填空题属于再生式的客观测验,同等难度填空题得分低于选择题得分。1.常见的填空题分类(1)补省填空(2)默写填空(3)表格填空(4)排序填空(5)语境填空(6)选择变填空(1)问题必须明确,要让考生知道问题中心所在,要
20、填什么。(2)每道题的空白处(残缺处)不宜过多,以免影响对题意的理解,太多就失掉意义上的连贯性。(3)每道题的空白处应是填有考查意义的关键词语,或是问题的重要内容或字眼,而不是旁枝末节。2.命制填空题技术(4)一般应将空白放在句子中间或后部,若放在开头,以不影响对题目的理解为原则。(5)一般每道题只有1个空,对于有2个以上空白的题,各个待填答案要相互独立不能有关联。(6)尽量避免引用课文的原话,以免导致机械背诵教材的不良风气。同时要避免对答案有暗示作用的词汇。一道中考数学填空题 若反比例函数 在每一个象限内y随x的增大而增大,则m=点评:在条件上过于转弯抹角,人为复杂化(三)主观题的命题技术
21、主观题命题包括四个重要环节,即选择题干背景材料、设问、赋分和制定评分标准 1.常见的主观题题型(1)填空题(2)问答题(3)简答题(4)解答题(5)论述题(6)图文题(7)探究题(8)开放题 然后通过测试看这个估计的准确程度,分析原因,进而提高评估能力。填空题主要用于考查考生对所学知识的识记、理解与分析的能力。统计量越接近参数,这个统计量的可靠性就越高,因此,信度就越高。测验难度直接影响测验分数的离散程度,因为难度过大或过小,测验分数的分布都呈偏态分布,亦即测验分数都分布在高分段或低分段,这样,测验分数的离散程度就变小了。命题要充分体现新课程理念,严格按照学科课程标准命题。本题最后让学生得出“
22、留言传播得次数多了,也会让人相信”的结论,是不是过于“负面”,过于“灰色”了呢?填空题需要提供相对完整的语境,其答案可以是唯一的,也可以是灵活的。考生答题只要不偏离命题要求,可以根据自己的理解自由发挥,自成一说、言之成理即可;“人”前面有几个定语?()试题表述符合考生的理解能力和阅读习惯;命题要充分体现新课程理念,严格按照学科课程标准命题。(一)考试命题双向细目表可是,当第三个人来说曾参杀了人时,他母亲就害怕地逃走了。开放型试题常见有:条件开放型题、结论开放型题、组合开放型题(即条件和结论同时开放)、策略开放型题.举例:某地一道语文中考题因此,信度是反映测量或评价表性能的一个重要的质量指标。可
23、是,当第三个人来说曾参杀了人时,他母亲就害怕地逃走了。适中的难度可使试题的区分度达到最大。(1)主观题一定要给学生留出思考的空间,主观题的优势在于可能做到不拘束学生的思想。另外主观题是考察学生思考过程的好载体。(2)主观题要有明确的评价目标和严谨的评分标准,不能随意出,也不能让学生随意答。(3)主观题中,尤其是文科的题目,经常涉及情感态度价值观.一定要有正确的价值观,摒弃权力、愚昧、封建元素;摒弃假大空;鼓励学生说真话。2.主观题的命题技术n 曾参是孔子的学生,品德高尚。有一次,一个和曾参同名的人杀了人,别人误以为是曾参,就对曾参的母亲说“你儿子杀了人。”曾参的母亲不相信,说“我儿子绝不会杀人
24、。”过了一会儿,又有人说曾参杀了人,他母亲仍然不相信。可是,当第三个人来说曾参杀了人时,他母亲就害怕地逃走了。n 这个故事告诉我们_n 答案留言传播得次数多了,也会让人相信n 教育部项目组专家点评(已成书)本题考查学生的概括能力,试题立意很好,题目设计也不错,答案无误。但是材料体现的价值观得商榷。初中生正处于情感态度价值观形成的关键时期,总的说来,学校教育还应该多从正面对他们进行积极引导,学业考试本身也具有教育功能。本题最后让学生得出“留言传播得次数多了,也会让人相信”的结论,是不是过于“负面”,过于“灰色”了呢?举例:(某地中考题)(4)试题不能出现科学性错误 试题表述准确、清晰、没有歧义;
25、试题表述符合考生的理解能力和阅读习惯;对于只有唯一正确答案的题目,正确答案应该是确定无疑的。(5)尽量保证题目的公平性 是否因为学生的性别、生活背景、经验和文化等方面的不同而使得题目对某些群体更为不利或有利?某些群体得分率比较低并不一定是公平性问题,也许此群体学生在此方面确实掌握得不好。(6)设置恰当的“情境”至关重要 设置“情境”的本质是提供一个平台,能够让学生针对知识、技能、过程方法等进行提取、组合、尝试、判断以及模式化等等,有时这个过程比结果更为重要;根据学科和测试目标的不同,情境的现实化和生活化程度是不一样的;不要为了情境而设置情境;虽然有些情境不要求真实,但需要合理,一定不能让学生产
26、生迷惑。水库旁山上有一棵树,树枝上用细线挂着一个小球A,现在小球正在摆动,请你在图16中画出小球静止时的位置。点评:情境设置不自然,属于明显的伪情境举例:一道中考物理情境题举例:一道中考化学情境题 向一定质量的氯化铜溶液中,逐滴加入硝酸银溶液至完全反应,经测定反应后所得溶液质量恰好等于加入的硝酸银溶液质量,则该氯化铜溶液的溶质质量分数是。点评:题目有比较明显的人工编造的痕迹。“恰好等于加入的硝酸银溶液质量”,事实上不会有这种真实情景。3.探究题的命题技术 探究题着重考查学生的探究精神和创新意识。在探究试题中,考生面对的不是现成的陈述性知识,而是具有一定挑战性的问题,通过自主探究来回答问题,并在
27、此过程中展示知识和技能、发展能力、获得基本的情感体验。(1)探究题考查理解能力、问题解决等能力,通常作为重要的甄别、选拔试题;(2)设置恰当的探究点,知识载体一般没有局限,但是要力求避免应用高一级的知识解释问题;(3)难度通常控制在045左右比较合适。4.开放题的命制技术 所谓开放型试题,是指那些条件不固定,结论不明确,解法无限制,却能反映学生对知识的总结、整合、应用能力的试题.开放型试题常见有:条件开放型题、结论开放型题、组合开放型题(即条件和结论同时开放)、策略开放型题.“冉树巷:汗洒黄土地 烛光映山乡”是人民日报4月29日一则消息的标题(冉树巷是人名)。请根据标题试着为这则消息写一个导语。点评:该题缺少足够的背景材料而要求学生作出判断,学生便无从下手。试题好像是开放性的,但大而空,可能引发学生说套话,说空话。举例:某地一道语文中考题 命题人心态要开放、视野要开放、表达也要开放;开放性试题一般不给参考答案,至多也只是给答题思路。考生答题只要不偏离命题要求,可以根据自己的理解自由发挥,自成一说、言之成理即可;开放性试题的本质是开放,开放性试题的核心是放开,允许考生答题时融进自己独特的生活体验;开放题的基本要求是把握好开放的空间、开放的梯度和开放的题点。(1)开放题的基本要求
限制150内