高考试题难度预估研究.pdf

第 2 7卷第 5期 2 0 1 8年 1 0月 数 学 教 育 学 报 JoURNAL oF M ATHEM ATI CS EDUCAT1 0N VO 1 2 7 N0 5 0c t 2 0 l 8 高考试题难度预估研究 任子朝 ，佟威 ， ( 教育部考试中心， 赵轩，陈 昂 北京1 0 0 0 8 4) 摘 要 ：高考 由于其高利害性和敏感性 ，不能通过考前试测预 先掌握试题难度 ，只能在命题过程 中依靠 命题 人员主观预估 确 定试 题的难度 在命题人 员对每个试题进 行难 度预估后 ，可 以采用各种统计方法对预估值进 行数据处理，例 如求 预估 难度 与实测 难度 的相关系数，计算每人预估的平均差异 ，计算预估值 的标准 差等 根据数据处理 的结果 ，确 定对预 估值 与实测值 的拟合程度 和每个命题人员的预估精度 ，从而在 以后 的年份科 学地 利用预估数据预测高考试题 的实测难度 关键词 ：高考；预估难度 ；实测难度；统计分析 中图分类号：G6 3 2 0 文献标识码 ：A文章编号：1 0 0 4 - 9 8 9 4( 2 0 1 8) 0 5 0 0 1 3 - 0 4 引用格式：任子朝，佟威，赵轩，等高考试题难度预估研究 J 数学教育学报，2 0 1 8 ，2 7( 5 ) ：l 3 1 6 1 问题提 出 普通高等学校招生全国统一考试大纲对高考提出了 明确的测量指标要求 ：“ 高考应 具有较高 的信度 、效度 ，必 要 的区分度和适 当的难度 ”_ 1 高考 由于其 高利害性和敏感 性 ，不能通过考前试测的方法来掌握试题难度 但 由于难度 是考生和中学教师最关注的统计指标之一 ， 对录取和 中学教 学都有重要的影响，所 以在考前预估试题难度 ，以便及 时在 命题 中进行相应调整就显得尤为重要 这里 以 2 0 1 7年 高考 数 学试 题难 度预估数据和实考的统计数据为基础 ， 讨论 高考 试题难度 预估的策略 ， 对预估数据进行统计分析 的方法及对 预估值 的合理利用 2 研究设计和数据分析 2 1 命题 教师预估 以高考 数学学科为例 ，试题定稿后 ， 每个命题教师对 高 考 I、I I 、I I I 卷文、理科共 6套试卷进行难度预估 ，逐个估 计每个试题 的难度 命题教师估计的基础包括往年类似试题 的难度统计数据，当年试题与往年试题的区别，当年考生的 平均水平等随后进行两项统计，一是把所有教师在每个试 题的预估值进行平均，得出该题全体教师预估的平均难度； 二是把每个教师在一份试卷预估的每个试题难度进行加权 平均，得出该教师对该份试卷的预估难度因保密原因，隐 去每个教师的姓名，只以编号代替每个教师都对 6套试卷 的 1 3 8 个试题进 行了难度 预估 2 2 对命题教 师预 估数 据的分析处理 高考结束以后，对考生数据进行系统抽样和计算分析， 得 出当年 6套试卷 的实考 数据 将教师预估数据和实考数据 进行对 比分析 在 表 1 中，将教师预估难度的平均值与实测 统计值进行 比较 ，用平均值减去实测统计值 ， 差值为负说 明 预估值低于实测值，差值为正说明预估值高于实测值 ( 1 ) 计算每个教师预估值高于或低于实测值的试题数量 图 1 中零 点水平线以上柱体表示 6 套试卷 中该名教师预 估得分率大于实测得分率的试题数量； 零点水平线以下柱体 表示该名教 师预估得分率小于实测得分率 的试题数量 例如 第一位 教师 的估 计有 7 8个试题过 高，6 0个试题过低 从图 1中可 以看 出，预 估值大于 实测 值的试题 数量平均为 7 7 5 个 ，小于实测值的试题数量平均为 6 0 5 个 ，平均多 出 1 7个 试题 ，说明专家 对学生能力的判断总体偏高 ( 2 ) 将每个教师估计的误差值相加， 计算每个教师的平 均差异 图 2 中柱体表示命题 专家平均每道试题预估得分 率大 于实测得分率 的值 由于是计算误差值 的代数和 ， 所 以存在 误差值正 负相抵 的问题 从中依然可 以看 出， 所有 教师 的估 计平均值都高于实测值 ( 3 ) 将每个教师估计的误差值的绝对值相加， 计算每个 教师 的平均差异 图 3中柱体表示命题专家 每道试题预估得分率与 实测 得分率之差 的绝对值 的平 均数 由于是计算误差值 的绝对值 的和 ， 所 以不存在误 差值 正负相抵的 问题 绝对值 差可 以用 来量化描述命题专家预估 得分率与实测得分率的相近程度 ， 即预估 的稳定程度 从中可以看出图 2差异值最大的教师 ， 在 图 3中的差异值较 小，说明该教师的预估虽然总体偏高 ， 但其误差值 的绝对值 的和 较小，即预估的稳定性较好 ( 4 ) 求每个 教师估计 值与实测值的相关系数 ， 判断每个 教师预估值与实测值的拟合程度 求全体教师估计平均值与 实测值 的相关系数 ，并与每个 教师进行 比较 判断教师预估 平均值 的拟合程度 从表 2可以看出，每个教师的预估值与实测值的相关系 数都大 于 0 7 ，说明其相关性很高，即教师对 试题难易的感知 与实测结果吻合度较高 教师的平均值与实测值的相关最高， 说明全体教师的平均预估结果好于每个教师的预估 结果 ( 5 ) 考察教师每个试题 预估值的标准差 表 1中的标准 差是全体教师预估值 的标准差 ，从表 1中可 以看 出， 教师预 估值与实测值差异大 的试题其 预估 值的标准差不一定大 ， 但 标准差大 的试题其预估值 与实测值 差异都 比较大例如 ， 全 国 I I I 卷理科数学的第 l 题、 第 l 0题的预估与实际差异非常 大，但是预估值的标准差相对较小；全国 I I I 卷理科数学第 收稿 日期 ：2 0 1 8 6 2 8 基金项 目：国家教育考试科研规划 2 0 1 7 年度课题新高考不分文理科后的数学命题研究 ( G J K 2 0 1 7 0 0 5) 作者简介 ：任子朝 ( 1 9 6 1 一 ) ，男，北京人，教育部考试中心研究员，主要从事数学教育、教育测量研究 第 5期 任子朝 ，等 ：高考试题难度预估研究 1 5 J O t 4 2 o1 3 8 o1 3 6 o1 3 5， ，1 4 o r 工 盯 9 o 1 7 一1 2 4 01 2 20 _1 2 O。l i 6。 1 i s J ) 扳O 1 o o ) - 咖 0 6 0 ) m O - a 0 2 0 一 ) m 0 r 一 r 一 ) ! l T I 图 3 2 0 1 7 年 专家预估 与实测难 度平均绝对差对比 表 2 每个命题教师预估值与实测值 的相关性分析 教 师编号 回归系数 截距 相关系数 T1 0 8 9 4 0 0 2 9 0 7 8 0 T2 09 31 0 0 3 2 0 8 0 8 T3 1 1 8 8 - 0 0 9 8 0 7 9 6 T4 O 9 5l 0 O 1 7 0 7 9 6 T5 1 0 01 - 0 O 3 l 0 8 27 T6 0 9 0 3 0 0 2 2 0 7 6 3 T7 1 0 61 - 0 0 9 1 0 8 4 4 T8 0 9 5 5 0 0 0 4 0 7 4 2 T9 08 9 2 0 0 0 7 0 8 l 8 T1 0 1 0 0 8 - 0 0 2 2 0 7 5 3 Tl 1 0 9 3 4 0 0l 1 0 7 9 7 T1 2 0 8 3 5 0 0 4 6 0 7 6 0 T1 3 1 0 9 3 - 0 0 9 1 0 8 3 1 全体教师平均 1 1 4 4 7 - 0 1 0 61 0 8 6 4 1 2 v l l 4 4 一 0 O 6 l ：0 7 4 5 9 ； 0 2 图 4 教师预估平均值与实测难度散点图 ： 竺 裔 等等 嚣 蔷 磊 篙拳 骞兰 夏 墨 表 3 教 师整 卷难度预 估 Tl T 2 T3 T4 T5 I 卷理科 0 5 7 O 5 3 O 5 3 0 5 2 O 5 5 I 卷文科 0 4 5 O 4 2 0 4 4 O 5 O 0 4 7 I I 卷理科 O 5 3 0 5 O 0 5 2 0 4 9 O 5 2 I I 卷文科 0 4 5 0 4 8 0 4 6 0 4 8 0 4 9 卷理科 O 5 O 0 4 9 O 5 O O 5 2 O 5 O I I I 卷文科 0 4 5 0 _3 9 0 4 3 0 4 8 0 4 4 T 6 T7 T8 T9 T1 O I 卷理科 O 5 6 0 5 6 O 5 5 0 5 7 0 5 6 I 卷文科 0 4 5 0 4 8 0 4 9 0 4 6 0 4 5 I I 卷理科 0 5 4 0 5 4 0 5 0 0 5 8 0 4 9 I I 卷文科 0 5 O O 5 3 0 4 9 0 5 O 0 4 9 I 卷理科 0 5 O O 5 7 O 5 O O 5 1 0 4 8 I I I 卷文科 0 4 6 0 4 6 0 4 4 0 4 6 0 4 6 T 1 1 T 1 2 T 1 3 平均 标准差 I 卷理科 0 5 5 0 5 9 0 5 1 O 5 5 0 0 2 2 I 卷文科 0 4 3 0 4 2 0 4 8 0 4 6 0 0 2 6 I I 卷理科 0 5 4 0 5 4 0 5 4 0 5 3 0 0 2 6 I I 卷文科 0 4 9 0 5 O 0 5 3 0 4 9 0 0 2 3 I I I 卷理科 0 5 4 O 5 2 0 5 4 O 5 1 0 0 2 5 I I I 卷文科 0 4 6 0 4 5 O 5 O 0 4 5 0 0 2 6 表 4 教师整卷难度预估均值与整卷实测难度对比 I 卷理科 I 卷文科 卷理科 教师整卷预估平均值 0 5 5 0 4 6 O 5 3 整卷实测难度值 0 5 4 0 4 2 0 4 7 预估平均值与实测差值 0 O 1 0 0 4 O 0 6 卷文科 卷理科 卷文科 教 师整卷预估平均值 0 4 9 O 5 l 0 4 5 整卷实测难度值 0 4 5 0 4 9 0 4 0 预估平均值与实测差值 0 0 4 O O 2 O O 5 教师对全国 I、 I I I 卷理科预估值与实测值偏差较小， 对 全 国 I 卷 理科和 全 国I I I 卷理 科 的估 计误 差分 别为 0 0 1和 0 0 2 ，达到了相当高的估计精度在其余几套试卷上，例如 全 国I I 卷理科 ， 预 估误差较大 ， 而且教师 间的估计值 的波动 性也较高 ，因此在 今后预估时 ， 对标准差 比较 大的情况应该 特别关注，及时进行讨论、调整整体而言，教师的整卷预 估难度高于实测值，说明教师对学生总体水平的预估偏高 3 结论和思考 ( 1 )全体 教师的预估值和实测值都是 显著相 关，但总体 偏 高 应在今 后每 年的命题中更多积累数据 ，关注 各年教师 估计偏 高的平均 值，在 以后的命题 中， 对 教师预估值进行相 应 的调整和 修正 ( 2 ) 教师预估难度时， 教师间预测的稳定性存在差异 有 三分之一左右老师的预测稳定程度较高，即他们的预估更 准 ，应 更多关注他们的预估值 ( 3 ) 预估值标准差大的题 目， 预估数据与实测数据差别 相对较 大应该特别关注标准差大 的题 目，对预估值标准差 较 大的题 目，应组织全组讨论预估情况 ，集体确定更加准确 的预估 值 ( 4 ) 两组之 间预估值 没有 显著差异 ， 可能是经过交叉互 审，已经对题 目非常熟悉 应该在第一轮交叉互审时预估难 度 ，及时调整 ( 5 )研究试题难度预估值和试卷难度预估值之间的关 一实 澍一 平 均 系，注重研究试卷整体难度预估的方法和规律 图 5 教师平 均预估难 度与实测 难度关系 ( 6 ) 在 当年的命题工作 中将预估与实测难度 的差异对 比 一 O ， o 0 数学教育学报 第 2 7卷 结果反馈给命题专家，根据统计结果进行难度预估的调整， 体智慧，共同讨论难度预估的合理性与准确性问题 并结合具体试题对难度评判 的标准进 行讨论和校正 ， 发挥 集 参 考 文 献 1 教育部考试中心普通高等学校招生全国统一考试大纲 ( 理科) M 北京：高等教育出版社，2 0 1 7 ：l Re s e a r c h o n Es t i ma t e o f Co l l e g e En t r a n c e Ex a mi n a t i o n Di ffi c u l t y Le v e l KE N Zi z h a o ， TONG W e i ， ZHAO Xu a n ， CHEN An g ( Na t i o n a l E d u c a t i o n E x a mi n a t i o n s A u t h o r i t y , B e i j i n g 1 0 0 0 8 4 ， C h i n a ) Ab s t r a c t ：Be c a u s e o f i t s i n t e r e s t c o n c e r n a n d s e n s i t i v i t y ,i t wa s a c c e s s i b l e t h e d i ffi c u l t y l e v e l c o u l d b e d e t e r m i n e d b y t h e s u b j e c t i v e e s t i ma t e o f i t e m w r i t i n g s t a f f , r a t h e r t h a n ma s t e r i n g t h e d i ffic u l t y v a l u e i n a d v a n c e p r i o r t h e e x a mi n a t i o n Aft e r t h e i t e m wr i t i n g s t a ff e s t i ma t e d t h e d i f fi c u l ty l e v e l o f t h e t e s t s ，i t wa s a c c e s s i b l e t h e e s t i ma t e v a l u e c o u l d b e d i g i t a l l y p r o c e s s e d b y s t a t i s t i c a l a p p r o a c h ， f o r i n s t an c e ， c a l c u l a t i n g t h e c o e ffic i e n t b e t we e n e s t i ma t e d a n d a c t u a l d i ffic u l ty v a l u e ， c a l c u l a t i n g t h e a v e r a g e d i ffe r e n c e o f p e r c a p i t a e s t i m a t e s an d c a l c u l a t i n g t h e s t a n d a r d d e v i a t i o n o f e s t i ma t e d v a l u e Ac c o r d i n g t o the d i g i t a l l y p r o c e s s e d r e s u l t s ，t h e fi t t i n g d e g r e e o f e s t i ma t e v a l u e a n d a c t u a l v a l u e a n d t h e e s t i ma t e p r e c i s i o n for e a c h i t e m wr i t i n g s t a f f ,c o u l d b e d e t e r mi n e d T h e r e f o r e ， t h e a c t u a l d i ffi c u l ty l e v e l o f Co l l e g e E n t r an c e Ex a mi n a t i o n c o u l d b e e s t i ma t e d s c i e n t i fi c a l l y b y t h e d a t a i n t he f ol l o wi ng ye a r s Ke y wo r d s ： Co l l e g e En t r a n c e E x a mi n a t i o n； e s t i ma t e d i ffic u l t y l e v e l ； a c t u a l d i ffic u l t y l e v e l ； s t a t i s t i c a l a n a l y s i s 责任编校 ：周 学智、陈隽 ( 上接第 1 2页 ) Ab s t r a c t ：T h e d e s i g n o f i n d e x a n d t h e q u e s t i o n n a i r e i n P I S A， T I MS S an d NAEP p r o v i d e d r i c h e x p e r i e n c e f o r Ch i n a C h i n a h a s c a r r i e d o u t Na t i o n a l As s e s s me n t o f E d u c a t i o n Q u a l i ty Ma t h e ma t i c s( NA E Q- MA)f o r f o u r y e a r s s i n c e 2 0 1 5 T h e f e a t u r e s o f ma t h e ma t i c a l q u e s t i o n n a i r e s we r e a s f o l l o ws ： ( 1 ) d i s t i n c t i v e f e a t u r e s i n ma t h e ma t i c s d o ma i n ； ( 2 ) mu l t i p l e s u r v e y r e s p o n d e n t s ； ( 3 )c o mp r e h e n s i v e a n d t a r g e t e d d e s i g n Ho we v e r , we s h o u l d c o n s i d e r f o l l o wi n g q u e s t i o n s i n t h e f u t u r e ： ( 1 ) b a s e d o n C h i n a c h a r a c t e r i s t i c s ，e x p r e s s i n g i n o u r wa y ；( 2 )b a s e d o n p r a c t i c e ，l o o k i n g for w a r d the f u t u r e d e v e l o p me n t ；( 3 )e s t a b l i s h i n g t h e t h r e s h o l d ， e x e r t i n g e a r l y wa r n i n g f u n c t i o n ； ( 4 ) b r e a k i n g t h e l i mi t a t i o n o f s u b j e c t a n d a d a p t i n g t o t h e s u b j e c t i n t e g r a t i o n Ke y wo r d s ： Na t i o n a l As s e s s me n t o f E d u c a t i o n Qu a l i t y ； ma t h e ma t i c s ； q u e s t i o n n a i r e d e v e l o p me n t 责 任编校 ：陈隽 、张楠】