附件5《干部网络培训课程评价规范》（征求意见稿）.pdf

ICS 35.240.99 L67中中 华华 人人 民民 共共 和和 国国 国国 家家 标标 准准GB/T XXXXXXXXX干部网络培训课程评价规范Course evaluation specification of online training for leadership（征求意见稿）在提交反馈意见时，请将您知道的相关专利连同支持性文件一并附上XXXX - XX - XX 发布XXXX - XX - XX 实施国国家家市市场场监监督督管管理理总总局局中中国国国国家家标标准准化化管管理理委委员员会会发布GB/T XXXXXXXXXI目 次前言.II 1范围.1 2规范性引用文件.1 3术语和定义.1 4评价指标.2 4.1概述.2 4.2课程内容.2 4.3课程设计.4 4.4课程平台.8 4.5在线支持服务.9 5评价方法.11 5.1概述.11 5.2课程静态信息情况.12 5.3课程参与情况.12GB/T XXXXX-XXXXII前 言本标准按照GB/T 1.12009给出的规则起草。 本标准由中共中央组织部提出并归口。 本标准起草单位：清华大学、华东师范大学、国家行政学院、中国电子技术标准化研究院。 本标准主要起草人：XXXX。GB/T XXXXXXXXX1干部网络培训课程评价规范1范围该标准规定了课程评价原则与通用评价指标，给出了干部网络培训课程的评价方法。 该标准适用于对已正式发布使用的干部网络培训课程的课程质量和使用效果进行评价。2规范性引用文件下列文件对于本文件的应用是必不可少的。 凡是注日期的引用文件， 仅所注日期的版本适用于本文 件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB/T 36642-2018 信息技术 学习、教育和培训 在线课程 GB/T AAAAA-AAAA 干部网络培训业务管理通用要求 GB/T BBBBB-BBBB 干部网络培训课程设计和制作规范3术语和定义GB/T AAAAA-AAAA和GB/T BBBBB-BBBB界定的术语和定义适用于本文件。4评价维度及评价指标4.1概述干部网络培训课程的评价应遵循科学性和可操作性原则，从课程内容、课程设计、课程平台和在线 支持服务四个维度设置评价指标，每个维度下有若干评价指标。 课程评价时可根据评价目的和可获得的数据来选择这些指标形成评价方案， 可采用人工评价和数据 支持的自动评价相结合的方法。4.2课程内容课程内容应符合课程目标的要求，政治导向鲜明、科学严谨，课程结构的组织和编排合理，并具有 开放性和可拓展性。课程内容宜采用人工评价，评价指标见表1。表 1 课程内容评价指标编号中文名称约束定义说明备注1.1课程说明M说明整个课程的目标、课程所属领域范围或分类、 所针对的学员群体、典型学习时间以及有关的学习建议等。提供课程目标说明， 课程说明文字应反映整 个培训计划（或课程体 系）对该课程的基本要 求；课程目标应适合学 员的发展水平和特点，深 度、难度适当。判断课程的目标是否符合学员的发展水平及特点主要考虑：学员的认知特点和个性 特点；学员的知识背景，包括课 程前需知识的具备情况；学员的需求；职业背景等。GB/T XXXXX-XXXX21.2内容目标一致性M课程内容与课程的学习目标相一致。涵盖课程的各项学 习目标；深度与课程的学习 目标相适应；重点突出， 主次详略 得当。1.3政治导向鲜明性M课程内容政治导向鲜明，符合党中央精神、国家政策、法律法规。此项指标由干部网络培训组织和管理等相关机构在课程发布前审查、课程运营过程中监管，不用于其他评价方式。1.4科学性M课程内容科学严谨，且能够适当反映该领域的最新进展。没有思想性、学术 性、表述性错误；资料来源可靠；能适当反映该领域 的最新进展。内容不严谨、不可靠可以表现为：概念、原理等的解释不准 确，有科学性错误；重要观点的介绍存在偏 见，或者断章取义；对来自他人的观点或成 果没有注明作者及出处；表述混乱不清，或存在较 多的语法错误、文字错误，等 等。1.5内容分块M按主题将内容逐级划分为合适的学习单元或模块， 每个页面主题明确，每个段落意思集中。分块逻辑合理；分块大小适当；页面主题集中， 长度 适宜；段落意思集中， 不将 多层意思堆积在一个长 段落中。1.6内容编排O按照各主题之间的逻辑关系合理地组织编排课程内容。各大部分的顺序编 排合理；小单元编排顺序合 理；能够清晰地反映该 学科或领域的基本结构；有利于学员对内容 的理解和学习。可以采用目录表、结构示 意图、概念图、标题列表等策 略。可以在各个单元中说明 学习该内容所需要的基础性知 识或前提性知识。1.7内容链接O针对涉及到的核心知识点建立页面间的链接；互相链接的资源在意义上密切相关。单元之内针对涉及 到的共同重要知识点建 立链接；对共同重要知识点 建立跨单元链接；链接有意义， 能促进 理解。提供跳转链接的方式包括但不限于：直接将核心概念术语做 成超链接；在页面注明与该内容密 切相关的主题或单元，提供相 应的超链接。GB/T XXXXXXXXX31.8资源扩展O提供与课程内容相关的、有学习价值的外部资源链接。相关外部资源链接 和参考资料；资源出处可靠；资源对学习课程有 帮助。包括在线和离线资源，在线资源包括但不限于：相关网络课程；专业学科网站；相关网上图书杂志；著名研究者或研究机构 的主页；相关的政府网站，等。注：“约束”栏内 M 表示“必需”指标，O 表示“可选”指标。4.3课程设计课程的教学设计良好，教学功能完整，在学习目标、学习过程与策略以及学习测评等方面均设计合 理。课程设计宜采用人工评价，评价指标见表2。表 2教学设计评价指标编号中文名称约束定义说明备注2.1学习目标M学习单元应有明确具体的学习目标。各学习单元有学 习目标说明。对学习目标的描 述准确、具体。“学习单元”指课程中包括完整学习过程的模块、篇章等，不包括辅助性成分，如前言、术语表、附录等。2.2目标层次O单元学习目标中应包含应用、分析、综合、评价等高层次要求。高层次目标要求学员灵活应用新知识解决实际问题，或进行分析、综合、评价等思维活动。高层次的目标可以要求：应用新知识解决与工作、 生活 密切相关的实际问题，完成真实任 务；对知识进行分析；对知识进行综合、整合理；对观点或方案进行评价等。2.3学员控制O在学习过程中，学员能按照自己的需要对学习环境进行个性化定制， 控制学习进程，选择和组织学习内容。按需定制学习环 境；控制学习的步骤 和进程；对学习内容进行 选择和组织。学员控制包括但不限于：内容控制： 选择学习内容， 决 定内容的顺序。步骤控制： 控制换页， 控制学 习的时间。显示控制： 选择显示内容、 反 馈方式。环境控制： 选择背景及其他环 境要素。GB/T XXXXX-XXXX4编号中文名称约束定义说明备注2.4内容交互性M提供适度有效的交互机会。学习过程包含适 度的交互活动机会；交互活动能促使 学员对学习内容的积极 投入和思考。交互方式包括但不限于：经常提问， 促使学员深入加工 学到的信息；及时、 具体、 有启发意义的反 馈；模拟、 交互性实验或教育游戏 等活动；笔记工具；时常要求学员进行反馈。2.5交流与协作O结合主要课程内容设计讨论或协作问题及相应的要求，课程平台提供的交流与协作支持。在主要的课程内 容上设计讨论或协作问 题；问题具有一定的 开放性， 具有讨论价值；对讨论交流的方 式、过程有明确的要求 和安排。课程平台所提供的交流功能 应包括：论坛、聊天室、问题解答、 留言板等。开放性的问题包括但不限于： 较复杂的实际问题、观点多元、没 有明确标准答案的问题等。2.6动机兴趣O采用适当策略吸引学员的注意力，激发和维持学员对课程的学习动机和兴趣。所采用的策略要 与课程内容紧密配合；所采用的策略能 有效地吸引学员的注意 力，激发和保持学习的 兴趣。吸引注意力、激发兴趣的策略包括 但不限于：故事、案例、小幽默、动画；游戏、模拟；问题、真实性任务；矛盾、冲突；挑战性、趣味性活动；说明所学内容对学员的意义 和重要性；恰当控制学习的难度。2.7知识引入O采用适当的策略激活学员原有的相关知识经验，在此基础上引出新知识。采用各种策略激 活学员的相关知识；补充相关知识；策略适应学习过 程和学员，能有效地促 进对知识的理解。激活相关知识的策略包括但不限于：提问题；故事， 阅读材料， 熟悉的场景；类比、比喻；练习、预备性测试概念图；同伴讨论。4.4课程平台课程运行所需的系统平台应提供课程学习的功能， 包括但不限于： 观看视频、 在线答题、 在线讨论、 资源下载和测验。课程运行过程的学员参与情况主要体现在“课程参与情况”评价中，见本标准5.3。 课程运行所需的系统平台的可用性评价指标见表3。可用性指界面风格统一，协调美观，易于使用 和操作， 具有满足学习要求的功能， 这部分评价也可用于富媒体课程评价。 可用性评价宜采用人工评价。GB/T XXXXXXXXX5表3课程平台可用性评价指标编号中文名称约束定义说明备注3.1界面M平台界面风格、布局3.1.1风格统一O课程在格式、风格、语言上具有内在一致性，避免给学员造成不必要的分心或认知负担。页面格式、风格以及 语言风格等统一；整个课程在风格上应 具有内在一致性；各个单元、模块应具 有内部一致性；不会因风格的杂乱而 给学员造成不必要的分心 或认知负担。影响风格的内在一致性的因素主要包括但不限于：屏幕功能分区（如页 面标题区、基本功能按钮 区、页面信息区等）；按钮、图标、热键的 风格；背景以及各类文字、 插图等可视元素的色彩；文字（如各级标题、 正文、重点内容、插入性文 字、反馈或等）的大小、格 式；整体的语言风格。3.1.2屏幕布局O屏幕设计简洁美观，文本、图形等可视元素搭配协调得当。页面简洁美观；文本、图形等可视元 素搭配协调得当， 具有视觉 上的吸引力。3.2易识别性M文字、图形等对象的大小合适，颜色对比适当。文字、图形等均大小 合适；颜色对比适当；3.3导航与定向M学员无需特殊帮助就可轻松地操作导航路径，自如地访问课程的各个模块，并能确认自己当前的位置。导航系统直观明确， 简便易用；可以方便地访问课程 的各模块；有明确的定位标记， 标明学员在整个课程中的 位置。导航装置包括但不限于：课程地图；导航框架；内容框架；应尽可能提供一种以上的导航方式，以便于转换视角；无论当前在什么位置，学员都应可以很方便地回到刚才访问的位置， 回到课程首页，或者退出课程。3.4链接标识O链接明显易辨，有明确的标签，学员在打开链接以前能知道所指向的主题内容。链接明显易辨；链接有明确的标签， 打开链接前能很容易地知 道链接指向的主题内容。当链接所指向的是本课程以外的网址、 或者需要出国的网址时， 应该给予明确说明。3.5电子书签O能标记学员学习到的位置，当学员再次登录时能自动定位到上次结束时的位置，并允许学员对特有电子书签功能，能 标记学习到的位置；再次登录时自动定位 到上次结束时的位置；GB/T XXXXX-XXXX6编号中文名称约束定义说明备注定内容做标记。允许对内容做标记。3.6内容检索O能通过关键词检索到以各种媒体形式表现的有关内容。有检索功能；能准确地检索出课程 中以各种媒体形式表现有 关内容；点击检索到的结果即 可直接进入相应的内容。注：“约束”栏内 M 表示“必需”指标，O 表示“可选”指标。4.5在线支持服务在线支持服务是为学员学习课程提供必需的服务，包括课程学习行为分析、课程学习过程记录、课 程学习结果分析、服务的响应时间和操作帮助，这个维度的评价宜采用数据支持的评价，评价指标见表 4。表4在线支持服务评价指标编号中文名称约束定义说明备注4.1学习行为分析M分析在线学习课程所产生的学员行为数据， 以利于对课程资源的利用、 和学员学习情况等的认识。视频行为（缓冲，播 放，拖拉进度，暂停）答题行为（保存答案， 提交答案，检查答案）讨论区行为（新建讨 论，回复讨论，点赞）选课、退课行为浏览页面4.2学习过程记录O追踪记录学习过程， 包括各单元的学习情况和掌握程度， 形成学员可以随时查看的报表。能记录学员对各个单 元内容的学习进度；能根据各单元的练习 或测验结果记录学员对各 单元的掌握情况；提供可以随时查看的 报表， 用来分析和评价学习 过程。关于学习过程的信息包括但不限于：对各单元的访问；对各单元内容的访 问次数、学习进度；是否曾进行过单元 测试或练习；各单元的测试成绩 及掌握程度分析；学员在本课程的总 体学习次数及时间等。4.3学习结果分析M对学员参与的各单元和整门课程的测验结果进行记录与分析。记录各单元的测验结 果与分析；记录整门课程的测验 结果与分析。GB/T XXXXXXXXX7编号中文名称约束定义说明备注4.4服务响应时间O对学员的操作做出反馈， 利用视觉效果变化或听觉提示等表明操作已经生效。 当连接或下载需要较长时间时， 在屏幕上提示用户需要等待的时间或所下载文件的大小。利用视觉效果变化或 听觉提示等表明学员的操 作已经生效；当连接或下载需要较 长时间时， 在屏幕上提示用 户需要等待的时间或所下 载文件的大小。4.5操作帮助M针对课程的操作使用方法提供明确完整的指导说明。针对课程的操作使用 方法提供帮助说明；帮助说明应该明确、 完整、有效。针对较复杂的功能可以提供专门的交互性培训程序。注：“约束”栏内 M 表示“必需”指标，O 表示“可选”指标。5评价方法5.1概述课程评价方法是根据特定的评价目的，从多个维度，对课程进行评价的具体方法。评价方法根据不 同的评价维度需求，选取相应的评价指标。评价方法包含方法描述和选取的评价指标。每个评价指标都 有分数值以及计算方法。评价方法设计应符合国家标准GB/T XXXXX第7章中对课程评价方法信息模型和 评价指标的规定，指标包括指标名称、对指标的描述、指标描述的对象、对应课程要素、约束性、分数 值类型、分数值范围、计算方法、计算参数、涉及到的其他指标。 本标准中的评价方式分为人工评价和数据支持的自动评价。人工评价的指标，见本标准第4章。本 章规定的评价方法是指需要数据支持的自动评价方法。 该评价方法分为课程信息完善度和课程参与度两 个主要维度。本评价方法的主要维度及其分项指标如表5所示，默认情况下，所有分项权重相等。 本章给出的评价方法并未包括第4章列出的全部维度、全部指标，仅根据大多数平台通常可以获得 的数据，规定了常用的评价指标及计算方法。本章中的的评价指标来源于两类数据：一类是课程包中的 课程信息模型要素，另一类是课程在干部网络培训平台中的教与学过程数据。 由于各平台的数据采集方法、 数据格式不同， 具体的评价指标生成及计算方法可参照相关国家标准 和本标准的规定，根据评价目的和可获得的数据，进行选取和设置。表 5 课程评价方法主要维度及其分项评价维度分项课程静态信息课程概要与要求完善度课程内容静态数据统计课程参与度人员总体参与度GB/T XXXXX-XXXX8评价维度分项学习活动参与度习题参与度视频参与度测验参与度讨论区参与度5.2课程静态信息情况5.2.1课程概要与要求完善度按照GB/T BBBBB-BBBB中的规定的课程概要与要求进行完善度评分，课程概要与要求中规定的要素 属于对课程进行描述的静态信息。按课程信息模型的可选和必选要素进行计算，计算方法如下： 课程信息完善度 0.8×必须指标完善度 0.2×可选指标完善度 注： 需要平台提供的数据包括： 课程包及课程结构的 XML （可扩展置标语言， Extensible Markup Language） 绑定文件。5.2.2课程内容静态数据统计课程内容的静态数据应按照信息模型中的学习活动描述，可包括： a)学习活动总数目； b)学习活动总时长，平均时长； c)学习活动类型种类数目，各种类活动总数； d)各学习活动的知识点列表； e)各学习活动对应的资源信息，可包括：视频时长，题目数量，题目类型数量。5.3课程参与情况5.3.1概述课程参与情况指标应该来自于干部网络培训平台记录的学员参与学习活动的数据记录， 在此给出指 标和计算方法。具体指标和来源数据，及计算公式、各项权重可根据平台采集的数据情况及评价目的进 行选取和设置。5.3.2人员总体参与度5.3.2.1学员活跃度分类学员在网络培训中学习活跃度可分为活动、不活跃、尝鲜、半路放弃、全程参与和其它分类六种。 活动：在线交互活动时间超过要求课时的20%。 不活跃：在线交互活动时间不超过要求课时的20% 尝鲜：只有前10%课时有在线交互活动。 半路放弃：只在课程前50%课时中有在线交互活动，此后没有参与学习活动。 全程参与：在80%学习活动中有在线交互活动。 其他分类：可扩展。GB/T XXXXXXXXX95.3.2.2学员活跃度计算方法按照各种人数的比例来计算得分，计算方法如下： 0.1×（1-a）+0.2×(1-b)+0.3(1-c)+0.4×d 公式中的参数分别表示以下内容： a表示不活跃人数占总学员人数比例； b表示尝鲜人数占总学员人数比例； c表示半路放弃人数占总学员人数比例； d表示全程参与人数占总学员人数比例。5.3.3学习活动参与度学习活动参与情况动态数据应根据学员活动日志按学习活动粒度进行统计，可以包括： 各学习活动分别的参与用户数； 学习活动的人数参与情况；示例：基础的学习活动应该涉及的用户群要大一些。各学习活动对应资源的参与度；示例：一个资源被多少选课学员浏览。较难的学习活动是否有充足的投入。示例：视频，题目数量。5.3.4习题参与度习题数据可包括以下指标： 各学习活动答题率； 各学习活动答题正确率； 测验的参与率； 课程的通过率。5.3.5视频参与度5.3.5.1视频观看覆盖率此项指标应由干部网络培训平台记录的学员观看视频情况记录数据得出，计算方法如下： (0.9 × a + 0.6 × b + 0.3 × c + 0.1 × d) / (a+b+c+d) 公式中的参数分别表示以下内容： a表示被至少90%全程参与比例用户观看过的视频比例； b表示被至少60%全程参与比例用户观看过的视频比例； c表示被至少30%全程参与比例用户观看过的视频比例； d表示被至少10%全程参与比例用户观看过的视频比例。5.3.5.2完全学习视频的用户比率此项指标应由干部网络培训平台记录的学员观看视频情况记录数据得出，计算方法如下： (0.9×a + 0.6×b + 0.3×c + 0.1×d) / (a+b+c+d) 公式中的参数分别表示以下内容： a表示至少看完90%视频的学员比例； b表示至少看完60%视频的学员比例；GB/T XXXXX-XXXX10c表示至少看完30%视频的学员比例； d表示至少看完10%视频的学员比例。5.3.5.3课程视频观看总时长与课程视频总时长比率此项指标应由干部网络培训平台记录的学员观看视频情况记录数据得出，计算方法如下： 课程视频观看总时长与课程视频总时长比率=课程总被观看时长/视频总时长。5.3.5.4视频观看速度偏差计算方法如下： 视频观看速度偏差=课程平均视频被观看速率 1.05.3.5.5课程观看过视频的独立用户比例计算方法如下： 课程观看过视频独立用户比例=观看过视频的用户数 / 总注册用户数5.3.5.6视频平均生存期限计算方法如下： 单个视频的生存期限 = 视频最后一次被观看日期 视频第一次被观看日期 视频平均生存期限 = 所有视频生存期限的平均值5.3.5.7人均观看独立视频数量比例计算方法如下： 单人观看视频数量比例 = 该用户观看过的视频数量 / 课程总视频数量 人均观看独立视频数量比例 = 所有看过视频用户的观看数量比例的平均值5.3.5.8人均观看时长比率计算方法如下： 单人观看视频时长比率 = 该用户观看过的总视频时长 / 课程总视频时长 人均观看时长比率 = 所有看过视频用户的观看时长比率的平均值5.3.5.9平均学员观看视频延迟度计算方法如下： 视频更新到学员第一次观看时间的平均值， 若学员在视频公布后选课， 则该时间为第一次观看时间 选课时间。5.3.6测验参与度5.3.6.1题目覆盖率计算方法如下： 题目覆盖率=(0.9 × a + 0.6 × b + 0.3 × c + 0.1 × d) / (a+b+c+d) 公式中的参数分别表示以下内容： a表示被至少90%全程参与比例用户做过的题目比例； b表示被至少60%全程参与比例用户做过的题目比例； c表示被至少30%全程参与比例用户做过的题目比例；GB/T XXXXXXXXX11d表示被至少10%全程参与比例用户做过的题目比例。5.3.6.2完全做题用户比率：计算方法如下： 完全做题用户比率=(0.9 × a + 0.6 × b + 0.3 × c + 0.1 * d) / (a+b+c+d) 公式中的参数分别表示以下内容： a表示至少看完90%题目的学员比例； b至少看完60%题目的学员比例； c至少看完30%题目的学员比例； d至少看完10%题目的学员比例。5.3.6.3练习题情况练习题情况可评价以下方面： 参与答题人数比例=答题独立人数 / 总人数； 题目平均生存日期； 人均答题数比例=完成答题次数/总人数； 平均学员答题延迟度（视频更新到学员第一次观看时间的平均值，若学员在视频公布后选课， 则该时间为第一次观看时间选课时间）。5.3.6.4测验参与人数比例计算方法如下： 测验参与人数比例=测验参与独立人数 / 总人数5.3.7讨论区参与度讨论区情况可评价以下方面： 讨论区发帖用户/总用户数； 讨论区浏览用户/总用户数； 讨论区日均发帖量； 讨论区人均发帖量； 帖子平均生存时间； 讨论区回复平均间隔，可设置一个最大天数，若无回复的间隔数设为最大天数。_