虚实融合实验教学探究式学习环境及系统(T-CI 039—2022).pdf

ICS 35.240CCS L60/69团体标准T/CI 0392022虚实融合实验教学探究式学习环境及系统Inquiry experimental learning environment and itsVirtuality-Reality integrated system2022-7-14 发布2022-7-14 实施中国国际科技促进会发布T/CI 0392022I目次目次.I前言.II虚实融合实验教学探究式学习环境及系统.11 适用范围.12 规范性引用文件.13 术语和定义.14 总体设计.24.1 基本目标.24.2 系统结构.24.3 系统功能.35 系统核心功能模块要求.35.1 虚实融合实验台.35.2 学习环境的数据采集及数据分类.45.3 学习行为的识别与分析.45.4 探究式学习环境及系统管理.56 虚实融合实验教学探究式学习环境及系统的作用与绩效.66.1 系统的作用.66.2 虚实融合实验探究环境中的活动流程.6附 录 系统结构图.8T/CI 0392022II前言本文件按照 GB/T1.1-2020标准化工作导则第 1 部分：标准化文件的结构和起草规则起草：某些内容可能涉及专利，本文件的发布机构不承担识别这些专利的责任。本文件为首次发布，今后将根据虚实融合实验教学探究式学习环境及系统要求及技术发展情况适时修订。本文件由中山大学、同济大学、杭州师范大学提出。本文件由中国国际科技促进会归口。本文件起草单位：中山大学、同济大学、杭州师范大学、中山大学深圳研究院、广州玖的数码科技有限公司、广东工贸职业技术学院、中山大学南昌研究院。本文件主要起草人：王建民、郑伟诗、徐光涛、楼泽如、胡建芳、朱永宁、曾令安、高基彬、姚争为、邹菊梅、由芳、曹明亮、梁应鸿、周凡、刘海亮、陈小燕。本文件为首次发布。T/CI 0392022III引言日前，教育部发布义务教育课程方案和课程标准(2022 年版)，明确了新修订的义务教育课程方案和语文等 16 门学科的课程标准。新课程标准明确要求“转变学生的学习方式,提高科学探究能力,培养创新精神和实践能力”，强调注重引导学生的主动学习，要求学生开展科学探究活动。随着虚拟现实、增强现实技术的发展，为了在实验教学中全面激发学习者的兴趣，提高学生的实验操作技能，营造“互动、自主、合作、探究”的实验教学环境，满足学生个性化和自主探究的学习需求，构建虚实融合实验教学探究式学习环境及系统至关重要，特制定本文件，用以保证虚实融合实验教学探究式学习环境及系统的功能的统一和一致性。本文件针对虚实融合实验教学探究式学习环境及系统，规定了该系统的总体设计、系统结构、系统目标、系统功能和功能要求，为虚实融合实验教学探究式学习环境及系统的设计与研发提供参考。本文件由中山大学、同济大学负责具体技术内容的解释。为了提高标准质量，请各单位在使用过程中，总结经验和积累资料，及时将发现的问题和意见反馈给中山大学、同济大学，以供后续修订时参考。联系方式：上海市嘉定区曹安公路 4800 号同济大学惟新馆 123 室，邮编：201804；E-mail：。T/CI 03920221虚实融合实验教学探究式学习环境及系统1适用范围本文件规定了虚实融合实验教学探究式学习环境及系统的总体设计、系统结构、系统目标、系统功能和功能要求。本文件适用于作为虚实融合实验教学中的探究式学习环境及系统的设计和开发依据。2规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T 5271.1-2000 信息技术 词汇 第 1 部分：基本术语。GB/T 38247-2019 信息技术 增强现实 术语。GB/T 36455-2018 软件构件模型。3术语和定义3.1 探究式学习（Inquiry learning）：指围绕自然、社会和人文领域中的某个主题，在一定的问题情境中，借助数字化或物理的探究工具，让学生主动提出问题、探索发现，并在探索发现的过程中进行严密论证的一种有指导的学习方式。3.2 虚拟实验（Virtual experiment）：指借助计算机仿真等技术，在计算机平台上模拟出一个逼真的实验环境，包含虚拟场景、实验仪器设备、实验对象以及实验信息资源等，支持实验者在虚拟环境中开展实验项目。3.3 虚实融合（Virtuality-Reality fusion）：指借助互联网技术、智能传感器设备等获取真实世界的环境和虚拟世界的环境中的信息数据，将真实世界的客观信息与虚拟环境中的数字资源的有效融合。3.4 学习行为单元（Learning behavior unit）：学习过程中的行为单元（数据元）是判断学习者行为、心理和生理特征的基本逻辑单元，一系列的行为单元组成了学习者的学习行为。学T/CI 03920222习者行为单元是判断学习者实验结果的关键参考信息。学习者行为具体表现为系统中的多模态交互行为，包括学习者对虚拟/真实实验仪器的操作、与教师的对话行为、与虚拟学伴/教师的对话交互。4总体设计4.1基本目标系统应实现以下基本目标：(1)促进实验教学的教学效果，促使学习者对实验的理解更深刻，更好地理解知识，锻炼实验能力，培养学习者的逻辑思维能力；(2)培养学习者学习科学知识的兴趣，提高学习者的积极性，以学习者的现实情境为依托，激发学习者的好奇心和求知欲；(3)转变学习者的学习方式，培养学习者自主探究的能力，利用虚实融合的实验平台开展实验，增强学生的自主学习能力。同时，虚实融合实验平台可以通过对学习行为的全过程监控和分析，对学生的学习情况给予及时反馈，并为学习者提供个性化引导提示与反馈，引领学习者在经历科学探究的过程中，获取科学知识，领悟科学的探究方法，从而培养学生的科学探究能力。4.2系统结构系统的结构如下：（1）虚实融合探究式学习环境的搭建搭建虚实融合教学环境下满足学习者探究式学习需求的学习系统与平台，系统与平台需满足上述提出的需求，主要有：为用户提供虚实融合的探究式学习的交互体验，采集学习者在学习过程与结果中的行为数据，以及反馈显示学习者行为分析后的结果。（2）多模态学习行为智能识别与分析构建虚实融合教学环境下学习者探究过程中的学习行为模型，并建立多层次、多角度和多模态的行为评估模型，对学习行为进行实时的智能识别与分析。同时对学习行为单元进行切割，结合分析学习者在整个学习过程中的历史行为，进一步分析学习过程与结果中的行为、评估学习状态。（3）个性化分析与智能推荐T/CI 03920223构建任务目标模型、学习评估方案，并建立评估知识库的知识图谱，根据学习者学习过程中行为的实时测评结果，自适应调节反馈的个性化引导和推荐学习方案。（4）探究式学习模型与评价体系的构建结合虚实融合学习环境和探究式学习的特征，从学习者、学习环境、学习活动、评价目标、评价指标与标准、评价方式与工具以及学习行为等关键要素出发，构建虚实融合学习环境中探究式学习的评价体系。4.3系统功能系统应提供以下功能：(1)提供兼具虚拟环境和真实空间融合而成的实验系统环境，既为用户提供了虚拟环境中的数字实验资源，也为用户提供了真实空间中的真实实验操作，支持完整的虚实融合的实验体验，有着良好的虚实融合机制，手眼一致性机制，真实感操作机制；(2)实现学习行为的数据采集功能，同步跟踪记录用户的学习行为；(3)实现学习行为识别与分析功能，对跟踪记录的学习行为进行识别和分析，得出行为分析的结果，并进一步得出学习行为的评价结果；(4)提供交互界面，为用户提供支持实时交互操作、手势交互、传感交互的实验操作台；(5)提供探究式学习环境的网站，支持可视化显示用户学习行为的评价结果、探究式实验的知识引导信息、用户的实验记录；(6)针对不同的实验内容，提供合理的知识引导与反馈，并记录学生的学习行为操作，对其进行智能评价与学习建议。5系统核心功能模块要求5.1虚实融合实验台5.1.1一般要求系统应提供虚实融合环境中的实验体验，尽量贴近真实实验教学中的环境。5.1.2功能要求(1)虚实融合的实验台，应当配有真实的实验桌面；真实的实验台上，应当配有智能传感设备，用以实现获取真实世界的信息来实现虚拟环境和真实环境的有效融合；T/CI 03920224真实的实验台上的智能传感设备，不论是外形上，还是操作方式上，都应当贴近真实的实验器材，以符合实际教学中的实验方式对其进行操作；虚拟的实验资源应当包含实验过程中的引导信息（主要以文字、图片、视频的多媒体方式呈现）、实验操作场景中实验器材、实验试剂等实验道具的虚拟信息等；提供对虚拟数字资源的交互操作，可采用动作捕捉设备实现手势识别、手势触控的交互方式；虚拟的实验资源画面应当投影到真实空间的桌面中，营造沉浸式的体验，贴合真实实验教学场景。(2)学习环境的数据采集及数据分类系统的数据采集模块应实现采集多模态的行为数据的任务，采集的数据包括原始数据、初步处理数据和行为分析数据：原始数据包括直接从整个实验环境中采集的实时数据，其中包括:主场景实际数据：实景的音视频数据，深度图像、彩色图像和其他硬件数据采集，例如肢体动作捕捉，数据手套、传感器设备采集到的数据；次要场景实际数据：用户操作系统过程中的的视频与语音；虚拟场景数据：用户操作日志包括虚拟画面中响应到的用户操作行为，操作物品和细节数据，也包括用户通过媒体空间操作网页的行为信息。除此以外，虚拟空间生成的音视频，观测员人与观测系统的反馈与评价信息等也被记录下来；初步处理数据包括实时和非实时的处理数据，如用户状态转换序列，用户操作事件序列，实验数据可视化分析结果等；(3)行为分析及评价数据，包括从行为识别与分析后的数据具体结果，评价的结果和指标。5.2学习行为的识别与分析5.2.1一般要求系统应实现多模态学习行为的智能识别与分析的功能，提供行为识别与分析的结果：(1)实现学习者学习过程中的行为单元自动分割与识别；(2)实现学习行为的检测与识别；(3)实现学习者（学习）行为、心理和生理等多维度特征的信息提取。5.2.2功能要求T/CI 03920225系统的行为识别与分析的详细功能要求如下：（1）实验用具信息识别在不影响实验者正常实验的区域内，在每个实验用具物体上建立真实物体识别标记，例如，为实验中的实验用具张贴特定的颜色条，通过物体上的颜色信息，得到每个实验用具的位置和相对应的信息种类，在稳定的光线环境下，这种方法在速度上和准确度上都取得了较好的性能。（2）人体关节检测为了实现对人体行为的准确检测，采用基于人体关节点的检测方法，采用动作捕捉设备进行人体关节点信息提取。动作捕捉设备通过人体红外数据、视频深度数据和 RGB 视频帧的多模态数据进行准确的人体关节点信息检测，且检测速度可以达到 30 帧每秒，符合项目中实时动作分析与评估的要求。（3）行为单元分割在实际的实验操作分析和评估中，行为单元是通过对动作进行单元分割而得到的。通过实验用具和人体的交互情况，再结合预先制定的详细实验动作分割规则，进而对实验者的行为进行动作单元分割。在实验用具和人体的交互情况判断算法中，考虑了人体的手与实验用具的位置关系、用具与用具之间的几何关系、用具在交互后自身的变化情况和实验操作的前后逻辑关系。对于每个分割后的动作单元中，记录了该时间段内用具中物品的状态信息、人体与实验用具的交互情况、人体心理和生理等的多维度特征。操作分数评估在得到每个行为单元及其相应的多维度特征后，便可以进行实验者的操作分数评估。基于预先制定实验动作分割细则、实验动作评分规则和行为单元数据，即可进行每个操作的分数评估。在具体的操作分数评估逻辑中，参考详细的评分规则，通过规则的方法进行分析与匹配每个动作单元的信息，以判断实验者当前的操作步骤和操作状态。除了操作分数评估外，为了促进实验者对于实验知识点的学习，还加入对错误操作的错误操作分析与相应的改正方法。5.3探究式学习环境及系统管理5.3.1一般要求系统管理利用网站实现，网站应满足以下一般要求：网站服务分类应清晰、明确，菜单导航应方便、快捷；网站界面应简洁大方、用户体验良好。T/CI 039202265.3.2功能要求系统的网站功能要求如下：提供实验查询功能，包括查询实验的实验简介、实验任务要求等介绍信息；提供实验知识引导功能，包括实验涵盖的知识点、操作步骤、实验所需的试剂介绍、实验所需的器材的用法介绍等信息；提供真实实验操作功能，在虚实融合的实验台上进行实时交互操作；提供实验评价反馈功能，反馈的信息包括用户的实验结果评分、用户在实验过程中每个实验步骤的正确与否以及每个实验步骤的得分情况、实验错误的分析结果、实验涉及的知识点分析、实验过程的视频回放演示。提供知识图谱功能，图谱中显示的信息包括实验中实验目标、实验名称、实验用品、实验仪器、实验知识点、实验步骤、实验易错点；提供历史实验记录查看功能，历史实验记录包括历史实验评价的结果、实验评价得分、具体的实验流程、实验评分解析、实验复习建议和知识点解析；提供网站用户管理功能，用户使用网站前应注册登录，用户注册登录后可进入个人中心区域，网站后台可管理用户的权限，教师用户和学生用户有不同的权限。6虚实融合实验教学探究式学习环境及系统的作用与绩效6.1系统的作用系统的作用如下：建立虚实融合探究式学习环境中的学习平台，为用户提供虚实融合的探究式学习的交互体验，采集学习者在学习过程与结果中的行为数据，以及反馈学习者行为分析后的结果；从动作、心理、生理等维度，对学习者的多模态学习行为特征进行智能识别与分析；结合学习行为的分析结果，实现学习者在虚实融合环境下的学习全过程的多层次评价，并依据评价完成个性化的学习引导和学习方案推荐；建立支持探究式学习的评价模型、评价指标、评价流程及流程规范和评价体系。6.2虚实融合实验探究环境中的活动流程学习者在真实环境中的活动流程与虚实融合环境中的活动流程对应关系如图 1 所示，支持该活动流程的虚实融合实验教学探究式学习环境及系统，符合系统的作用与功能。T/CI 03920227通过创建合适的问题情境和任务情境，利用传感器、互联网、摄像机等设备收集能够反映学习者的知识建构、能力掌握和心理发展的认知、行为和情感等数据。通过虚实融合实验系统收集学习者的科学探究实验数据，作为学习评价的证据在该评价模型的证据模型中对学习者的探究式学习效果进行全面、客观、有效的评价。图 1T/CI 03920228附 录 系统结构图