虚拟现实技术在矿井灾害防治演练中的应用.pdf

虚拟现实技术在矿井灾害防治演练中的应用 作者：*来源：现代信息科技2021 年第 08 期 DOI：10.19850/ki.2096-4706.2021.08.030 摘 要：從煤矿安全培训实际需求分析入手，文章确定了矿井灾害防治演练的总体目标和设计方案，将沉浸式虚拟现实技术引入至煤矿安全培训领域，研发了基于虚拟现实技术的煤矿井灾害防治演练平台。通过音效、文字、动画、三维漫游等形式，展示矿井灾害发生原因及造成的后果，该系统的使用极大提高了矿井安全培训的质量，取得了良好的培训效果。关键词：虚拟现实技术;顶板灾害;3ds Max;Unity 3D 中图分类号：TP391.9 文献标识码：A 文章编号：2096-4706（2021）08-0108-04 Application of Virtual Reality Technology in the Drill of Mine DisasterPrevention and Control MENG Long1，2 （1.China Coal Technology&Engineering Group Nanjing Design and Research Institute Co.，Ltd.，Nanjing 210031，China;2.Nanjing YHD Intelligent Solutions Co.，Ltd.，Nanjing 210031，China）Abstract：Starting from the actual demand analysis of coal mine safety training，this paper determines the overall goal and design scheme on the drill of mine disaster prevention and control，introduces immersive virtual reality technology into the field of coal mine safety training，and develops a coal mine disaster prevention and control drill platform based on virtual reality technology.Through the forms of sound effect，text，animation，three-dimensional roaming，etc.，the causes and consequences of mine disasters are displayed.The use of the system has greatly improved the quality of mine safety training，and has achieved good training effect.Keywords：virtual reality technology;roof disaster;3ds Max;Unity 3D 0 引 言 煤矿矿井开采的重要特点是井下作业、工艺复杂、存在许多不确定因素。同时，煤矿生产系统包括“采、掘、机、运、通、排”等多个子系统1，安全生产问题比较突出，管理难度较大。一直以来，煤矿企业、高校等均利用传统的教学方式使得学员来熟悉煤矿的生产系统、生产环节和空间结构。导致学习质量无法保证，甚至还影响了煤矿的安全高效生产。提高安全培训课程的质量，一直是煤矿安全培训工作者及煤矿企业追求的目标2。基于虚拟现实技术的安全培训系统开发，为学员提供三维动态环境下的安全信息、操作规程，将比以往在纸上获取的静态信息要牢固、有效得多3。1 虚拟现实技术概述 1.1 虚拟现实技术 虚拟现实技术是伴随多媒体技术发展起来的计算机新技术，它利用三维图形生成技术、多传感交互技术以及高分辨率显示技术，生成三维逼真的虚拟环境。用户需借助 VR眼镜及定位等设备实现在虚拟世界中对物体进行交互操作，进而产生身临其境的感受和体验，虚拟现实系统主要由计算机（服务器）、应用软件系统（内容制作）、输出输入设备（硬件）、用户和数据库组成。系统组成如图 1 所示。1.2 虚拟现实系统 3I特性 虚拟现实系统的基本特征是三个“I”：沉浸性（Immersion）、交互性（Interaction）、想象性（Imagination），具体示意图如图 2所示。沉浸性是指用户感受到被虚拟世界所包围，好像完全置身于虚拟世界之中一样，沉浸性来自于对虚拟世界的多通道感知性，除了通常的视觉和听觉外，还有触觉、力觉、运动等多种感知4。交互性是指用户对虚拟环境内的物体的可操作程度和从环境得到反馈的自然程度，虚拟现实系统强调人与虚拟世界之间的自然交互，借助于头显设备和操控手柄（手套），以逼真的方式与虚拟环境交互，实时产生身临其境的感觉4。想象性是指用户沉浸在多维信息空间中，依靠自己的感知和认知能力全方位地获取知识，发挥主观能动性，寻求解答，形成新的概念5，虚拟现实系统开发是虚拟现实技术与设计者思想的结合，为充分发挥它们的创造性和想象性而开发设计并实现的。2 总体方案设计 2.1 总体目标 将 VR技术与煤矿灾害预防培训和救援演练培训相结合，针对巷道顶板灾害，进行 VR硬件系统集成、制作 VR 培训内容制作与软件开发，开创沉浸、真实、可交互的 VR培训方式在煤矿安全培训中的应用。2.2 功能设计 本系统以井下巷道顶板灾害为原型进行内容制作，具体功能如下文所述。2.2.1 内容演示功能 根据矿井灾害案例，基于虚拟现实技术的矿井灾害防治演练平台内容应包括灾害场景还原、灾害形成原因分析、安全生产规范流程操作、知识问答等。2.2.2 漫游功能 漫游功能的实现采用的是人机交互的方式，系统搭建的井下虚拟生产环境能直观、细致、全面地展示井下作业环境，使学员能够在虚拟环境中了解灾害场景再现情况、灾害预兆显现与原因分析及灾害发生后应急措施等。在搭建的虚拟矿山模型之中，可根据环境中文字或语音提示，结合手柄操作进行场景的切换。2.2.3 交互功能 演练平台设置巷道顶板灾害的培训内容，以顶板灾害发生的全过程为主线，结合相关设备操作、工艺流程、灾后救援知识和经验的问答，通过模拟灾害现场环境，让学员深刻掌握煤矿灾害知识。2.3 顶板灾害仿真内容设计 通过煤矿现场调研，编制矿井顶板灾害脚本，脚本大纲为：（1）真实还原掘进巷道永久支护段，作为顶板灾害现场。场景内模型应包括安全宣传板（掘进相关规章制度、巷道平面图、避灾路线图）、井下电话及指示标志、逃生箭头标志、轨道、皮带机、掘进机设备。（2）体验者通过传输点进入掘进工作面。软件应对掘进机工作状态进行仿真模拟。（3）掘进机停止工作后，体验者可使用 VR手柄操作锚杆钻机，进行移动、架设、钻孔操作。（4）钻孔时发生片帮及顶板灾害。应使用烟尘、碎石等特效手段真实表现灾害危害性。（5）对灾害原因进行分析说明。（6）提供安全生产规范流程，按照敲帮问顶、临时支护、钻孔、永久支护的流程依次展现虚拟场景。（7）可使用 VR 手柄进行选择答题，进行顶板灾害问答，软件自动打分、评级。3 矿井灾害防治演练平台关键技术研究 3.1 沉浸式仿真环境建模 3ds Max 和 Maya 是实现真实三维建模的关键软件，本系统研发中主要用到的功能包括几何体建模、二维图形建模、材质与贴图、灯光与环境、场景烘焙、摄像机和动画制作，仿真建模样例如图 3所示。3.2 沉浸式仿真环境动画制作 在 3ds Max完成场景灯光的布置，然后给设备设施、人员、摄像机视角调节动作，根据调节设备设施、人员、摄像机动作决定在哪个摄像机的哪些部分需要进行渲染，然后进行相关动画序列的渲染，制作界面如图 4 所示。3.3 系统交互功能开发 本系统中包含模型种类多，且需要实现环境漫游、灾害展示、设备操作、虚拟考核等工作任务。经过对国际主流交互仿真软件的综合对比分析，结合煤矿灾害演练培训的实际情况，选取 Unity3D 平台作为矿井灾害防治演练系统的开发平台，系统主要交互功能主要有下文所述的两种。3.3.1 场景漫游 场景漫游时，通过不断移动摄像机位置或改变摄像机方向从而产生场景变化的效果实现漫游功能。在沉浸式场景漫游开发中需要在 Unity3D安装 Steam VR插件，通过调用预留的 API实现利用控制手柄在三维场景漫游的功能，API函数调用界面如图 5所示。3.3.2 设备操作 系统通过编写 C#语言脚本赋予各子物体属性。比如，为在虚拟场景中实现通过控制手柄装拆钻机钻杆目的，需要为钻机各子对象添加碰撞检测组件和碰撞干涉组件，此时用到的碰撞检测函数为 On Trigger Enter（），当控制手柄与钻机子对象发生碰撞时则将修改子对象的三维空间坐标为在原坐标上加子对象跟随控制手柄移动的相对位移，抓取的交互代码为：void OnTriggerEnter（Collider other）/当触碰时 if（other.CompareTag（Player）isGrab=true;transform.localPosition=Vector3.zero;public void OnGrap（）/當抓取时 ishaps=true;handhighlight.SetActive（false）;3.4 硬件平台搭建 矿井灾害防治演练平台硬件由计算机（服务器）、头显设备、操控手柄、激光定位器和定位器支架组成，计算机负责平台的开发、运行和数据处理，头显设备为学员提供三维场景并将其位置信息发送给定位器，操控手柄用于在三维场景中实现物体交互及移动，激光定位器通过红外 LED 阵列以固定频率分别以垂直和水平两个模式扫描整个房间实现头显设备和操控手柄的定位，支架起支撑定位器的作用，在定位器扫描的范围内能够准确定位头显设备和操控手柄的位置。硬件结构组成如图 6所示。4 平台应用效果 4.1 初始界面效果 人与系统进行交互的方式主要是通过头显设备中界面提示和控制手柄操作，以及 PC桌面控制端的操作进行。在本培训系统中以图形、菜单和图标等形象的界面来表达相关信息，界面直观性强，用户通过手柄等来完成操作。具体灾害场景引入界面如图 7 所示。将 VR技术与煤矿灾害预防培训和救援演练培训相结合，针对巷道顶板灾害，进行 VR硬件系统集成、制作 VR 培训内容制作与软件开发，开创沉浸、真实、可交互的 VR培训方式在煤矿安全培训中的应用。2.2 功能设计 本系统以井下巷道顶板灾害为原型进行内容制作，具体功能如下文所述。2.2.1 内容演示功能 根据矿井灾害案例，基于虚拟现实技术的矿井灾害防治演练平台内容应包括灾害场景还原、灾害形成原因分析、安全生产规范流程操作、知识问答等。2.2.2 漫游功能 漫游功能的实现采用的是人机交互的方式，系统搭建的井下虚拟生产环境能直观、细致、全面地展示井下作业环境，使学员能够在虚拟环境中了解灾害场景再现情况、灾害预兆显现与原因分析及灾害发生后应急措施等。在搭建的虚拟矿山模型之中，可根据环境中文字或语音提示，结合手柄操作进行场景的切换。2.2.3 交互功能 演练平台设置巷道顶板灾害的培训内容，以顶板灾害发生的全过程为主线，结合相关设备操作、工艺流程、灾后救援知识和经验的问答，通过模拟灾害现场环境，让学员深刻掌握煤矿灾害知识。2.3 顶板灾害仿真内容设计 通过煤矿现场调研，编制矿井顶板灾害脚本，脚本大纲为：（1）真实还原掘进巷道永久支护段，作为顶板灾害现场。场景内模型应包括安全宣传板（掘进相关规章制度、巷道平面图、避灾路线图）、井下电话及指示标志、逃生箭头标志、轨道、皮带机、掘进机设备。（2）体验者通过传输点进入掘进工作面。软件应对掘进机工作状态进行仿真模拟。（3）掘进机停止工作后，体验者可使用 VR手柄操作锚杆钻机，进行移动、架设、钻孔操作。（4）钻孔时发生片帮及顶板灾害。应使用烟尘、碎石等特效手段真实表现灾害危害性。（5）对灾害原因进行分析说明。（6）提供安全生产规范流程，按照敲帮问顶、临时支护、钻孔、永久支护的流程依次展现虚拟场景。（7）可使用 VR 手柄进行选择答题，进行顶板灾害问答，软件自动打分、评级。3 矿井灾害防治演练平台关键技术研究 3.1 沉浸式仿真环境建模 3ds Max 和 Maya 是实现真实三维建模的关键软件，本系统研发中主要用到的功能包括几何体建模、二维图形建模、材质与贴图、灯光与环境、场景烘焙、摄像机和动画制作，仿真建模样例如图 3所示。3.2 沉浸式仿真环境动画制作 在 3ds Max完成场景灯光的布置，然后给设备设施、人员、摄像机视角调节动作，根据调节设备设施、人员、摄像机动作决定在哪个摄像机的哪些部分需要进行渲染，然后进行相关动画序列的渲染，制作界面如图 4 所示。3.3 系统交互功能开发 本系统中包含模型种类多，且需要实现环境漫游、灾害展示、设备操作、虚拟考核等工作任务。经过对国际主流交互仿真软件的综合对比分析，结合煤矿灾害演练培训的实际情况，选取 Unity3D 平台作为矿井灾害防治演练系统的开发平台，系统主要交互功能主要有下文所述的两种。3.3.1 场景漫游 场景漫游时，通过不断移动摄像机位置或改变摄像机方向从而产生场景变化的效果实现漫游功能。在沉浸式场景漫游开发中需要在 Unity3D安装 Steam VR插件，通过调用预留的 API实现利用控制手柄在三维场景漫游的功能，API函数调用界面如图 5所示。3.3.2 设备操作 系统通过编写 C#语言脚本赋予各子物体属性。比如，为在虚擬场景中实现通过控制手柄装拆钻机钻杆目的，需要为钻机各子对象添加碰撞检测组件和碰撞干涉组件，此时用到的碰撞检测函数为 On Trigger Enter（），当控制手柄与钻机子对象发生碰撞时则将修改子对象的三维空间坐标为在原坐标上加子对象跟随控制手柄移动的相对位移，抓取的交互代码为：void OnTriggerEnter（Collider other）/当触碰时 if（other.CompareTag（Player）isGrab=true;transform.localPosition=Vector3.zero;public void OnGrap（）/当抓取时 ishaps=true;handhighlight.SetActive（false）;3.4 硬件平台搭建 矿井灾害防治演练平台硬件由计算机（服务器）、头显设备、操控手柄、激光定位器和定位器支架组成，计算机负责平台的开发、运行和数据处理，头显设备为学员提供三维场景并将其位置信息发送给定位器，操控手柄用于在三维场景中实现物体交互及移动，激光定位器通过红外 LED 阵列以固定频率分别以垂直和水平两个模式扫描整个房间实现头显设备和操控手柄的定位，支架起支撑定位器的作用，在定位器扫描的范围内能够准确定位头显设备和操控手柄的位置。硬件结构组成如图 6所示。4 平台应用效果 4.1 初始界面效果 人与系统进行交互的方式主要是通过头显设备中界面提示和控制手柄操作，以及 PC桌面控制端的操作进行。在本培训系统中以图形、菜单和图标等形象的界面来表达相关信息，界面直观性强，用户通过手柄等来完成操作。具体灾害场景引入界面如图 7 所示。