油气管网多源异构数据资产融合系统的研究及应用.pdf

《油气管网多源异构数据资产融合系统的研究及应用.pdf》由会员分享，可在线阅读，更多相关《油气管网多源异构数据资产融合系统的研究及应用.pdf（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、油气管网多源异构数据资产融合系统的研究及应用 摘要：随着双碳战略的提出，各油气管网企业加速了信息化的建设，如何避免信息化建设的烟囱式发展，整合底层多源异构数据形成数据资产、打通系统壁垒、最大化数据价值、保障管道安全、全面构建“一张网”的管理模式，成为了急迫解决的问题。本文从数据层面、业务层面和系统层面对如何构建多源异构数据资产融合系统进行了研究及应用。关键词：管网；数据资产；融合 0 引言 2022 年 1 月，国务院印发“十四五”数字经济发展规划，提出产业数字化转型迈上新台阶的目标，要求推动能源领域产、运、储、销、用各环节设施的数字化升级，推动基于供需衔接、生产服务、监督管理等业务关系的数字

2、化平台建设，提升能源体系智能化水平。国家管网集团提出集团数据资产集中管理，构建“一个数字管网”平台，打通底层数据，构建多层面融合的数字平台，实现数字基础、数字赋能、数字使能、全数字化的成长发展规划，解决业务烟囱问题、数据孤岛问题，助力企业数字化能力成长。油气管网多源异构数据资产融合系统的构建正是从底层基础到上层建筑的全面整合，以数据为基础、以业务为导向，为企业数字化转型提供动力和基础保障。1 关键技术研究 1)油气管网数据的多源性与异构性 多源异构数据是指来源不同并且数据存储结构存在差异的各种数据，包括空间信息数据以及非空间信息数据。空间信息数据主要包括空间矢量数据和空间栅格数据；非空间信息数

3、据主要包括业务关键数据及其它属性数据。油气管网数据的多源性主要是由于多种形式的数据采集方式导致的，通常包括传统测绘采集的外业数据及基于该种数据构建的产品，通过卫星遥感、无人机采集的摄影测量数据，通过移动设备采集的属性、照片、视频等数据，通过各种传感器采集的工况数据等；数据的多源性也间接导致了数据的异构性，关系型数据和空间数据在数据结构上存在比较大的差异、不同厂商构建的信息化系统数据库结构也各不相同。多种类型的数据因为数据采集方式、数据生产方式、数据存储方式和数据处理方式差别的综合影响，共同导致了油气管网数据的多源性和异构性。2)数据资产 数据资产是指由企业拥有或控制，能够为企业带来未来经济利益

4、的、以物理或数字化的方式记录的数据资源。数据是重要的企业战略资源，是驱动企业经济增长的核心关键力量，数据资产在微观层面深刻的影响了企业的经济行为。数据资产管理是企业或组织采取的各种管理活动，用以保证数据资产的安全性与完整性，合理配置和有效利用，从而提高带来的经济效益，保障和促进各项事业发展。油气管网企业的数据资产构建通常以管道全生命周期数据标准为依据，建立覆盖管道建设、生产运营、完整性管理等全过程的数据采集、存储、管理、服务和发布平台，实现数据的交换、保存、更新、共享、备份、分发和存证等功能，并提升容灾、备份、挖掘、分析能力，为企业的运行管理提供强有力的支持。3)多源异构数据资产融合方法 多源

5、异构数据资产融合从底层向上层构建主要分为三个层面，数据层面的融合、业务层面的融合和系统层面的融合。数据层面的融合方法主要是根据国家标准或企业标准对数据进行整理、分类并构建数据库，数据的整理主要包括完整性检查、标准化处理、元数据构建、数据格式及坐标转换、拓扑重建、数据字典构建等，通过数据整理，使各类数据符合统一的规范、标准、编码和格式；业务层面的融合主要是梳理企业业务及业务的交叉部分和独立部分，分析业务之间的关联性；系统层面的融合主要是基于业务形成暴露在各子系统或平台之间的可调用的数据接口，系统在统计或分析时可以跨系统、跨数据库进行综合分析。2 油气管网融合系统构建 油气管网融合系统的构建需要梳

6、理数据、业务和系统关系，从数据层面、业务层面和系统层面进行整合。图 1 油气管网融合系统架构图 2.1 数据融合 数据融合是数据资产融合系统构建的基础，主要涉及数据收集、数据标准制定、数据预处理、数据标准化、数据整合与数据质量检查等。1)数据收集 收集管道本体数据及其附属设施数据、管道影像数据及管道周边资源信息数据、相关业务数据等。需要收集企业的历史纸质数据、数字化数据等，该类资料可能零散的分散在设计院、信息化承建单位或相关业务部门。2)数据分类 结合油气管网企业实际，通常将数据分为基础地理数据、管道专业数据和环境专题数据。其中，基础地理数据包括数字正射影像（DOM）、数字线划图（DLG）、数

7、字高程模型（DEM）、数字栅格图（DRG）及实景三维数据（3D Real Scene）等；管道专业数据包括管道核心数据、管道设施数据和检测评价数据等；环境专题数据包括应急数据、建构筑物、土地利用、土壤、水系、道路等。3)数据标准制定 基于油气企业相关国家标准、行业标准和企业标准构建符合企业实际的数据标准，作为数据库建设的依据。其中，相关国家标准有GB 50253-2014 输油管道工程设计规范、GB 50251-2015 输气管道工程设计规范、GB 50369-2014 油气长输管道工程施工及验收规范、GB 32167-2015 油气输送管道完整性管理规范等；行业标准有SY/T 6597-20

8、18 钢制管道内检测技术规范、SY/T 6621-2016 输气管道系统完整性管理、SY/T 6648-2016 危险液体管道的完整性管理等；企业标准有 QSYGD1067-2014管道高后果区识别与风险评价手册、QSYGD1087-2015管道缺陷评价手册、QSYGD0502-2016管道完整性数据对齐规范等。4)数据预处理 主要是对收集、分类后的数据进行数字化、数据清洗和数据提取。油气企业中存在一部分纸质资料，如竣工资料、历史管线数据等，需要进行数字化；一部分数据分散在各烟囱系统中，要进行归集；部分的影像资料需要进行正射校正、辐射校正、大气校正等工作。5)数据标准化 对不同格式的数据进行标

9、准化处理。其中空间数据需要进行格式转换、统一投影、坐标转换及组织方式转换等。使数据达到建库、入库标准。6)数据整合 对数据进行整合处理，建立元数据和数据字典，对数据进行分类分级编码、分类代码转换，进行数据分层与属性规整、一致性处理及数据对象和处理。构建数据库，进行入库工作。数据整合过程中关注数据关联性，做好数据之间的关联关系，为业务层面跨数据分析提供基础。7)数据质量检查 对数据进行质量检查工作，主要包括数据完整性检测、数据补测补录、数据拓扑检查、断点孤岛检查等。2.2 业务融合 业务层面的融合是连接数据层面和系统层面的中间环节，根据油气企业管道全生命周期完整性管理要求和企业实际，对企业的核心

10、业务进行梳理、分类，主要分为管道建设期和管道运营期两个阶段。1)管道建设期业务 主要涉及管道建设管理工作，主要是通过对建设单位、施工单位、监理单位和检测单位的管理，保障管道施工过程安全并按进度计划完成工程建设。工程项目的管理涉及合规、报审、进度、质量、安全和投资等管理。同时，该阶段的可研设计资料、管道基础数据采集、施工数据采集至关重要，为后期管道安全运营提供数据支撑。2)管道运营期业务 主要分为四个核心板块，即生产管理、安全管理、营销管理和客服管理。生产运营管理业务主要涉及管道的日常运行管理、管道供应保障的管理、储气调峰等工作；安全管理业务主要涉及管道保护工作，如管道巡线、阴极保护、高后果区管

11、理、隐患管理及灾害防治、应急管理等工作；营销管理主要涉及上游气源管理、下游客户管理、合同管理等工作。客服管理板块业务主要集中于城市燃气企业，包括应收管理、入户安检、报建管理、微信公众号、自助缴费和发票管理等。2.3 系统融合 基于数据融合和业务融合，构建数据资产融合系统，实现系统层面的融合。该系统整合了建设期和运营期的业务，形成管道资产一张图，对管道全生命周期进行管理。1)建设期 包含管道建设期管理平台，包括工程建设管理子系统（进度管理、合同管理、物资管理、风险管理、HSE 管理等）、数字化移交子系统（咨询设计数据、线路施工数据、阴保施工数据、站场施工数据管理等）、智能工地子系统（考勤管理、二

12、维码管理、视频管理、焊接工况监控、焊接质量监控等）、二三维展示子系统（设计成果展示、施工数据展示、施工资源展示等）、档案交换子系统（竣工资料管理、竣工资料签署等）。2)运营期 包含生产管理平台、安全管理平台、营销管理平台和客服管理平台。生产管理平台包括管道运行监控子系统、管道供应保障子系统、模拟仿真子系统；安全管理平台包括安全巡检子系统、腐蚀防护子系统、地灾监测子系统、阴极保护子系统、高后果区管理子系统等；营销管理平台包括计划管理子系统、合同管理子系统、价格管理子系统、资源管理子系统等；客服管理系统包括话务子系统、营收子系统、入户安检子系统、呼叫工单子系统、报建管理子系统等。整个系统底层数据联

13、通、共享，业务相互关联交叠，通过对用户功能权限、数据权限的配置和分级，满足油气企业需求及使用，对数据资产进行统一管理。3 多源异构数据资产融合的应用 某省天然气公司在管道信息化建设方面起步较早，已建系统比较完善，基本满足各业务部门日常管理的需要。已建成SCADA 系统、生产报表管理系统、智能巡检系统、视频监控系统、营销系统等。总体来讲，公司目前建设了多套独立应用系统、由于没有实现平台化、操作不便，运维成本高；多套系统形成了多个数据孤岛，由于没有实现数据互联互通，数据的应用价值低，也无法挖掘出数据的价值；各系统建设未考虑公司各部门之间的业务流转和协同办公，造成信息不畅，存在线下纸质化办理状态，管

14、理成本高。针对某省天然气的现实状况和发展要求，从数据层面、业务层面和系统层面定制融合方案，构建融合平台，全面提升公司资源利用水平、生产运行效率和安全管理能力。立足企业、面向上下游，开展公司智能管道建设工作。1)基础设施建设 充分利用现有服务器和软件资源，利用超整合平台构建企业私有云，提高资源利用效率，降低维护成本，为平台提供基础支撑。2)标准体系建设 构建第三方在线监测系统数据引接标准、业务数据分类标准、业务元数据标准、数据接口服务标准，实现数据接入、存储、访问标准化。3)数据中心建设 建设标准统一、关系清晰，覆盖生产运行、完整性管理、经营全过程的数据采集、存储、管理、服务和综合监管平台，实现

15、数据的交换、保存、更新、共享、备份、分发和存证等功能，并提升容灾、备份、挖掘、分析能力，为企业的运行管理提供强有力的支持。4)数据资产平台建设 基于全生命周期数据中心，以优化运行和本质安全为核心目标，整合现有信息化系统，构建涵盖生产运行、经营管理、资产完整性管理的平台，提升企业资源利用水平、生产运行效率和安全管理能力。通过数据资产融合平台的构建，实现了企业的数据资产全生命周期管理的目标，当前该系统稳定运行中，提高了企业的管理效率。4 结束语 通过油气管网多源异构数据资产融合系统的构建，整合底层数据，打通管道建设期、运营期业务底层逻辑，构建底层数据“管、监、控”一体化，打造底层数据共享互通能力，

16、实现管道资产全生命周期管理数字化，从而更加科学高效的调度油气企业各种资源，指导安全生产经营，不断提高企业管理效率和水平，为构建统一智慧管控一体化平台提供坚实的数据底座，培育创新成长新生态的总体发展目标。本次研究及应用为其它油气管网企业多源异构数据资产融合系统的构建提供了参考依据。参考文献：1徐强.GIS 领域多源异构数据集成的普适性处理框架研究D.陕西师范大学,2018.2付丽丽,韩葵,王文哲.城市地下管线数据整合技术探讨与研究J.城市勘测,2017(6):4.3肖胜.多源异构数据 GIS 集成与共享研究J.亚热带水土保持,2006,18(4):43-45.4王彦婕.多源异构数据融合技术的研究

17、J.山西电子技术,2022(3):3.5梁庆发,梁志宇,郑国珊.基于 GIS 的多源异构数据整合方法研究J.测绘与空间地理信息,2015,38(6):3.6刘顺凤.基于 GIS 技术的多源异构数据整合共享方法研究J.数字通信世界,2020(7):2.7刘波.基于多源数据集成的地理信息系统数据高效整合研究J.经纬天地,2021(5):4.8蓝永乾,迟磊.油田生产物联网多源数据整合J.通信管理与技术,2013(2):5.9鲍井林,潘九宝.城市地下管线多源数据整合研究J.现代测绘,2015,38(2):3.10管鑫,舒琪.地下管线多源数据整合方法探讨J.城市勘测,2018,000(0z1):46-4

18、9.11唐时荞.基于 GIS 的智慧园区动态感知数据服务平台的设计与实现J.物联网技术,2022,12(09):32-34.12.中国云原生数据湖应用洞察白皮书C/.艾瑞咨询系列研究报告（2022 年第 4 期）.,2022:791-841.13王少杰.基于数据湖的联邦数据管理系统的设计与实现D.北京交通大学,2020.14杜晓梦.大数据、小数据,我们该何去何从?J.软件和集成电路,2019(06):36-38.15赵佳钐,李坤伦,徐江,李院春.基于混合架构的高校多源异构数据集成系统J.电子技术与软件工程,2019(07):160-162.16秦曙光,吴文茂,梁晖,杨程.高速公路大数据资产管理平台的研究与设计J.西部交通科技,2018(08):194-196.作者简介：赵淑媛（1980），女，高级工程师，硕士学历（2008 年毕业于西安科技大学地图制图学与地理信息工程专业）。主要从事地理信息技术、管道完整性管理应用等相关工作。