工业边缘数据管理与分析技术白皮书-2023.07-60页-WN7.pdf
《工业边缘数据管理与分析技术白皮书-2023.07-60页-WN7.pdf》由会员分享,可在线阅读,更多相关《工业边缘数据管理与分析技术白皮书-2023.07-60页-WN7.pdf(60页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、 工工业业边缘边缘数据管数据管理理与分与分析技术析技术 白白皮皮书书 工工业业互互联联网网产产业业联联盟盟2023年年6月月 声声 明明 本报告所载的材料和信息,包括但不限于文本、图片、数据、观点、建议,不构成法律建议,也不应替代律师意见。本报告所有材料或内容的知识产权归工业互联网产业联盟所有(注明是引自其他方的内容除外),并受法律保护。如需转载,需联系本联盟并获得授权许可。未经授权许可,任何人不得将报告的全部或部分内容以发布、转载、汇编、转让、出售等方式使用,不得将报告的全部或部分内容通过网络方式传播,不得在任何公开场合使用报告内相关描述及相关数据图表。违反上述声明者,本联盟将追究其相关法律
2、责任。工业互联网产业联盟 联系电话:010-62305887 邮箱: 前前 言言 在工业大数据分析指南中,从理论的角度对通用的工业大数据分析方法和分析流程进行归纳总结,对其关键共性进行辨识、抽象和提升。随着以制造业转型升级为首要任务的工业变革的不断深入,工业大数据成为引领这场变革的主要驱动力,工业互联网逐渐成为工业大数据的核心应用、重要场景之一。工业互联网为了解决工业制造业“智能化生产”、“个性化定制”、“网络化协同”、“服务化转型”的需求,需要建立一个基于海量数据采集、汇聚、分析的数据管理与分析的服务体系。在工业互联网的边缘,即工业边缘,通过大范围、深层次的数据采集,以及异构数据的边缘处理,
3、通过构建精准、实时、高效的管理与分析体系,建立面向工业大数据存储、集成、访问、分析、管理的工业互联网平台环境,才能实现工业技术、经验、知识的模型化、标准化、软件化、复用化,才能不断优化研发设计、生产制造、运营管理等资源配置效率,才能形成资源富集、多方参与、合作共赢、协同演进的制造业新生态。为此,在工业互联网产业联盟的指导下,工业大数据特设组主持编写了这本工业边缘数据管理与分析技术白皮书。本书由工业互联网产业联盟编写,在编写过程中得到了信通院领导的悉心指导和相关参编单位的鼎力支持。编写组成员(排名不分先后):王建民、于辰涛、王晨、魏凯、李铮、王子涛、刘薇、闫君、任磊、李霏、尹作重、孙晓田、董松伟
4、、赵大力、牛建伟、林杨、任继顺、汪洋、陈旭、曹予飞、韩涛、张镇、杨扬、何琪、冯振飞、吕晨阳、李波、徐心平、李志国、刘廉如、尹震宇、于碧辉、佟琨、项楠、尹作重、谭文哲、余笑寒 参与编写单位:北京航空航天大学中国信息通信研究院北京天地和兴科技有限公司中国科学院沈阳计算技术研究所北京中元瑞讯科技有限公司东方电气集团东方电机有限公司杭州东信北邮信息技术有限公司北京博华信智科技股份有限公司北京机械工业自动化研究所有限公司三六零科技有限公司山东省科学院新一代技术标准化研究院上海大制科技有限公司深圳得一智科技有限公司苏芯物联技术(南京)有限公司新华三技术有限公司牵头编写单位:清华大学联想(北京)有限公司宜通
5、世纪科技股份有限公司工业互联网产业联盟公众号 目 录 前前言言.1 1工工业边业边缘数缘数据据管理管理与分与分析的析的内涵内涵与意与意义义.2 1.1 工业边缘数据的定义.2 1.2 工业边缘数据的特点和挑战.3 1.3 工业边缘数据管理与分析的难点与挑战.4 2现现状及状及场景场景分分析析.10 2.1 边缘数据管理与分析技术发展现状.10 2.1.1边缘数据管理与分析的国内发展现状.11 2.1.2边缘数据管理与分析的海外发展现状.12 2.2 产业应用场景分析.14 2.2.1 汽车制造行业.14 2.2.2 石油化工行业.20 2.2.3 电子制造行业.24 3关关键技键技术研术研究究
6、.35 3.1 边缘数据管理与分析的平台技术架构.35 3.2 边缘数据管理与分析技术.37 3.2.1 边缘数据的灵活接入管理与数据管理.37 3.2.2 边缘数据的批流融合灵活计算.39 3.2.3 面向边缘设备数据的组态化应用服务.40 3.2.4 边缘数据管理与分析的微服务化访问技术.43 3.2.5 面向边缘数据综合分析的人工智能技术.44 3.2.6 边缘计算数据流通的协同安全技术.46 3.3 工业边缘和公有云的数据协同处理.48 4展展望望.51 1 前 言 工业制造业是一个国家的基石。当前,工业制造业全球性产能过剩,市场竞争激烈,制造业正在从大批量和规模化生产,转向小规模、个
7、性化定制的新型模式。为了应对这种挑战,工业互联网通过对人、机、物、系统等的全面连接,构建起覆盖全产业链、全价值链的全新制造和服务体系,为工业乃至产业数字化、网络化、智能化发展提供了实现途径。基于工业互联网的平台应用赋予市场、销售、运营、维护等产品全生命周期服务的全新内容,将促进企业从规模化流水线生产转向规模化定制生产,从生产型制造转向服务型制造,推动服务型制造业与生产型制造业的深刻变革。边缘计算是工业互联网中推进 IT 和 OT 融合交汇的关键点。边缘计算通过在网络边缘侧汇聚网络、计算、存储、应用、智能等五类资源,提高网络服务性能、开放边缘数据、激发新模式和新业态。工业互联网中的边缘计算既解决
8、了工业生产中面临的现实问题,又能够为工业的转型发展提供新能力,是现阶段国内外工业互联网关注的焦点之一。边缘计算在实际部署应用和数据处理的过程中,存在着数据集碎片化、工业应用研发门槛高、工业软件建设选型困难、设备及平台标准缺失、安全开放测试机制不完善等突出问题。针对上述问题,急需提升工业边缘数据管理与分析技术水平,提升实时数据处理,流式智能分析,现场数据决策,闭环业务反馈的能力,这将有助于工业互联网平台建设,加速形成全新的生产制造管理、优化和服务体系,赋能制造型企业的全面数字化转型。2 1.工业边缘数据管理与分析的内涵与意义 1 1.1 1 工业边缘数据的定义工业边缘数据的定义 工业互枹网平台是
9、面向工业制造业“智能化生产”、“个性化定制”、“网桔化协同”、“服务化转型”的需求,构建基于海柎数据采集、汇聚、管枞、分析的技术服务体系,支撑制造资源全面枻接、弹性供给、高效配置的工业操作系统平台,包括边缘层、平台层(工业 PaaS)、应用层(工业 SaaS)三大核心层级。在工业 4.0 场景下,工业边缘特指工业互枹网边缘,在“端边云网智”五个价值要素中,包含:“端”和“边”柌部分要素。“端”是指智能物枹网产品及设备。智能制造的“端”包括生产过程涉及到的数控机床、工业机器人、AGV、标签/RFID、传感器、智能监控、AR/VR 装备等。通过智能终端、智能设备实现生产操作自动化,生产信息数字化及
10、存储、人员及环境监测等,尤其借助智能设备 3D 建模、物枹网及大数据等技术来支撑设备的仿真、预警以及预测性维护等智能应用。“边”是指边缘计算系统。面向工业査域,针对工业现场的设备枻接、系统协同、实时数据分析等需求,通过边缘接入、数据采集、时序存储、数据计算、数字格生、数据可视化等技术手段,为企业提供从现场设备、传感器、控制系统等的边缘接入到智能应用服务的“端到端”解决方案。从数据分析和管枞的技术架构层面,边缘服务以现场实时处枞为基础,提供边缘网关管枞、设备数据接入、数据处枞缓存、边缘计算等功能,并支持工业数据汇总、存储、计算、分析、建模与应用服务。边缘计算系统也提供枻接云端工业互枹网平台的功能
11、,通过统一的云端 3 通恧协议,完成数据上报、指令反馈、远程控制等多种数据通路功能,并对外部提供大数据、人工智能等相关平台或服务的枻接与调用能枵,支持数据与接口的多系统集成。基于上述分析,在本白皮书中,工业边缘数据定义为,在工业制造工业互枹网场景下,所涉及到的端设备(如数控机床、工业机器人、AGV、智能标签、传感器、工业穿戴设备、智能监控装备等)及边缘计算系统(如轻边缘设备及轻边缘系统软件)所总要管枞与分析的各枑数据的总称。1 1.2 2 工业边缘数据的特点和挑战工业边缘数据的特点和挑战 工业边缘数据的特性是由于工业实际现场环境复杂度以及工业设备及传感器分布式部署导致。工业设备在部署时,环境资
12、源受限,局部视野受限,功能受限,扩展困难,从而导致实际现场工业数据难以集中化,进而产生了工业边缘数据的构成与特性。根据数据来源,工业边缘数据基本由以下柌枑数据构成:机机器器数据数据 由传感器、仪器仪表、智能终端等设备采集的数据,这些数据在生产设备本身运行过程中,时刻描述运行状态、过程参数、设备工艺机枞、绩效指标、作业环境等状态。这些数据通常是以时间恅列数据方式来表达,主要通过时间标签(按照时间的顺恅变化,即时间恅列化)进行处枞。运运营营系统系统数据数据(交交互互数据数据)工业现场人员通过控制终端输入到设备系统中的设计数据、指标标准、规格数据、工艺数据、命令数据等。随着工业互枹网推动的以“智能化
13、生产、个性化定制、网络化协同和服务化转型”为代表的智能制造 4 模式的发展,由人产生的交互数据规模比重将逐步降低,运营系统自行产生的数据占比将越来越大。与工业大数据相比,工业边缘数据具有以下更为显著的特征:数数据据来源来源多多,异构异构性性特征特征强强 工业现场环境下,端设备或端边一体化设备会产生大柎的传感器数据、图像数据、视频数据等数据。数据来源丰富、枑型多样、结构复杂,数据源之间存在异构性、分布性和自治性,数据枑型既包括数字、关系型数据等结构化数据,也包括图像、音频等非结构化数据。数数据据时序时序性强性强 边缘数据中,端设备尤其是传感器设备,所产生的数据多为时序性数据,时序性数据通常会以亚
14、秒级的频次进行采集,经过处枞的时序数据是反应被监控设备的各种状态的最基础也是最核心的信息。但由于采集频次高,受传输设备和现场条件干扰,极高概样出现时序异常、数据丢失的错误。1 1.3.3 工业工业边缘边缘数据数据管枞管枞与分与分析析的难的难点与点与挑挑战战 从功能层面分析,工业边缘侧功能主要由以下三方面组成:数数据据整枞整枞 边缘侧需要对接收到的数据,特别是时序数据进行整枞,针对缺失数据进行补齐,针对时序错栿数据进行对准,支撑数据的可靠性与可信性。局局部部智能智能 在边缘侧处枞能枵有限的条件下,边缘侧需具有局部智能特性,即判断数据并通过局部智能产生的结果,在人机交互过程中提供决策支持,支撑整体
15、系统的数字化和智能化。5 边边缘缘侧协侧协同控同控制制 工业现场边缘侧网络带宽有限,传输延迟时间长(秒级),因此总采用边缘侧协同控制方式(毫秒级),降低边云间数据传输量,避免由于数据传输延迟、稳定性差等因素造成的决策误差,支撑边缘侧协同控制。基于以上分析,本白皮书认为,对于工业边缘数据的管理与分析的要求,与传统意义上的工业大数据应有一定的区分。工业边缘数据的管理与分析是为了更好的应对工业边缘计算的要求,满足工业现场实时性、安全性、鲁棒性的要求,进而提升生产效率和运营效率。1 1.3.3.1.1 工工业边业边缘数缘数据据管理管理与分与分析的析的难点难点 在目前工业实际现场条件下,由于设备、技术、
16、成本等各方面的限制,工业边缘数据管理与分析中,仍存在如下难点:数数据据质量质量问题问题 边缘数据质量问题主要集中体现在以下两方面:(1)数据缺失。工业边缘数据完备性是工业边缘数据的最基础要求之一。然而,由于边缘数据具有来源多,异构性强的特点,同时会受到传感器安装数量、安装位置、传感器状态、通恧协议实现、测量链状态等问题的影响,导致系统所采集的数据会存在不同程度的缺失。另一方面,目前的生产环境下,一部分交互数据如监测数据来源于人工采集及录入,也会造成工业边缘数据的缺失。数据缺失会导致样本信息减少,不仅增加了分析数据的难度,而且会导致数据挖掘的结果产生误差。(2)时间对齐。由于边缘数据时恅性的特点
17、,传感器采集的设备信息通常是以“特征值+时戳”的方式来表达。在数据后期处理时,利用时戳来进行时间对齐,再通过同一时间点上的边缘数据来进行分析。6 工惄边缘数据采集过程中,设备性能限制、采悪频率及采悪精度惣及网络传输等问题会导致输出的时戳不准确,甚至有些传感器不输出时戳数据,总在后期处枞过程中添加时戳,使得时间对齐问题表现得更为突出。数数据据时效时效性问性问题题 由于边缘数据时恅性的特点,工惄边缘数据的处枞对于时效性有很高的悹求,其管枞与分析过程总悹采用高效率、低资源消耗的计算愌擎和存储恪缩方法。更进惊步的,总悹针对时恅特征优化计算框架和存储模型数据采集,开发数据存储及提取,数据过滤及恪缩,数据
18、传输等惊系列方法,惣适愓工惄互联网下边缘设备的受限资源环境。目前工惄环境下所使用的存量设备,由于早期设备硬件性能原愁,对设备读、写的访问速度有比较大的限制。而工惄愓用,特别是带控制输出的愓用,往往对数据的实时性悹求比较高,愁此给进惊步开发带来了较大的难度。生产线的高速运转、精密生产和运动控制等场景则对数据采集的实时性悹求不断提高,而传统数据采集技术对于高精度、低时悄的工惄场景难惣保证重悹的信息实时采集和上传,无法满足生产过程的实时监控总求。数数据据安全安全问题问题 工惄数据采集会涉及到大量重悹工惄数据和用户愍私信息,在传输和存储时都会存在惊定的数据安全愍患,例如可能存在黑客窃取数据、攻击企惄生
19、产系统的风险。愁此,总悹通过通信和传输保护、数据防泄漏、数据加密等安全策略,提升工惄边缘数据安全管枞水平,降低安全攻击风险。此外,总悹借助安全态势感知分析,了解工惄现场边缘设备的安全水平,完成安全加固,增强安全防护。1 1.3.3.2.2 工工业边业边缘数缘数据据管理管理与分与分析的析的挑战挑战 工惄边缘数据管枞与分析受到工惄边缘的硬件性能、实时性悹求、7 传输环境等一系列限制,难以直接套用大数据管理与分析的方法,因此,需针对工业边缘数据管理与分析中面临的难点,结合工业现场及工业企业实际条件和生产经营要求,对边缘数据管理与分析所面临的挑战进行分析和总结,进一步明确工业边缘数据管理与分析的技术趋
20、势,这包含以下几个方面:针针对对工工业业边缘边缘数数据缺据缺失失问题问题,应应对数对数据缺据缺失失的的挑挑战战,需需要具要具备备强强大大的的数据数据接入接入与灵与灵活活的数的数据预据预处理处理能力能力 工业现场中存在大量的自动化仪表、现场总线和各种自动化设备(包括数控机床、机器人、PLC 模块、物料小车 AGV 等),这些工业设备支持的协议种类繁多,全世界共有超过 100 种的工业总线,各类终端设备的通讯协议大概有 4000-5000 种,以及 5000 多种驱动类型。大量的异构网络通信规范,导致数据适配采集,难以统一语义。针对不同的工业协议的不同数据规范,传统的人工数据处理方式固定难变,效率
21、低下且易出错。在工业互联网平台的支撑下,边缘数据的管理与分析需要按照实际的工业现场的要求,按需应用多种数据转换方式,灵活配置多源异构数据的解析和预处理,支撑提供规范统一的完整的工业边缘的时序数据集。针针对对工工业业边缘边缘数数据质据质量量问题问题,应应对数对数据时据时间间对对齐齐的挑的挑战战,需需要要具具备备适适应边应边缘数缘数据形据形态态的数的数字化字化应用应用 在一个车间内,可能存在成百上千的设备和系统,不同的业务流又使得众多设备之间建立了不同程度的依赖关系,整个生产过程中,一旦出现问题,需要优化、重构产线时,缺乏虚拟调试的手段。例如,某项业务出现问题,要解决这个问题就必须定位至出故障的某
22、个设备或者系统。在目前环境下,问题的排查十分困难,需要工业现场驻留大量自动 8 化工程师时刻进行巡检,并总要各种具备特定设备专业知识的工程师才能排障和处理。适应边缘数据形态的数字化应用是指建立实物资产、过程、位置、系统或设备的怼拟映射,本质上是以数据作为输入,并呈现出这些输入数据对怼拟映射的影响。在工业互联网平台,工业边缘数据的管理与分析,总要以设备、工艺、流程的角度,组织和管理时恅数据,按照设备建模,按照工艺流程驱动数字孪生模型,从整体、全局的角度,实时感知设备状态,识别关联影响,才能提升设备管理、产线管理的效率。针针对对工工惄惄边缘边缘数数据时据时效效性问性问题题,愓对愓对数据数据价价值值
23、提提取与取与时时效性效性的的挑挑战战,总悹总悹具备具备边缘边缘数数据分据分析灵析灵活计活计算算、及及时时展示展示的能的能力力 随着物联网、传感器、5G网络的快速发展,工业边缘设备汇集的多种传感器、多种工艺、实时工况,单个点位以秒级甚至毫秒级的频率产生各类数据,数据量成倍增长,达到千万级以上。面对海量高速的时恅数据,常规的数据处理方式已经无法应对,这就对时恅数据的处理规模、处理速度提出了更高的要求。例如高速时恅数据检索,如使用传统数据库存储,当时恅数据上量后,索引无法继续驻留在内存;大量的无恅插入又带来索引分片困难,查询性能会随着时恅数据的增加和更新变得越来越差,而且是指数性下降。在边缘时恅数据
24、的基础上,数据专家总要根据业务总求做一系列复杂分析,如信号分解和过滤、针对不同工作条件的分割、模式匹配、频域分析等。在工业互联网平台下,工业边缘数据的管理与分析,总要建立一个高效管理、高性能处理的时恅数据管理平台,提供灵活的异构数据的解析和预处理技术,具备时恅数据的实时展示能力,才能满足在工业互联网趋势下,各个行业对数据的按总处理、协同分析的要求。9 针针对对工工业业边缘边缘数数据访据访问问问题问题,应应对数对数据灵据灵活活存存储储及访及访问问的挑的挑战战,需需要要具备具备数据数据的微的微服服务化务化访问访问能力能力 早期的工业知识主要依杦于经验丰富的工业现场操作人员经过长时间观察和分析后,利
25、用不断的试验来完成积累。这种方式过分依杦于现场人员的经验积累,且该种工业知识难以复用和沉淀。在工业互联网时代,总要工业系统、IT 人员、OT 人员的密切配合,才能真正实现经验共享与协同。基于工业互联网平台,工业边缘数据的管理与分析,总要在数据源头、设备附近以及工控系统内,将计算、存储的核心能力融为一体,运用模块化、组态化的数据拆分和预处理计算,通过零代码、拖曳编排的方式降低工业现场操作人员的编程能力要求,实现时恅数据的工业边缘增强,并以微服务、轻量化分层边缘计算编排的方式,降低系统间、边云间数据来回传输的成本,让现场操作人员专注于优化工艺本身。针针对对工工业业边缘边缘数数据实据实时时决策决策问
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 工业 边缘 数据管理 分析 技术 白皮书 2023.07 60 WN7
限制150内