大数据技术在煤炭工业中的研究现状 (2).docx

大数据技术在煤炭工业中的研究现状摘要：在总结煤炭大数据大容量、快速性、多样性、真实性、可见性、价值等特征的基础上，从煤炭大数据理论、煤炭大数据与物联网和云计算的关系、煤炭大数据平台建设方面介绍了煤炭大数据研究现状；分析了煤炭大数据的多层面不均匀采样性、多时间尺度特性、不真实数据混杂性等新特点及其对煤炭大数据分析带来的挑战；从大数据采集与管理、大数据分析、大数据分享方面对建设煤炭大数据平台功能进行了瞻望，并从应用领域讨论了大数据技术在煤炭工业中可能的发展方向。关键词：煤炭工业；大数据；物联网；云计算；煤炭大数据平台随着传感器、计算机、通信、物联网、数据存储等技术的发展，以及企业信息管理系统的不断普及，制造工业等行业产生并存储了大容量数据，且随时间呈指数级增长1，工业界已经进入了“大数据时代2-3，煤炭工业就是其中的一个典型代表。煤炭是中国的主体能源，其产业的健康发展对经济社会发展至关重要，甚至关系着国家能源安全。因而，迫切需要依托物联网、云计算和大数据技术，采集、存储和挖掘海量数据，从数据中探索解决煤炭“采掘机运通排中若干问题，推动煤炭行业由生产自动化、信息自动化转型升级为知识自动化。麦肯锡的报告显示，就大数据的数量而言，诸如煤炭等领域的经过工业，其数据产出量及可被接入的设备数量远远超过移动互联网等其他行业，而且增速是其他大数据领域的2倍4。然而，煤炭大数据的利用却远没有在当前互联网领域那样普遍和深化，其中数据的价值还有待挖掘。本文阐述了煤炭大数据的特征及研究现状，并在分析煤炭大数据新特点的基础上，对煤炭大数据平台的发展与应用进行了讨论与瞻望。1煤炭大数据特征大数据分析手段主要是围绕大数据的“4Vs(Volume大容量，Velocity快速性，Variety多样性，Veracity真实性)特性去发展与完善的5-6。除“4Vs特性外，煤炭大数据还应该加上“2Vs，即Visibility可见性(通过大数据分析使以往隐匿的重要因素和信息可见)和Value价值(通过大数据分析得到的信息应该被转换成价值)。这“2Vs代表了煤炭工业界对于大数据所追求的目的和意义。1大容量(Volume)体如今数据采样率高(毫秒级)与采样时间段长(24h不间断运行)所带来的大容量历史数据。以单台矿井通风机为例，其数据采样频率为50Hz，每秒产生225kB数据，按每年7000h工作时间计算，仅单台通风机每年生成6TB数据。2快速性(Velocity)体如今高频的数据采集。由于井下作业环境恶劣、24h不间断生产，生产环境安全监测监控系统、各生产环节的自动化系统等的实时数据与信息需要安全、准确、实时地传至数据处理中心，所以每秒钟会记录几千兆甚至上万兆字节的数据。3多样性(Variety)体如今异构性、不同时间尺度和不均匀采样。煤炭工业数据异构性是指非构造化类型煤炭数据，其数据存储形式除“采掘机运通排控制系统采集的构造化的生产经过数据外，还包括以生产环境在线监测为主的视频图像、语音，以及规章制度、应急案例文本等非构造化数据。此外，煤炭工业分层次运行，采集的时间序列数据既有高维且快速率动态采样的压力、流量等经过数据，又有低速不均匀采样的灰分、硫分等指标数据。4真实性(Veracity)体如今真实数据与离群点数据的混杂。由于煤炭掘进、开采和洗选经过生产环境恶劣，测量仪表或变送器遭到干扰严重，且故障频发，使得测量数据中混杂不真实数据，具有离群点、缺失点等异常样本。如重介质选煤经过中由于在线灰分仪运行不稳定经常导致灰分实际测量值出现大偏差，导致历史数据中出现离群点。5可见性(Visibility)体如今对隐匿性问题的建模和预测。设备性能下降、健康衰退、零部件磨损等问题难以通过测量被量化，而大部分可见的问题都是这些不可见的因素积累到一定程度所造成的，因而需要通过大数据分析使以往隐匿的重要因素和信息可见，进而避免可见问题的发生。6价值(Value)体如今数据密度高、价值小。煤炭生产中，系统经常在某一特定且正常工况下运行，而故障等异常工况只是偶尔发生，因而大量数据均是存在冗余的正常运行数据，而反映异常的数据非常少。2煤炭大数据研究现状从20世纪90年代至今，煤矿自动化经历了从单机自动化、综合自动化到煤矿物联网的发展7，且随着煤炭企业信息化与自动化的不断提高及两化融合的快速发展，安全监控、人员定位、可视通信、数字化矿山、三维建模、企业资源计划等系统的不断应用，产生了海量、不同层次、不同类别的数据资源，为大数据在煤炭工业中的应用奠定了基础8。由于缺少针对煤炭大数据特征的分析工具及高效的计算平台来提取隐匿的知识，煤炭大数据还未充分利用，目前主要是将数据采集、压缩存档、恢复与少量预测分析。其中预测分析主要集中研究在煤炭安全生产领域，但尚处于理论研究和起步阶段，没有成功的形式和案例。郑磊9分析了当前中国煤矿安全管理存在的问题，并提出大数据将对煤矿安全管理带来变革。丁振等10讨论了大数据在变革管理思维、加强系统安全观念，提高设备运转可靠度、监测设备健康运行，提供事故分析新视角、实现安全管理关口前移等方面的应用前景。大数据、物联网与云计算是提升煤矿安全生产水平的3个重要技术手段。胡英11分析了安全生产大数据的特点与煤矿安全生产大数据当前面临的主要问题，提出建设基于物联网、云计算技术的煤矿安全综合数据库，建设基于专家系统的煤矿安全专家知识库，建设三维虚拟矿井可视化平台，研发煤矿安全动态分析系统的需求。孙继平12分析了煤炭大数据和物联网对煤矿事故分析的重要作用，讨论了大数据在煤与瓦斯突出、冲击地压、水害、火灾等事故预警，煤矿重大关键设备故障诊断，煤炭需求和价格预测等方面的应用。刘玉海13分析了现有的Hadoop云计算平台及云计算技术用于实现煤炭井下人员定位系统、矿井瓦斯安全预警系统、煤矿安全生产应急系统的可行性。缪建华等14提出了基于大数据和云计算技术的智慧矿山计划，并对淮南煤矿安全高效生产运用前景进行了瞻望。马小平等15阐述了物联网、大数据及云计算技术的研究现状，并指出3种技术之间的关系，即物联网产生大数据，大数据助力物联网；大数据需要云计算，云计算增值大数据。当前，大数据已经成为国家的战略资源和推动产业发展的重要引擎，煤炭工业的安全化、绿色化、智能化发展对煤炭大数据平台的需求迫在眉睫。张茜16利用SWOT分析方法，从优势、劣势、时机和威胁4个方面对煤炭企业建立大数据平台进行了分析。刘香兰17搭建了煤矿安全生产大数据分析模型，研究并设计了煤矿安全生产大数据分析与管理平台的功能架构与技术架构。申琢等18以数据集成、数据挖掘和可视化展现为主线，设计并开发了由设备层、网络层、数据层、挖掘层和展示层组成的基于数据挖据的煤炭大数据可视化管理平台。2016年7月19日，煤炭大数据平台V2.019在“2016夏季全国煤炭交易大会上正式启动，该平台涵盖煤炭GIS、图解煤炭、煤炭物流、信誉查询、预测预警、数据分析、能源经济七大功能模块，但仍存在数据体系不完善、采集渠道不畅通、数据时效性不强等问题。3煤炭大数据新特点及研究挑战随着信息化发展和可编程逻辑控制器与集散控制系统的广泛采用，以及安全生产经过管理、设备操作优化需求的不断增加，煤炭生产向大规模、集成化发展，多单元、多产品生产、动态运行。煤炭大数据体现出与广泛经过工业大数据20类似的多层面不均匀采样性、多时间尺度特性、不真实数据混杂性的新特征，对已有研究方法带来挑战。1多层面不均匀采样性。煤炭生产经过既有高维动态的经过数据，又有不均匀采样的指标数据，比方灰分指标往往难以在线测量，通常通过人工化验获得，而人工化验时间在一定范围内具有随机性，因而导致数据具有大延迟和不均匀采样的特点。现有数据驱动方法多集中在对均匀采样数据的分析与处理，无法对不均匀采样的数据进行分析与处理。2多时间尺度特性。多时间尺度体如今不同系统根据需求进行分层采样，进而进行优化决策与控制。其中，设备层是整个生产系统的最低层，为实时监测设备运行状态，其通常以毫秒为单位采集设备数据(如重介质选煤经过的入料泵变频电流等)；上一层为经过控制层，采集秒级的经过控制数据(如重介密度、合介筒液位等)，并施行控制，以保证经过的关键变量根据给定的设定值变化，并驱动设备状态按指定逻辑顺序变化，是稳定生产的关键；再上一层为运行优化层，采集从产品质量分析仪或人工化验或统计得到的多种类且不均匀采样的产品质量、产量、能耗的运行指标数据(如灰分、硫分，视频监控带式输送机运煤外表图像数据等)，由优化策略进行分析计算，产生新的经过设定值；最上层为生产经营管理层，采集来自市场营销和售后服务与用户的反应数据(如市场对煤质的定量与定性评价数据)，进行市场分析，进而指导和协调生产。多时间尺度上的数据具有强自相关与相互关关系，以及时间序列相关关系21，但由于不同时间尺度的采样，使得所获取的数据具有不均匀稀疏性，对现有分析方法带来挑战。3不真实数据混杂性。高维动态历史数据中夹杂与经过特性无关的干扰数据，这是由于受恶劣环境影响，煤炭实际生产经过数据易受采集、传输、存储经过中的异常影响，进而混杂离群点、甚至缺失点。这在不同时间尺度采样中均存在，如经过层的传感器设备故障，以及指标层的化验与人为误读数误差等。现有数据分析方法需要无污染的数据，但不真实数据的存在不可避免。因而，怎样从混杂数据中提取出反映经过特性本质的模型，建立鲁棒数据分析方法，将是研究的重点和难点。4煤炭大数据瞻望4.1煤炭大数据平台瞻望近几年，煤炭大数据技术发展较快，具备了一定基础，但当前中国煤炭数据信息采集渠道仍不畅通，数据传达相对滞后，时效性不强，缺少有效的分析工具及高效的分析方法实现煤炭大数据的价值。因而，煤炭大数据平台必须重点实现大数据采集与管理、大数据分析、大数据分享的功能。1大数据采集与管理。大数据的基础在于数据，因而需充分利用各类传感器、无线网络等加强对生产经过、监测监控、设备运行、经营管理等各类数据的采集与管理。此外，标准统一是大数据的基础。没有统一的行业信息标准，就无法整合来自不同领域、不同企业、不同类型的数据和信息。根据煤炭大数据建设的核心理念，建立全国煤炭数据实时在线采集系统，对各省市现有煤炭监测系统进行整合，构成基础数据库，并使各系统能够以统一的接口进行数据传输，实现基层煤矿数据的实时更新。同时，依托物联网、大数据技术，将煤炭行业数据全部纳入采集系统，实现各煤炭数据种类的全国联网，构建囊括煤炭生产、消费、交易等相关信息的全国煤炭数据库。2大数据分析。对大容量数据中知识的挖掘是大数据技术的关键所在，然而，解决问题的知识通常具有隐匿性，其不是直接呈如今数据里，而是呈如今用于揭示数据的模型中。因而，煤炭大数据的核心在于采用降维技术、分类与聚类技术、时序数据形式挖掘技术、数据源融合处理技术及关联关系分析技术等数据分析方法，快速获取、分析、处理海量的工业生产经过监控数据，建立不同层次(经过监测、故障诊断、优化决策、控制等)的模型，进而推动煤炭安全管理思维变革，加强系统安全观念，推动安全监察监管信息的分享，加快打通信息源壁垒，推动数据的深度开掘，为设备运行优化提供理论支撑。对于容量呈指数级增加的大数据，传统数据分析方法无法处理或处理过慢，因而煤炭大数据分析需借鉴已有高速的大数据建模与优化算法，如面向大数据特征的深度学习算法22-23等。(3)大数据分享。依靠某个企业单一数据样本很难实现大数据价值，需建立全国煤炭行业各类数据汇总的总平台，与本行业各类信息平台及电力等其他行业相关平台进行数据接入与分享，充分发挥行业协会、煤炭企业、科研院所、信息技术厂商等各方气力。4.2煤炭大数据应用瞻望煤炭工业应根据本身大数据特点，结合工业大数据在建模、控制与优化技术方面研究成果，利用互联网产业已建立的大数据管理平台，推进煤炭行业各级部门间数据的分享，面向煤炭安全生产、经过优化与决策、控制、故障诊断进行应用实践。1基于大数据的煤矿智能无人开采。通过积累各类地质构造、煤岩煤质、大型采掘设备等的大数据样本，构建各类开采条件下的智能开采模型。2基于大数据的煤矿灾祸预警与防治。通过积累煤矿大量监测数据样本，可探索基于大数据的煤矿事故预警方法，将大数据用于煤与瓦斯突出、冲击地压、水害、火灾等煤矿事故预警。3基于大数据的煤矿设备故障诊断。通过监测煤矿设备振动、声音、温度、功率等设备运行状态数据，研究关键设备状态异常与设备故障的关系，实现基于大数据的煤矿设备故障诊断。4基于大数据的行业运行监测与预测。通过积累煤炭市场交易数据、供需企业经营数据、港口铁路运输数据、国际大宗商品市场数据、宏观经济及下游行业运行数据等，能够进行煤炭需求与价格预测。5基于大数据的煤矿生产全流程一体化。通过不同时间尺度非均匀采样，可充分挖掘设备层、经过控制层、运行优化层、生产经营管理层不同层级内与层级间的隐匿性知识，设计集全流程生产指标、运行指标、经过设定值与控制规律的优化控制方法，实现生产全流程一体化，进而降低煤炭生产的能耗与物耗，提高产品质量。煤炭大数据还处于理论探索阶段，已建立的煤炭大数据平台尚未能挖掘大数据隐含的价值。同时，煤炭大数据的多层面不均匀采样性、多时间尺度特性、不真实数据混杂性的新特点对大数据分析所带来的挑战性问题，是煤炭大数据技术进一步研究的重点和难点。在煤炭行业开展大数据应用，利用煤炭大数据平台，探寻煤炭产业发展规律，探索煤炭行业科学管理方法，成为煤炭乃至整个能源行业发展的必然要求和必经之路。