讨论大数据分析在电力方面的应用.docx

讨论大数据分析在电力方面的应用安科瑞电气股份有限公司上海嘉定201801摘要：本文首先对电力大数据及其技术优势进行分析，在此基础上，从可视化、数据分析、数据库索引、数据治理、ETL等几个方面,对电力大数据分析技术及应用进行阐述。期望通过本文的研究能够对促进电力大数据的应用与发展有所帮助。关键词：电力大数据；技术；应用近年来，在国家政策的大力扶持下，电力行业获得快速发展，由此使得相关的行业数据发生爆发式增长，在这一背景下，电力大数据技术应运而生。通过该技术的应用，促使电力行业的整体生产经营水平获得进一步提升。借此，下面就电力大数据分析技术及应用展开讨论。1电力大数据及其技术优势1.1电力大数据电力大数据是大数据技术在电力行业的实践应用，涉及产、输、变、配、用、调等多个环节。电力大数据由两类数据组合而成，一类是构造化数据，另一类是非构造化数据。近年来，随着国家逐步加大智能发电的建设力度，以及对物联网技术的应用，使得电力行业中非构造化数据的比重持续增长，在量级上己经超过构造化数据。电力大数据具备大数据技术的“5V特征，即数据量大、数据类型多、处理速度快、准确性高和价值大。电力大数据中的关键技术有数据挖掘、数据可视化、高性能计算和统计分析。1.2技术优势1.2.1促进管理水平持续提升电力系统具有复杂且庞大的架构，其中涵盖的内容非常之多，在电力系统中引入大数据技术后，为智能发电的顺利实现提供了强有力的支撑，各种数据信息的分享，使电力生产精细化管理成为可能。借助电力大数据，业务和技术人员能够在较短的时间内，对电力设备当前的运行参数与以往的运行数据进行整合、分析，为电力设备的稳定、可靠、经济运行提供保障。同时，通过电力大数据，还能为生产运行经过中的风险防备提供指导根据。1.2.2有助于节能降耗电力大数据能够对各种不同类型的数据信息进行分析，通过对该技术的运用，能够设计出与用电需求相符的生产计划，进而为电力用户提供较为准确和经济的产品和服务，有助于节能减排目的的实现。2电力大数据分析技术及应用2.1电力大数据的可视化应用2.1.1图表可视化所谓的图表可视化详细是指以为基础的图形和表格，对相关数据进行直观展示的方法。在图表可视化的前提下，对数据进行获取的经过中，可在相对较短的时间内，找到其中存在的问题，并借助数据的规律，对问题进行解决处理。对图表可视化系统进行构建时，需要使用下面三种可视化展示方法：折线图、柱状图、表格，其中折线图能够对某个时间段内，数据随时间变化的趋势进行描绘柱状图则可通过柱状体的长度对数据的差异情况进行展示；表格的作用是对数据进行具体记录，相关的数据资源可通过搜索的方式进行获取。2.1.2SVG可视化SVG是现阶段较为流行的一种图像文件格式，详细是指能够进行缩放的矢量化图形。对于不同的电力数据，SVG能够不同的颜色进行显示，由此可使数据变得直观化。在这种可视化方法下，需要对某个特定区域内的电力数据进行把握，根据相关的参数和指标，赋予电力数据不同的颜色，并用颜色的深浅程度对电力数据的实际情况进行表示。当需要对某个时间段内，各生产单位的情况进行了解时，便可使用不同的色块进行直观呈现，假如要对其中某个数据进行调用，则可借助SVG来完成控制，由此可使数据资源的查询和使用变得愈加方便。2.2数据分析技术的应用在电力体制改革进程不断加快的推动下，我国的发电方式越来越多，除常规的火力发电之外，水力发电、风力发电、太阳能发电、核电等，都得到了快速发展，由此使得发电领域呈现出多样化的态势。因而，通过运用电力大数据中的分析技术，可将常规电能与清洁型电能之间存在的关联性进行、详细地分析，借此来发现二者的契合点，为电力资源合并工作的开展提供根据。以风电并网为例，在合并时，会对电网的运行造成一定的影响，如谐波、线损等等，由此将会导致电网的运行可靠性下降。通过电力大数据的运用，能够对各种影响因素进行分析，据此制定出合理可行的应对策略，确保风电并网安全有序进行。2.3数据库索引技术的应用Hadoop海杜普的Hive是一个较为典型的数据库系统，其能够对数据进行提取、转化、加载、查询、分析和存储。但在实际应用中发现，Hive在索引方面略显缺乏，很难详细地搜索电力大数据，进而导致系统的CPU资源浪费，电力大数据的分析效率也随之下降。由于电力大数据本身所具备的多维区间查询特征，进而使其在各个维度的查询上都相比照较固定，因而，可依托电力大数据进行多维索引。如，某电力系统采用的索引方式为以单位和时间两种代码为标准，通太多维度能够辅助电力大数据进行索引，由此能够将各种无用的数据信息全部滤除掉，索引效率随之提升。利用电力大数据多维索引能够构建相应的系统，该系统能够对Hive命令进行使用，并在引入解析技术的前提下，对相关的代码进行快速解析，进而进一步丰富了可索引的维度区间，由此获得的数据可存储到Hadoop当中进行处理，提高数据的利用效率。2.4在谐波治理中的应用谐波是电网安全、稳定、可靠运行的主要影响因素之一，电力行业对谐波的治理非常重视。大体上可将谐波产生的;归纳为下面几个方面：电源端、输配电经过、电力设备等。谐波会使各种仪表及计量装置产生误差，高次谐波还会对断路器的正常开断造成影响。因而，在对谐波进行治理时，可对电力大数据进行合理应用，依托相关数据，分析谐波源的特性，预测谐波风险，为谐波治理提供详实可靠的根据。在谐波风险分析中，电力大数据的详细应用如下：2.4.1数据抽取与存储谐波监测数据可存储在开源数据库当中，为使从数据库中抽取的数据能够实现分享，能够引入MySQL对数据抽取结果进行存储；以相关元件和参数指标对数据表进行划分，额定电压单独成表，有功与无功功率合并在同一个数据表中，基波与谐波电流存储在同一个数据表中，这样能够为数据查询提供便利。在数据提取的经过中，基于Hadoop的虚拟机，采用Spark从开源数据库中提取数据。2.4.2电力数据与谐波计算可在电力大数据中，引入与谐波计算有关的频谱文件，通过对基波和谐波电流的计算，生成谐波含量。在MySQL中，数据的传输经过如图1所示。2.4.3谐波风险分析在对谐波风险进行分析的经过中，需要对谐波源特性数据进行使用，可将这些数据带入到预测模型中，模型能够给出谐波在将来一段时间的变化趋势，据此可确定出谐波的影响范围，并制定相应的治理措施。为确保预测结果的准确性，应当对预测模型进行合理选用，推荐ARIMA模型，在使用前应对模型进行训练，进而使其到达优。2.5数据治理在电力行业的应用在电力行业的运营监控数据管理中，经常会碰到数据错误、不完好、不规范、不一致等问题，为解决上述问题，可结合桑尼尔?索雷斯大数据治理框架、DAMA数据知识管理以及DMM数据管理成熟度模型等方法构建起数据治理体系，为提升电力行业数据管理能力提供解决方案。数据治理体系的构建方法如下：2.5.1建立大数据管理组织采用RACI模型明确各部门职责，辨识业务流程，根据数据生命周期POSMAD理论确定各个阶段中的活动角色，结合DAMA数据知识管理体系理论确定各部门数据管理中的角色，建立起数据管理虚拟组织。2.5.2梳理业务流程数据参考国际电工委IEC系列标准中的CIM模型和IBM-FSDM数据模型理念，划分电力行业的主题域，建立起主题域之间的联络。之后，根据固定分类+业务分类的方法，对业务流程数据进行分类，识别各分类数据的实体属性，确定各数据实体的信息项。2.5.3制定大数据治理标准数据治理标准主要包括业务、技术、安全、管理和稽核标准，要求统一各类数据的名称、编码、属性等，完成对数据的标准化处理，生成数据标准清册。在数据治理标准框架下，对新增数据进行严格管控，对存量数据要根据重要性进行划分，优先治理重要程度高的数据。其中，存量数据的治理是大数据治理的重点，需构建数据包络分析DEA模型，借助数学规划和决策单元对数据进行治理。先对存量数据进行盘点，划分基础类明细数据和指数类数据，再对数据进行差异化治理，考察数据能否存在缺失、重复等问题。通过对基础类数据和指数类数据进行治理，可提高电力行业的数据质量。2.6分层处理与混合存储技术的应用电力行业在综合数据分析处理中可引入分层次数据技术，构建起具备多种功能的构造化管理系统，提高电力信息采集、存储和利用效率。电力行业可根据实际业务情况，利用大数据分层处理技术建立起系统之间的关联，实现跨组织、跨应用的信息资源分享，同时还可结合云计算、SQL数据库等技术，知足电力大数据实时分析和计算的需求，提升大数据处理效率，使大数据层次化分析管理系统适应电力行业的整体发展。为适应业务数据量呈几何倍数增长而扩大数据存储容量，知足数据更新、删除以及快速处理的要求，可使用混合存储技术提高数据资源利用率。混合存储技术利用主表与附表可记录实时更新数据和非实时更新数据，降低大数据对系统资源的占用空间，有助于提高系统运行效率。2.7ETL技术的应用ETL是数据仓库的简称，该技术在智能发电生产运行管理中具有非常重要的作用。电力行业在生产运行经过中会产生大量的数据，这部分数据已经超出系统的运算能力，由此进一步进行电力分析难度，各种业务的开展随之遭到影响。通过对电力大数据中的ETL技术进行合理应用，能够使该问题得到有效解决。详细的应用要点如下：根据电力数据的类型，对相关的数据进行分类收集，并对釆集到的数据信息进行转化处理。由于大数据技术无法对电力数据进行直接分析，所以需要进行数据转换，使所有收集到的电力数据变为可读数据。在此基础上，对转化后的数据进行加载，保证每一条数据都能与数据源相对应。电力大数据中的ETL已经成为核心技术，对它的应用能够促进电力系统运行稳定性的提升。3安科瑞变电所电力运维云平台介绍及选型3.1云平台概述：根据国家电网公司的统计，10kV及以上供电电压等级的工商业用户有200万户以上，此类“用户侧变配电所产权归电力用户所有工商企业、住宅小区、学校、医院等，固然数量诸多，但是日常的运行维护工作比拟传统，普遍存在下面痛点：人工成本高：人工巡视、纸质记录、沟通，缺乏智能化的手段工作效率低：巡视频率低、巡检任务无法定位、巡检经过不标准规范、巡检缺陷缺乏闭环跟踪；安全隐患：有些用电单位无专业维护电工、无法即时排查电气隐患、隐蔽工程隐患检查难等难题；抢修时间长：变电所设备种类较多，在分布上也比拟分散，无法即时识别和定位故障信息，需要用户通知后到现场确认；运行大数据缺少分析：有些用户未有数据汇总分析平台，甚至未安装电力仪表导致运维人员对现场电力参数信息不了解，无法确定电力系统能否正常运行。3.2应用场所3.3云平台架构我司的运维平台综合运用综合保护装置、多功能电力仪表、母排及线缆测温装置、变压器温控仪、视频摄像头、水浸烟雾、温湿度、门磁等多种传感器统一接入变电所现场的边缘计算网关，经边缘计算网关将数据封装、压缩、加密后上传至云平台。实时集中监测所有变电所用电情况、统一调度运维巡检安排，线上线下联动；实现用户侧变配电所的24小时无人值守，监测各配电回路运行状态，即时定位故障，降低安全风险。通过手机APP下发运维任务到指定人员手机上，并通过GPS跟踪运维执行经过。将企业集团/高等院校内广泛分布的变电所集中统一管理，提高运维效率、提高故障响应速度，即时发现运行缺陷并做消缺处理。为售电企业提供电能集抄服务，即时把握用户用电量情况，避免偏差考核；响应泛在电力物联网的政策，增加客户粘性，为后期的增值服务开展做准备。3.4平台功能3.5平台配置方案3.6产品介绍3.6.1AM5SE系列微机综合保护装置1保护功能：主变差动保护功能、主变后备保护、三段式过流带方向带电压闭锁、三段式过流、零序电流保护、过电压、2低电压保护、大功率电机保护、高压电动机综合保护、PT并列功能、非电量保护、并网逆功率保护、检同期功能3测量功能：保护电流、测量电流、零序电流、母线电压、零序电压4-20MA输出、直流测量4通讯功能：提供RS485通讯接口，RS232维护接口，IRIG-B对时接口、USB升级接口，RJ45网口接口5故障录波功能：保护动作时触发录波，能够记录故障前8个周波后四个周波的数据6控制回路：自带操作回路，防跳功能7GPS校时功能：提供时钟同步接口，接收GPS校时信号35kV及下面电压等级的变配电站及设备的保护测控功能，至少包括35kV进线/主变压器一般容量2000kVA以上/PT/母联、10kV进线/馈线/配电变压器一般容量2000kVA下面/高压电动机/高压电容器/母联/PT等设备的保护和自动控制功能3.6.2ASD300系列智能操控装置1一次动态模拟图指示及自检带电显示、闭锁及自检2核相、强迫加热、强迫照明3语音防误提示4人体感应及柜内照明、已带电语音播报5分合闸、远方就地、储能转换开关6分合闸回路完好指示/电压测量7预分预合闪光指示8断路器分合次数统计9RS485串行通讯接口10开关柜节点无线测温11全电参量测量U,I,P,Q,f,PF,Ep,Eq35KV高压及下面中置柜，手车柜，环网柜3.6.3ARTM-Pn无线测温装置1接收多60个ATE100/200/300/40023U3I电参量测量3实时测温功能4RS485通讯接口，通过标准的MODBUSRTU协议实现组网功能5具备自检功能6超温、高温、相间温差报警、温度突变量告警功能变电站、配电室、箱变等3.6.4APM810系列多功能电力仪表1准确度等级：有功电能0.5S级，无功电能2级2测量功能：三相电压、三相电流、分相及总有功功率、分相及总无功功率、分相及总视在功率、分相及总功率因数、频率、需量3电能计量：分相及总双向电能、四象限无功电能4电能质量监测：2-63次分次谐波、总奇、偶谐波测量、电压波峰系数、波峰因子、电流K系数测量5输入输出：2路开关量输出选配MD82模块多可扩至8路及2路开关量输入选配MD82模块多可扩至26路，开关量输出可配置为报警输出或远程遥控，DO用作报警输出时可自由关联报警内容6SD卡存储功能：用于电参量、电能、谐波等数据定时存储，波形存储等功能适用于电力系统、工矿企业、公用设施、智能大厦等需要电力监控的场合3.6.5DTSD1352导轨式电能表1测量功能：三相电流、电压、功率、频率、总正反向有功电能统计、总正反向无功电能统计；2准确级精度：有功0.5S3电流信号接入：直接接入1080)A经CT接入16A4电压信号：100V380V5通信：RS485接口，支持MODBUS-RTU或者DL/T645通讯协议适用于政府机关和大型公建中对电能的分项计量，可以用于企事业单位作电能管理考核。3.6.6ADW300无线智能仪表1测量功能：三相电流、电压、功率、频率、总正反向有功电能统计、总正反向无功电能统计；2电能质量：电压、电流不平衡度，电压、电流总谐波及2-31分次谐波3需量：大电流、功率需量及实时电流，功率需量4准确级精度：0.5s级ADW300外置互感器型1级5电流信号规格：100A输入，经互感器输入，5A二次互感接入6通讯方式：RS485、LORA无线通讯、NB-IOT无线通讯、4G无线通讯ADW300方便用户进行用电监测、集抄和管理，可灵敏安装在配电箱中，可用于电力运维、环保监管等在线监测类平台中。3.6.7ARCM300系列电气火灾监控仪表1测量：单回路剩余电流、4路温度、电压、电流、功率、频率、功率因数、视在电能、四象限电能2保护：剩余电流、温度、过流等3报警：声光报警，支持消音、复位操作4开关量：1路继电器输出、4路开关量输入5通讯方式：RS485、NB-IOT无线通讯、4G无线通讯适用于智能楼宇、高层公寓、宾馆、饭店、商厦、工矿企业、国家重点消防单位以及石油化工、文教卫生、金融、电信等领域。3.6.8ANET智能网关1数据收集支持串口、以太网，只需配置即可兼容支持标准电力规约的各类仪表2数据上传支持往上海分类分项能耗平台、宁夏电力需求侧平台、江苏电力运维平台、浙江电力运维平台上传数据3边缘计算灵敏的报警阈值设置、主动上传报警信息、数据合并计算、断点续传、数据加密、4G路由4远程管理远程配置、远程升级、远程监视泛在电力物联网、能耗系统平台、电力需求侧管理平台、三方云平台、预付费系统、运维系统平台、电力监控平台、能源综合管理平台3.7现场应用图片展厅现场运维团队收集箱内部图高配现场门磁安装烟感安装枪机安装漏水检测安装低压柜仪表3.8平台价值为电力运维企业提供线上运维服务平台，实时集中监测所有变电所用电情况、统一调度运维巡检安排，线上线下联动。将企业集团/高等院校内广泛分布的变电所集中统一管理，提高运维效率、提高故障响应速度；响应泛在电力物联网的政策，增加客户粘性，为后期的增值服务开展做准备；为售电企业提供电能集抄服务，即时把握用户用电量情况，避免偏差考核；3.9访问方式微信扫码下载网页版：3.10典型案例综上所述，在信息化时代到来的今天，各种数据信息呈几何数倍增，通过对这些数据的合理利用，能够为相关工作的开展提供根据。电力在社会经济建设中占据着不可替代的地位，是非常重要的物质基础之一，为推动电力行业的持续、稳定发展，应当对电力大数据技术进行应用，通过数据挖掘、分析、提取、存储，为电力生产的安全、稳定、可靠运行提供保障。在将来一段时期，应加大对电力大数据技术的研究力度，除对现有的技术进行改良和完善之外，还应开发一些新的技术，进而使其更好地为电力行业服务。1王博颖.大数据技术在电力企业中的应用研究J.电子世界,2019(13).2季知祥，邓春宇.面向电力大数据应用的专业化分析技术研究J.供用电,2017(6).3兰栋.面向智能电网应用的电力大数据关键技术分析J1.数字通信世界，2018,No.160(04):89.4王庆斌.面向智能电网应用的电力大数据关键技术J.电子技术与软件工程,2017(19).5张伟昌，孟祥君，王刚.电力行业基于规则引擎的数据质量治理J.中国新通信,2021,v.17(21):56-57.6李洋,蒋禾青.电力大数据分析技术及应用7安科瑞企业微电网设计与应用手册.2020.06版.作者简介：周莉，女，现任于安科瑞电气股份有限公司，Email:2885187315qq，手机：18721095536同微信，2885187315