安徽省电力公司基于大数据用电信息采集系统设计与实现肖坚红.pptx

平台设计功能设计业务规划提纲提纲项目背景 成效与下一步打算第1页/共51页一、项目背景采集系统建设 安徽省公司用电信息采集系统经过5年的建设，实现了“全采集”、“全覆盖”、“全费控”功能，目前接入智能电能表2700万多只、40多万终端和340万采集器，已经实现采集96点负荷（三相电压、三相电流、有功功率、无功功率等）、日冻结电能示值、需量和电压合格率等数据，采集系统每天需要处理记录数达到5亿以上，新增的数据量达到70-90G，存量数据超过100T。采集系统建设及应用情况采集系统建设及应用情况第2页/共51页一、项目背景采集系统建设 采集系统业务不仅支撑营销部自动化抄表核算、实时费控、有序用电、计量在线监测、用电特征分析、采集管理、台区线损计算等业务，还支持运检部、安质部、运监中心、发策部等系统正常运行，为配用电网低电压分析、配变运行监测、配网抢修、供电可靠性、公司线损管理系统等业务提供数据支撑。采集系统建设及应用情况采集系统建设及应用情况第3页/共51页一、项目背景项目必要性IEOIEO用电用电信息采集信息采集系统应用系统应用存在的问题存在的问题查询速度慢统计时间长数据质量差数据维度少缺少智能化不支持实时分析第4页/共51页一、项目背景不断增长的数据量与系统设计缺陷的问题第5页/共51页项目必要性一、项目背景提升采集系统性能，解决应用瓶颈解决WEB查询海量数据效率低的问题解决采集系统数据库性能瓶颈问题解决采集系统考核指标和关键指标实时统计问题解决四分线损、电量统计实时计算的问题应用大数据技术，完善采集系统应用实现移动运营商区域信道质量在线监测的问题实现台区低电压分析的问题解决配电网停电故障实时分析问题解决电能表、终端运行工况监测和整体状态评估问题第6页/共51页项目必要性一、项目背景应用数据挖掘技术，挖掘电力数据价值解决数据质量不高和数据维度缺乏的问题解决电力经济分析与电费回收风险的关联分析问题解决市场开拓与业扩报装辅助分析的问题实现知识共享，提升业务应用为公司计量工作决策提供支撑为用户提供新颖优质服务提升公司经营管理水平计量与其他领域信息融合分析，提升系统价值第7页/共51页平台设计功能设计业务规划提纲提纲项目背景成效与下一步打算第8页/共51页二、业务规划整体思路 简要分析描述项目的主要技术创新点。3、跨界思维：打破固有模式，通过业务融合提升数据价值 2、业务思维：定量思维，数据替代经验，一切数据皆有价值4、实验思维：试验选择最优方案，快速迭代持续优化5、合作思维：通过合作共同推进电力业务的发展与创新1、技术思维：高效数据处理、高效数据服务、性能线性扩展第9页/共51页二、业务规划总体规划 简要分析描述项目的主要技术创新点。3、支持海量数据快速存储、高效计算和有效归集 2、实现关键业务实时监测和智能分析4、具备数据挖掘、机器学习等智能分析功能5、与业务深度融合，提高工作效率，提升辅助决策水平1、以“高内聚、松耦合”方式获取所需数据第10页/共51页二、业务规划用电信息采集系统性能提升解决海量数据查询高效统计与计算数据质量管控实时业务分析信道质量分析海量数据存储构建营销计量大数据应用平台构建大数据平台规划业务应用数据清理与集成数据挖掘机器学习数据发布与共享业务设计第11页/共51页二、业务规划数据分析业务-1分析电能表运行情况，剖析运行过程中发生的故障和问题。结合电能表运行的外部环境因素进行建模，关联分析外部环境对电能表发生故障和问题的影响。对现场计量设备运行工况进行实时监测。检测采集设备数据完整性及数据合理性。分析变压器运行情况、变压器负荷及故障情况。建立计量装置异常预警模型。外部环境因素对电能表质量的影响分析分析负荷、电量、电压、电流、时钟、事件等计量数据出现的异常信息，并进行诊断分析。对费控、通信功能出现的异常情况进行诊断分析。计量装置在线监测智能诊断分析第12页/共51页二、业务规划数据分析业务-2从型号、厂家、批次等维度，分析计量设备、采集设备的质量情况。根据运行数据、通信数据、事件数据，结合天气数据、检定记录等，分析影响设备质量的因素。计算准实时线损，并对线损异动情况进行预警。分析综合线损的构成情况及分布情况。分析线损变化趋势，并通过负载率、三相不平衡率、理论线损的对比分析，提出降损措施建议。运行质量分析通过对电量差动越限、断相、线损率超标、异常告警事件、电表开盖事件等数据，对窃电行为进行实时分析，并提出预警。对窃电行为进行多维度统计分析。线损统计分析窃电行为分析第13页/共51页二、业务规划数据分析业务-3分析大用户用电规律，预测未来用电情况。分析居民用电习惯与节假日等外部环境的关系。结合投诉数据，分析异常数据与投诉关系。分析用电数据，为有序用电提供数据支撑和建议。分析电力与经济运行的长期均衡关系。分析各行业经济运行波动对电力的传导关系。结合各行业经济增加值、用电量以及电价数据，建立电力强度因素分解模型，对电价对电耗强度的影响进行细化分析。根据用户、线路、终端、计量点、台区、单位、客户群组等查询条件对用电数据进行统计分析，得出房屋空置率等社会关注问题。用户行为分析电力经济分析第14页/共51页平台设计功能设计功能需求提纲提纲项目背景成效与下一步打算第15页/共51页为了保证电力系统能安全、可靠运行，需要在标准原则基础上制定其未来IT 架构，其技术架构的设计同样需要考虑完善的指导原则。开放性大数据平台的设计应选择开放式的技术，不能绑定某一厂家的特定产品，需要满足系统间灵活的信息交互的需要。服务性可扩展性充分考虑可扩展性，遵循“强内聚、低耦合”，满足更大规模的业务和不断发展的技术需求。大数据平台面向营销部或者网省公司提供基础支撑平台，为共性服务型平台，各部门基于大数据平台研发、运行各类大数据典型业务应用。先进成熟性大数据平台的设计应具有产品和技术先进性，产品和技术选型能够适应未来一段时间业务需求及技术发展变化的需要。同时，尽可能兼顾产品和技术的成熟性，增强信息基础设施的整体稳定性。大数据平台设计原则三、平台设计第16页/共51页大数据平台设计总体思路三、平台设计业务应用分析气象要素数据状态监测数据.地理信息数据节假日数据PMS数据人口经济数据MDS数据营销数据用电信息采集数据.95598数据计算、存储、分析组件支撑电力营销大数据平台运维管理专用数据池公用数据池数据集成数据处理数据分析分析方法库数据挖掘算法库分析模型数据展现多源大数据在线处理流数据处理批数据处理数据抽取流程控制数据转换质量规划数据加密数据清洗数据复制 深入贯彻“IT服务化”的理念及国产化的思路，以大数据开源软件框架为核心，传统数据处理组件为补充，形成优势互补的混合体系架构。电力营销计量大数据平台从数据采集、数据集成、数据存储、实时计算、海量数据处理和分析挖掘等多个层面为营销业务应用提供必要的组件支撑。集群监控及配置安全防护及管理停电事件分析配网运行分析客户用电行为分析客户价值挖掘检定效率与现场作业行为窃电行为分析计量装置在线监测与智能诊断。第17页/共51页大数据平台技术提升点三、平台设计传统解决方案大数据平台方案主要面向结构化数据处理，不适合处理非结构化或半结构化数据海量数据处理成本高昂，对于硬件要求较高，例如依赖大规模并行处理系统(MPP)等存在单点风险线性扩展能力有限，MPP节点一般上限100+处理数据量受限（PB），数据量大时响应时间明显延长固定数据结构和模型数据处理容易保持一致性，适合事务复杂的业务系统可以混合处理任意格式数据基于工业标准成本低廉的X86平台和开源Linux系统，降低成本，充分利旧分布式容错，无单点隐患极高的线性扩展能力，一般都在1000+可处理大量数量（TB到1E），通过横向扩展，实现秒级响应灵活的数据结构和数据模型数据处理无法保证一致性，需要单独开发验证程序，适合追求分析效率的分析系统大数据不是RDBMS的替代方案，两者相辅相成才是最佳的解决方案！第18页/共51页基于国网大数据平台的功能设计三、平台设计第19页/共51页三、平台设计实时业务分析架构设计 简要分析描述项目的主要技术创新点。2、设计配电网停上电事件实时分析与推送1、流处理子系统由Flume、Kafka、Storm和Redis等软件组成3、设计负荷数据异常实时校验与修复4、设计日冻结抄表数据实时校验与修复，及抄表失败实时刷新5、设计日电量实时计算、修复与补全 第20页/共51页三、平台设计分布式存储与并行计算架构设计 简要分析描述项目的主要技术创新点。2、设计满足查询和统计二类应用的海量数据存储需求1、系统由分布式列式数据库（Hbase）、全文检索（Solr，Key_Value）、分布式数据仓库（Hive）、交互式查询（Impala）等软件组成3、设计关键指标准实时计算与按小时进行刷新4、设计各维度数据快速统计、按业务需求归集，支持高效查询与分析5、计量在线监测与智能诊断软件后台计算分析重构 第21页/共51页三、平台设计数据挖掘与机器学习架构设计2、离线海量数据以IBM 可视化建模工具SPSS为主，实现模型学习、验证1、系统由SPSS、SPARK、模型库、数据抽取与预处理等软件组成3、在线机器学习以SPARK为主，通过引用SPSS分析模型实现分析4、按业务建立分析模型库，满足各专业部门工作需求5、设计模型自动迭代和优化，满足业务不断变化的需求 第22页/共51页三、平台设计可视化展现设计2、通过IBM 可视化建模工具（SPSS）的展现功能满足简单的应用需求1、基于百度图形组件（Echart），结合业务需求开发WEB展现3、结合业务，通过热力图、散点图、GIS和地图体现业务特征 第23页/共51页三、平台设计数据共享与业务集成设计2、基于FTP实现不同区域业务实时交互应用需求1、基于Webservices实现同一区域业务实时交互3、结合数据交互实现模型迭代分析和自学习功能设计 4、与业务深度集成，将分析结果嵌入到业务流程中第24页/共51页系统网络架构三、系统设计第25页/共51页软件架构设计三、系统设计第26页/共51页数据分析流程三、系统设计第27页/共51页平台设计功能设计业务规划提纲提纲项目背景成效与下一步打算第28页/共51页配电网停上电实时监测与分析功能-1四、功能设计第29页/共51页配电网停上电实时监测与分析功能-2四、功能设计基于用电信息采集系统实时负荷、停电事件和通信流量等信息，95598计划停电信息，生产实时管控的线路故障停电及光纤网管ONU掉电事件，实现配电网停电事件监测与分析；并实时将负荷数据和停电事件推送给省调配网SCADA、运检部、95598、安质部和海量数据平台；此功能目前已经应用于生产环境，实现每天对安徽省电力公司5亿多条记录进行实时分析与诊断第30页/共51页采集数据实时校验与修复-1四、功能设计第31页/共51页采集数据实时校验与修复-2四、功能设计基于用电信息采集系统日冻结抄表示值实现实时校验、修复；针对负荷、电量及关键指标通过Impala实现快速统计；基于大数据技术改造后计量在线监测异常分析（含计量、用电和终端异常）时间由原8个多小时减少到1小时以内；分析结果直接用于省公司、供电公司进行指标监控和指导现场运维，并满足营销自动化抄表结算的需求，此功能目前已经应用于生产环境。第32页/共51页电能表整体运行状态分析-1四、功能设计 安徽公司用电信息采集系统接入的运行智能电能表中，绝大部分电能表属于IV、V类电能表，约占安徽公司运行电能表的98%。III类电能表约占安徽公司运行电能表的1.5%，I、II类电能表只占全省运行电能表的很小一部分。由于IV、V类电能表不采取现场检验，而IV、V类电能表的运行环境与I、II类电能表相差比较大，不能采用同一种分析方式和技术手段。所以DL/T448电能计量装置技术管理规程来开展到期轮换已不适应新形势发展需求。第33页/共51页电能表整体运行状态分析-2四、系统设计第34页/共51页平台设计 功能设计业务规划提纲提纲项目背景 成效与下一步打算第35页/共51页五、项目成效安徽公司新一代采集系统的“存储和计算”是基于大数据平台进行构建，已经采购31台PC服务器，目前已经完成操作系统安装和网络调试，正准备进行大数据程序安装、各类组件的部署和系统联调工作。其中，存储由分布式数据库（HBASE）+分布式数据仓库（HIVE）组成，实现按需存储；数据计算、处理和归集由数据分析引擎（IMPALA）、实时数据分析软件（SPARK）实现；离线海量数据分析与挖掘由数据分析平台（SPSS）完成，在线机器学习由数据分析软件（SPARK）和算法库（MLlib）实现。新一代采集系统部署第36页/共51页五、项目成效 基于大数据架构的新程序在4月中旬已经部署上线运行，新架构充分利用原有的硬件设备，只是扩展了部分服务器的硬盘和内存，通过高吞吐量的消息处理和流处理技术，实现采集2700万日冻结抄表数据从原来的90分钟提高到目前的20分钟。在低压用户全部载波通信模式下，全省2700万电能表在5-7天内完成时钟透抄与对时工作。由于新架构采用分布式消息系统，利用磁盘数据结构提供消息的，持久化，充分保证了前置采集数据完整性。新一代采集系统性能提升-1第37页/共51页五、项目成效 已经实现六大类应用：第一，配用电网停上电事件实时监测与综合分析；第二，负荷数据实时校验、修复与补全；第三，日冻结抄表数据实时校验与异常数据标记；第四，日电量实时计算、修复与补全，目前已经实现每小时对电量、线损进行在线统计；第五，抄表失败明细实时刷新，采集成功率实现按单位、用户类型、台区、终端等维度实现实时查询，支持采集系统现场高效运维；第六，有效的负荷、电能示值和事件数据等数据实时发布，有效地支持了营销抄表数据实时发布，及调度、运检的配网抢修与运行监测等需求。新一代采集系统性能提升-2第38页/共51页五、项目成效 基于大数据平台的分布式存储与并行计算架构，实现对用电信息采集系统日冻结抄表示值、负荷、通信报文等海量数据快速存储；对各类指标、各维度负荷特征、日/月电量及关键指标实现按小时进行准实时计算，满足指标在线监控的要求；将计量在线监测异常分析（含计量、用电和终端异常）时间由原8个多小时减少到45分钟左右。分析结果直接用于省公司、供电公司进行指标监控和指导现场运维。新一代采集系统性能提升-3第39页/共51页计量在线监测成果五、项目成效 7类29个智能诊断分析模型电压电流异常电压断相电压越限电压不平衡高供高计B相异常电流失流用电异常电能表开盖计量门开闭恒定磁场干扰负荷异常电量异常诊断电能表示值不平电能表飞走电能表倒走电能表停走费率设置异常需量超容负荷超容电流过流负荷持续超下限.抢修服务抢修工单监测抢修资源监测投诉工单分析保电任务监测接线异常反向电量异常相序异常潮流反向时钟异常终端时钟异常电能表时钟异常电量差动异常.问题（1）：缺少针对采集装置的异常分析，无法从通信质量、终端软件、运行工况分析异常的原因，有效地支持现场高效运维问题（3）：计算速度慢，当前基于关系型数据库的传统计算方式进行数据加工，涉及GB级别数据量操作时，需要大量I/O操作，数据加工效率低，及时性无法满足业务应用。问题（4）：智能化水平不足，对异常进行聚合、关联分析，不能有效地、全面地分析异常产生的原因，支持地不断发展计量业务发展。问题（2）：分析规则需要细化，由于光伏用户的接入，及计量业务的发展，需要对现场电能表出现的新问题分析，优化和完善现有规划，支撑电能表状态检测。第40页/共51页计量在线监测优化成果五、项目成效营销业务库采集大数据平台采集、运行等准实时类数据营销档案类数据、营销流程业务数据、营销统计类数据新增模型完善模型原有模型终端工况异常终端通信异常连续N天抄表失败.终端软件异常事件和报文过多负荷数据突变停电异常事件.时钟异常终端时钟电能表时钟负荷异常需量超容负荷超容电流过流负荷越下限.用电异常电量异常示值不平衡电能表飞走光伏用户上网电量异常电能表开盖电压电流异常计量门开闭电压越上限电压越下限异常诊断模型计量在线监测高相高计B相异常电压断相电压缺相负荷异常需量超容负荷超容电流过流负荷越下限.电流失流电流不平衡电压不平衡功率差动异常接线错误高供高计接线异常.1.优化和完善现有计量在线监测诊断模型抄表参数不一致电能表开盖:在电能表开盖事件产生后，通过分析开盖次数、及开盖前后三个月电量变化，准确定位用户是否存在窃电情况。光伏用户上网电量异常:在光伏用户中，针对自发自用余量上网情况，监控用户上网电量和发电量情况，准确定位用户是否存在骗补情况。在原有7个模型的基础上，增加了终端异常工况、终端软件异常二个诊断模型，在原有电量异常、接线错误诊断模型中增加高供高计接线错误、光伏用户上网电量异常等2 个事件，完善了电能表开盖、过流、负荷越下限等事件判断方法。第41页/共51页计量在线监测优化成果五、项目成效阶段性成果2.应用分布式技术和机器学习技术，提升计量异常分析效率和智能化数据集成数据导入工具Sqoop分布式消息队列Kafka数据存储分布式数据仓库Hive列式存储HBase分布式文件系统HDFSOracle数据交互数据计算流处理StormSparkImpala批量计算MapReduce存储过程JAVA计算服务数据分析SPSSMATLAB自定义算法图表组件报表业务应用单一异常分析异常关联分析基于GIS展示计量在线监测软件新增组件原有组件ETL工具日志收集Flume异常处理与评价可视化数据挖掘建模:在计量异常、用电异常和终端异常分析的基础。建立终端异常诊断分析模型，通过决策树快速判断是否需要进行现场消缺。分布式并行计算:在应用大数据技术，优化后计量在线监测软件，极大地提升计量在线监测分析效率，满足计量专业大数据快速统计和在线分析需求。第42页/共51页模拟现环境的终端检测装置1五、项目成效在用电信息采集系统应用功能的深化中，发现国内采集系统主站软件、计量装置和采集设备厂商在研发产品时，由于业务需求或面向对象不同，在异常分析时，在分析与判断异常时理解的局限性和片面性，造成异常误判或错判，终端数据采集的实际效果不能满足应用需求；外界干扰对通信链路和数据抄读影响的冗余度考虑不足，造成数据抄读不完整，影响用电信息采集系统功能应用。由于用电信息采集系统建设较短，建设初期对终端功能的理解及外界干扰因素的认识不足，造成部分功能和外界干扰影响度未做检定。对此，提出了用电信息采集终端运行环境仿真与检测研究。研制背景第43页/共51页模拟现环境的终端检测装置2五、项目成效第44页/共51页计量在线监测优化成果五、项目成效内容改造前改造后数据交互用电信息采集、营销业务系统；营销用采在原有接入数据的基础上，接入营销业务流程信息；推送数据到计量生产调度平台（MDS）数据校验只对负荷部分数据进行校验实现全量数据校验、修复和补全，满足计算、统计和数据挖掘分析需求数据挖掘无应用机器学习对异常进行关联多维分析等功能实时分析无实时实时在线监测终端上行通信信道稳定功能计算性能完成35万专公变终端，2600万用户计算和分析需要8小时完成35万专公变终端，2600万用户计算、分析等功能在45分钟内完成可扩展性停机增加内存和硬盘采用弹性架构，实现不停机扩充存储和计算性能WEB应用海量数据查询10秒内完成WEB页面在上亿条记录中3秒内完成查询和定位，支持WEB与大数据平台进行交互式实时统计可视化图表展示异常事件电网GIS、单线图、图表等展示异常事件3.应用大数据技术提升性能效果第45页/共51页计量在线监测优化成果五、项目成效 计量在线监测软件从2012年12月10日投运以来，取得很好的效果，共发现严重等级的计量异常122639件，严重等级的用电异件150816件。现场电能表接错线12807件，发现专变用户电压断缺相9226件，发现专变用户失流7107件，发现电能表停走4908件，发现电能表开盖28175件。已处理窃电户68566，追补电量45645万千瓦时，收到违约金75658万元。通过对终端异常工况分析，提高了采集运维故障分析的准确性，支持现场高效运维。通过台区线损异常分析模型应用，提升了基层人员对台区异常线损的处理效率，有效地提升了台区线损达标率。1.计量异常流程处理成效明显第46页/共51页五、项目成效电能表状态检修分析1针对全省采购数量超过1000只智能电能表的所有批次进行分析，并对分析结果进行验证，验证其基本正确，部分不正确的是因为以前流程不规范，故障换表走的是业务换表流程，通过这个电能表状态检修分析并允许其轮换，各单位已认识到正确规范走流程的重要性，流程越来越规范，正确率也大幅度提升。分析成果应用成效明显第47页/共51页电能表状态检修分析2五、项目成效第48页/共51页支撑配网抢修、末端融合业务发展为打造“全能型”复合人才提供技术平台五、下一步打算第49页/共51页谢 谢！第50页/共51页感谢您的观看！第51页/共51页