大数据平台及在电力行业的应用分析电子教案.pptx

大数据平台(pngti)及在电力行业的应用分析2013-07第一页，共36页。目录(ml)大数据的发展及相关技术1电力行业大数据需求2彩讯电力行业大数据解决方案3第二页，共36页。结构化DatabaseSpreadsheetFile in record format半结构化XML DocsLogsClick-streamEquipment/Device非结构化Web PagesE-mailMultimediaInstant MessagesDocumentsBig Data Big Data PeoplePeoplePeoplePeopleDevicesDevicesDevicesDevicesSensorsSensorsSensorsSensors移动(ydng)互联网Mobile Internet物联网(lin wn)Internet of Things3新量级、新处理模式(msh)、新企业智能 互联网 Internet大数据时代消费行业金融服务食品安全医疗卫生军事交通环保电子商务气象公共服务第三页，共36页。指数(zhsh)型增长的海量数据所有研究都表明，未来数年数据量会呈现指数(zhsh)增长。根据EMC研究院统计，全球2012创建和复制的数据量达到了2.8ZB（1ZB等于10亿PB），而到2020，这个数据会上升到40ZB。对这些数据的管理和分析，在技术带来了挑战，但是对数据的透彻分析将会为我们带来不可估量的价值。第四页，共36页。大数据(shj)的特性容量(rngling)Volume多样性Variety价值(jizh)Value速度Velocity半结构化、非结构化数据的超大规模和增长总数据量的8090%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据等）无模式或者模式不明显不连贯的语法或句义价值密度低，单条数据无价值,无用数据多,综合价值大对未来趋势与模式的可预测分析深度复杂分析（机器学习、统计建模、人工智能）处理速度快，要求系统在短时间内做出响应实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效第五页，共36页。每天几百 GB、几 TB 的资料，且持续(chx)成长中储存储存(chcn)(chcn)StoringStoring 在接收数据的同时做必要的前置(qin zh)处理，并区分数据处理的优先等级，离线计算与实时计算相结合计算计算ProcessingProcessing如何有效的避免因硬件毁坏所导致的资料损毁和数据丢失管理管理ManagingManaging如何从中挖掘出数据隐藏的模式和价值分析分析AnalyzingAnalyzing大数据处理挑战第六页，共36页。数据量极大。PB是大数据层次的临界点，需要更高性价比的数据储存与计算方式，增大了数据处理的难度的同时，庞大数据量所蕴含的价值也极大。数据种类多样。数据更加个性化、更加全面，针对不同来源的数据以多样化的方式处理，结果更精确。能够在不同的数据类型中，进行交叉分析的技术，是大数据的核心技术之一。实时性要求越来越高。不断增长的实时分析，要求及时对数据进行处理并得到结果，更完善的用户体验。实时处理的要求，是区别大数据应用和传统数据仓库技术、BI技术的关键差别之一。数据成为新的资源。掌握有数据就掌握了巨大的财富。挖掘大数据的价值类似沙里淘金,从海量数据中挖掘稀疏但珍贵的信息。与传统数据处理需求(xqi)的区别 传统(chuntng)数据库模式的数据处理模式，已经无法应对大数据带来的挑战，需要新技术、新思维、新策略，使数据处理性能更高，成本更低、模式更丰富！第七页，共36页。计算任务的多节点分配、计算计算与存储一体，计算向数据靠拢任务之间无依赖(yli)，系统高延展性分布式并行计算框架(kun ji)分布式文件(wnjin)存储大数据核心技术-Hadoop分布式，多副本，高容错性，数据安全可采用普通PC，硬件成本低系统高扩展性，动态增加存储节点高传输率数据访问Hadoop技术体系计算存储基于Hadoop 实现大数据的分布式存储和分布式并行计算，实现高效的TB和PB级数据处理。第八页，共36页。大数据(shj)核心技术-Stormstorm是Twitter开源的一个分布式、实时的计算框架。通过这个框架可以实现消息(xio xi)的秒级处理，并通过分布式处理模式，实现高并发处理的承载。水平扩展，并行计算，动态增删节点可靠的消息处理事务机制，解决重复计算问题容错性第九页，共36页。大数据需求(xqi)与价值13各行业企业(qy)对大数据的关注程度目前(mqin)企业的数据系统架构存在问题2目前企业数据分析处理面临的问题第十页，共36页。目录(ml)大数据的发展及相关技术1电力行业大数据应用分析2彩讯电力行业大数据解决方案3第十一页，共36页。大数据(shj)对电力行业价值第十二页，共36页。电力大数据是能源变革中电力工业技术革新的必然过程，而不是简单(jindn)的技术范畴。电力大数据不仅仅是技术进步，更是涉及整个电力系统在大数据时代下发展理念、管理体制和技术路线等方面的重大变革，是下一代智能化电力系统在大数据时代下价值形态的跃升。大数据推动(tu dng)电力行业的变革核心(hxn)主线重塑电力核心价值转变电力发展方式第十三页，共36页。中国电力工业长期秉承“以计划为驱动、以电力生产为中心”的价值观念，重视企业价值和客户价值的实现(shxin)，却在一定程度上忽视了社会效益，缺乏双向互动，导致电力供需的单方向传递，使得社会资源对电力工业的反馈促进很难实现(shxin)。电力大数据通过对市场个性化需求和企业自身良性发展的挖掘和满足，重塑中国电力工业核心价值，驱动电力企业从“以人为本”的高度重新审视自己的核心价值，由“以电力生产为中心”向“以客户为中心”转变，并将其最终落脚在“如何更好地服务于全社会”这一根本任务上。重塑电力核心(hxn)价值传统电力传统电力(dinl)(dinl)价值链与新兴电力价值链与新兴电力(dinl)(dinl)价值链价值链第十四页，共36页。人类社会经过工业革命两百多年来的迅猛发展，能源和资源的快速消耗以及全球气候变化已经上升为影响全人类发展的首要问题。传统投资驱动、经验驱动的快速粗放型发展模式，已面临越来越大的社会问题，亟待转型，电力行业也是一样。电力大数据通过对电力系统生产运行方式的优化、对间歇式可再生能源的消纳以及对全社会节能减排观念(gunnin)的引导，能够推动中国电力工业由高耗能、高排放、低效率的粗放发展方式向低耗能、低排放、高效率的绿色发展方式转变。转变电力发展(fzhn)方式电力数据电力数据(shj)(shj)价值价值第十五页，共36页。基于大数据(shj)的电力行业优化 -对内：优化管控模式优化管控模式支持基建决策升级客户分析加强协同管理提高智能控制大数据技术有助于电力企业基础设施选址、建设的决策。例如丹麦风电公司(n s)VESTAS计划将全球天气系统数据与公司(n s)发电机数据结合，利用气温、气压、空气湿度、空气沉淀物、风向、风速等数据以及公司(n s)历史数据，通过使用超级计算机及大数据模型解决方案，来支持其风力发电机的选址，以充分利用风速、风力、气流等因素达到最大发电量，并减少能源成本。此外，VESTAS还将添加全球森林砍伐追踪图、卫星图像、地理数据以及月相与潮汐数据，以便更好地支持基础建设的决策。一方面，通过使用电力企业庞大的历史销量数据，进行用户用电行为分析和用户市场细分，使管理者能有针对性地优化营销组织，改善服务模式。另一方面，通过与外界数据的交换，挖掘用户用电与电价、天气、交通等因素所隐藏的关联关系，完善(wnshn)用户用电需求预测模型，进而为各级决策者提供多维、直观、全面、深入的预测数据，主动把握市场动态。整合电力行业生产、运营、销售、管理的数据，实现电力发电、输电、变电、配电、用电、调度全环节数据共享，以用电需求预测为驱动优化资源配置，协调电力生产、运维、销售的管理，提升生产效率和资源利用率。此外，电力企业各部门数据的集成将优化内部信息沟通，使财务、人事等工作的开展更顺畅，有助于企业实行精细化运营管理，提高集团管控水平。利用大数据技术加速电力企业智能化控制的步伐，促进智能电网的发展。例如，通过为电力基础设施布置传感器，动态监控设施运行状况，并基于大数据分析挖掘理念和可视化展现技术手段，采用集成了在线检测、视频监控、应急指挥、检修查询等功能的“智能在线监控与可视化调度管理系统”，有效改变运维方式，从萌芽阶段消除部分运维故障，实现运维智能化。第十六页，共36页。基于(jy)大数据的电力行业优化 -对外：丰富社会效益丰富社会效益丰富增值服务提供经济指导利用电力行业数据可给用户提供更加丰富的增值服务(fw)内容。例如，通过给用户提供其各月份分时明细用电视图，可让用户了解自身用电习惯并能根据需要进行调整，同时也使得电力收费过程更透明。随着无线M2M传感器和大数据分析的普及，智能恒温控制器等新型工具进入大型楼房和消费者家庭成为可能，未来这些技术将给用户带来很大的节能空间用电数据是一个地区经济运行的“风向标”，可作为投资决策者的参考依据。美国加州大学洛杉矶分校的研究者根据大数据理论，将人口调查信息、电力(dinl)企业提供的用户实时用电信息和地理、气象等信息全部整合，设计了一款“电力(dinl)地图”。该图以街区为单位，可以反映各时刻的用电量，并可将用电量与人的平均收入、建筑类型等信息进行比照。通过完善“电力(dinl)地图”，能更准确地反应该区经济状况及各群体的行为习惯，以辅助投资者的决策，也可为城市和电网规划提供基础依据。第十七页，共36页。电力行业当前问题(wnt)暨大数据应用场景第十八页，共36页。电力行业中数据量的增长也呈现出相似的态势。近几年，电力行业信息化也得到了长足的发展，我国电力企业信息化起源于 20 世纪60 年代，从初始电力生产自动化到 80 年代以财务电算化为代表的管理信息化建设，再到近年大规模的企业信息化建设，特别伴随着下一代智能化电网的全面建设，以物联网和云计算为代表的新一代 IT 技术(jsh)在电力行业中的广泛应用，电力数据资源开始急剧增长并形成了一定的规模。从长远来看，作为中国经济社会发展的“晴雨表”，电力数据以其与经济发展紧密而广泛的联系，将会呈现出无以伦比的正外部性，对我国经济社会发展以至人类社会进步也将形成更为强大的推动力。电力行业信息化历程(lchng)初始电力(dinl)生产自动化电力财务电算化智能电网时间：20 世纪60 年代时间：20 世纪80 年代时间：21世纪10 年代第十九页，共36页。电网(dinwng)数据处理面临的问题及应对 数据量剧增为了真实地记录生产运行的每一个(y)细节，完整地反映生产运行过程，应用提出了“实时变化采样”的迫切需求；采集频率越来越高，广域动态监测系统、设备状态监测系统在采样频率上可以达到每秒一百(y bi)甚至一千帧采集点越来越多，常规的调度自动化系统数十万点配用电、数据中心将达到百万甚至千万级用户智能电表推行后，对每家每户的实时用电状态数据监控，数据量将剧增 当前数据量级已经每日达到TB级，智能电网的大幅推进后，每日数据量将达到百TB级，传统的数据处理模式（关系型数据库模式），已经无法满足海量和高效处理的需求，只有采用大数据处理模式，才能实现低成本，海量、高性能数据的处理！数据量爆发式增长第二十页，共36页。电网数据(shj)处理面临的问题 数据(shj)质量 电网信息化的分散型系统建设，目前虽然完成了系统间的“硬”整合。但在数据层面的“软”整合，还存在很多问题。对于这些电力行业推进大数据的困扰。需要(xyo)建立统一的元数据定义、统一的数据存储和管控、统一的数据分析处理，这些都需要(xyo)通过大数据模式来建设。数据质量质量较低共享不畅防御脆弱基础不牢电力行业数据在可获取的颗粒(kl)程度，数据获取的及时性、完整性、一致性等方面的表现均不尽如人意，数据源的唯一性、及时性和准确性急需提升，部分数据尚需手动输入，采集效率和准确度还有所欠缺，行业中企业缺乏完整的数据管控策略、组织以及管控流程电力行业缺乏行业层面的数据模型定义与主数据管理，各单位数据口径不一致。行业中存在较为严重的数据壁垒，业务链条间也尚未实现充分的数据共享，数据重复存储的现象较为突出电力企业地域覆盖范围极广，各类防护体系建设不平衡，信息安全水平不一致，特别是偏远地区单位防护体系尚未全面建立，安全性有待提高电力企业大多已建成一体化企业级信息集成平台，能够满足日常业务的处理要求，但其信息网络传输能力、数据存储能力、数据处理能力、数据交换能力、数据展现能力以及数据互动能力都无法满足电力大数据的要求，尚需进一步加强第二十一页，共36页。电力(dinl)生产过程中大数据应用场景第二十二页，共36页。大数据(shj)-下一代智能电网的基石第二十三页，共36页。智能(zh nn)电网发展全景图第二十四页，共36页。智能电网(dinwng)的“智能领域”第二十五页，共36页。智能(zh nn)电网的“智能(zh nn)”构成第二十六页，共36页。智能电网的构成包括(boku)数据采集、数据传输、信息集成、分析优化和信息展现五个方面。IT角度(jiod)的智能电网第二十七页，共36页。智能电网核心(hxn)基础 统一的计算分析平台 智能电网的智能核心是“智能大脑”，即智能决策系统，由这个“大脑”来实现全局的“智能资源调度”，实现从发电、输配电、售电、用电的全面“智能化”。而这个“智能大脑”的每一项决策，都来源于对全局数据的计算(j sun)分析，因此，其核心基础就是“统一的计算(j sun)分析平台”开放的、完整的、统一(tngy)的电网计算分析平台。实现电网的实时仿真计算，为电网规划、建设、运行、管理提供全局性的、统一(tngy)的、共享的数据和计算分析智能电网数据流电力流业务流信息流交易电价、售电量、用电客户、ERP、一体化平台、协同办公等方面的数据物联网、云计算、新能源并网、移动互联网、车联网电力企业生产数据包括发电量、电压稳定性等实时采集的数据TB级PB级PB级 在电力工业与信息化的深度融合，未来的智能电网将承载电力流、信息流、业务流，发电电网信息网的用户产生叠加，电力网的价值要进一步跃升，这种跃升具有大数据的时代特征。需要采用大数据的处理模式来实现平台的构建第二十八页，共36页。目录(ml)大数据的发展及相关技术1电力行业大数据应用分析2彩讯电力行业大数据解决方案3第二十九页，共36页。彩讯智能(zh nn)电网统一大数据平台发电环节彩讯统一大数据平台RichData海量历史/实时数据管理、分析平台、信息运维综合监控等输电环节变电环节调度环节配电环节用电环节发电厂监控(jin kn)、风电场综合监控(jin kn)、分布式电源监控(jin kn)输电设备(shbi)状态监测变电设备状态监测、智能变电站配电自动化用电信息采集、费控、电动汽车充电桩监控、用户电能监控智能调度（EMS、集控、WAMS、电能计量、水调自动化、雷电监测等）大数据平台可广泛应用于发电、输电、变电、配电、用电、调度等智能电网六大环节，并作为信息通信平台的基础。第三十页，共36页。RichData整体平台(pngti)架构RichData的建设目标是通过采用当前(dngqin)业界成熟的数据处理技术和模式，构建与具体业务松耦的中间性的大数据分析挖掘平台。目前利用RichData大数据平台，通过资源的线性扩展，可以实现单条信息秒级的在线处理性能、每日TB级数据分布式处理、PB级数据的存储；第三十一页，共36页。RichData-大数据平台(pngti)数据处理流程结构图数据从业务系统进行实时/定时采集，进行数据分发，经过离线计算平台、实时计算平台，数据进入分布式存储或其他存储，通过数据服务平台统一对外数据服务。平台管理负责整个平台的监控和管理，包括(boku)集群管理(状态监控，故障恢复，资源报告等)、任务调度(实时任务调度、离线任务调度，在线/离线任务协同等)、监控告警、日志报表等。数据在业务系统(xtng)与大数据平台之间形成一个增长性闭环：数据来自于业务系统(xtng)，通过大数据平台的分析挖掘，结果再反馈给业务系统(xtng)，为业务系统(xtng)的提供决策。第三十二页，共36页。彩讯大数据平台能力(nngl)要点支持PB级数据分布式存储；离线分析能力(PB级数据存储及计算能力，日处理数据TB级)；实时(sh sh)分析能力(秒级响应，724小时不间断处理能力)；降低平台使用门槛，封装多种统计分析和数据挖掘模型，使用交互式配置实现个性化的计算模式；统一的元数据集中管控，保证数据定义、数据格式的一致性；非功能性需求：可扩展性(线性扩展，热插拔动态扩展硬件)；高容错性(数据完全性，异常处理)；高可靠性(数据多副本，单点热备份)；第三十三页，共36页。核心能力 配置(pizh)式个性化开发在交互界面上，选取指定的计算模式，在数据元数据中选取需要进行计算的属性，将计算模式、计算属性和元数据传递给语义层；在语义服务层，形成对指定数据的指定计算的算法(sun f)语义，并将这个算法(sun f)语义转换成既定的计算语义（如：SQL语句）。在分布式计算层面：先将计算语义转换成计算脚本和计算任务JOB，然后按照Job的定义选取指定的计算模板执行计算脚本，并将结果按计算语义中定义的结果模式输出到指定的结果表中，同时实现在前方数据服务中可检索；交互(jioh)界面交互界面计算属性计算模式选取语义服务转换成计算语义分布式计算元数据选取计算语义元数据选取语义服务形成算法语义分布式计算计算脚本转换分布式计算计算结果存储计算模板调用计算结果检索计算模式Job创建计算结果元数据创建计算服务元数据创建 通过可配置式个性化开发，大大降低了平台实施和使用的技术门槛，对平台的80%以上的二次开发不再需要专业的开发人员，业务人员就可以实现对数据计算的定义、脚本实现并通过定义规则驱动数据计算。第三十四页，共36页。数据服务123456实时查询(Storm实时计算数据查询)数据查询(Impala/HBase查询)批量数据提取(FTP/文件/邮件)数据统计模型(Hive/MapReduce任务)数据挖掘模型(配置化实现模型测试)接口API封装(跟其他系统对接)核心(hxn)能力-数据服务统一服务，标准化的接口访问协议，为各类数据服务提供统一入口(r ku)，提供便利，全面的数据服务。统一控制，对用户访问和数据访问的统一管控，访问日志记录，保证数据安全。统一数据缓存机制，接口访问稳定性和速度的提升。可扩展，可定制，满足未来的数据访问需求。第三十五页，共36页。实例：基于大数据(shj)平台的电网状态监测状态诊断设备状态电网工况故障录波电网(dinwng)实时数据运行情况故障诊断检修试验设备离线状态(zhungti)数据设备缺陷设备档案预测评估状态评价风险评估检修策略检修维护 针对智能电网状态监测的特点,利用大数据平台,实现对海量状态数据的存储和管理数据,保证智能电网海量状态数据的可靠性和高效管理，实现智能电网的实时监控。第三十六页，共36页。