智能电网大数据.doc

《智能电网大数据.doc》由会员分享，可在线阅读，更多相关《智能电网大数据.doc（22页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、,智能电网和大数据1 智能电网 智能电网(smart power grids)，就是电网的智能化，也被称为“电网2.0”，它是建立在集成的、高速双向通信网络的基础上，通过先进的传感和测量技术、先进的设备技术、先进的控制方法以及先进的决策支持系统技术的应用，实现电网的可靠、安全、经济、高效、环境友好和使用安全的目标，其主要特征包括自愈、激励和包括用户、抵御攻击、提供满足21世纪用户需求的电育濒量、容许各种不同发电形式的接入、启动电力市场以及资产的优化高效运行。 在现代电网的发展过程中，各国结合其电力工业发展的具体清况，通过不同领域的研究和实践，形成了各自的发展方向和技术路线，也反映出各国对未来电

2、网发展模式的不同理解。近年来，随着各种先进技术在电网中的广泛应用，智能化已经成为电网发展的必然趋势，发展智能电网已在世界范围内形成共识。 从技术发展和应用的角度看，世界各国、各领域的专家、学者普遍认同以下观点:智能电网是将先进的传感测量技术、信息通信技术、分析决策技术、自动控制技术和能源电力技术相结合，并与电网基础设施高度集成而形成的新型现代化电网。2 智能电网的发展2.1 美国2.1.1 电网2030规划 2003年2月，美国时任总统布什提出“电网2030规划”，指出要建设现代化电力系统，以确保经济安全，同时促进电力系统自身的安全运行。该规划的主要内容有:为所有用户提供高度安全、可靠、数字化

3、的供电服务，在全国实现成本合理、生产过程无污染、低碳排放的供电，经济实用的储能设备，建成超导材料的骨干网架。为有效促进智能电网建设，美国于2007年12月颁布“能源独立与安全法案2007，确立了国家层面的电网现代化政策，设立新的专责联邦委员会，并界定其职责与作用，建立问责机制，同时建立激励机制，促进股东投资。2.1.3 奥巴马政府施政计划 美国总统奥巴马为振兴经济，从节能减排、降低污染角度提出绿色能源环境气候一体化振兴经济计划，智能电网是其中的重要组成部分。 2.2 欧洲 欧盟为应对气候变化、对能源进口依赖日益严重等挑战，向客户提供可靠便利的能源服务，正在着手制定一整套能源政策。这些政策将覆盖

4、资源侧、输送侧以及需求侧等方面，从而推动整个产业领域深刻变革，为客户提供可持续发展的能源，形成低能耗的经济发展模式。欧洲智能电网技术研究主要包括网络资产、电网运行、需求侧和计量、发电和电能存储四个方面。2.3国外智能电网技术研究近况 按照智能电网本身所覆盖的价值链环节，智能电网的关键技术可划分为智能用电、智能网络、新能源发电与智能企业四类。 （1）智能用电:包括智能表计、电池技术、家庭自动化、微型电网、优质供电园区等。 （2）智能网络:包括调度自动化、即插即用式智能电力设备、智能保护装置、测量监视设备、电力电子设备、海量数据处理技术和可视化技术等。 （3）新能源发电:包括可再生能源发电、微透平

5、技术、超导储能技术等。 （4）智能企业:包括信息集成技术、通信技术等。2.4 建设智能电网涉及的重要技术2.4.1稳定而灵活的网络拓扑 稳定、灵活的电网结构是未来智能电网的基础。我国能源分布与生产力布局很不平衡，无论从当前还是从长远看，要满足经济社会发展对电力的需求，必须走远距离、大规模输电和大范围资源优化配置的道路。特高压输电能够提高输送容量、减少输电损耗、增加经济输电距离，在节约线路走廊占地、节省工程投资、保护生态环境等方面也具有明显优势。因此，发展特高压电网，构建电力“高速公路”成为必然的选择。如何进一步优化特高压和各级电网规划，做好特高压交流系统与直流系统的衔接、特高压电网与各级电网的

6、衔接，促进各电压等级电网协调发展、送端电网和受端电网协调发展、城市电网与农村电网协调发展、一次系统和二次系统协调发展，成需要解决的关键问题。随着电网规模的扩大，互联大电网的形成，电网的安全稳定性与脆弱性问题越来越突出，对主网架结构的规划设计要求相应地提高。只有灵活的电网结构才能应对冰灾战争等突发灾害性事件对电网安全的影响。2.4.2开放、标准、集成的通信系统 智能电网需要具有实时监视和分析系统目前状态的能力:既包括识别故障早期征兆的预测能力，也包括对己经发生的扰动做出响应的能力。智能电网也需要不断整合和集成企业资产管理和电网生产运行管理平台，从而为电网规划、建设、运行管理提供全方位的信息服务。

7、因此，宽带通信网，包括电缆、光纤、电力线载波和无线通信，将在智能电网中扮演重要角色。智能电网的发展对网络安全提出了更高的要求，这一问题需要格外注意。目前美国EPRI的合作伙伴PowerWec, EEI, NERC以及爱达荷州实验室正致力于信息安全问题的研究。2.4.3智能、标准的计量体系和需求侧管理 电网的智能化需要电力供应机构精确得知用户的用电规律，从而对需求和供应有一个更好的平衡。目前我国的电表只是达到了自动读取，是单方面的交流，不是双方的、互动的交流。由智能电表以及连接它们的通信系统组成的先进计量系统能够实现对诸如远程监测、分时电价和用户侧管理等的更快和准确的系统响应。将来随着技术的发展

8、，智能电表还可能作为互联网路由器，推动电力部门以其终端用户为基础，进行通信、运行宽带业务或传播电视信号的整合。这里涉及到用户门户(customer portal)技术，作为美国Intelligrid项目的重要研究内容之一，该项研究致力于设计与目前用户使用的提供“非能源服务”的协议相连接的接口。2.4.4智能调度技术和广域防护系统 智能调度是未来电网发展的必然趋势，调度的智能化是对现有调度控制中心功能的重大扩展。调度智能化的最终目标是建立一个基于广域同步信息的网络保护和紧急控制一体化的新理论与新技术，协调电力系统元件保护和控制、区域稳定控制系统、紧急控制系统、解列控制系统和恢复控制系统等具有多道

9、安全防线的综合防御体系。智能化调度的核心是在线实时决策指挥，目标是灾变防治，实现大面积连锁故障的预防。2.4.5 智能化调度的关键技术包括:（1）系统快速仿真与模拟(fast simulation and modeling,FSM)。（2）智能预警技术。（3）优化调度技术。（4）预防控制技术，事故处理和事故恢复技术(如电网故障智能化辨识及其恢复)。（5）智能数据挖掘技术。（6）调度决策可视化技术。 另外还包括应急指挥系统以及高级的配电自动化等相关技术，其中高级的配电自动化包含系统的监视与控制、配电系统管理功能和与用户的交互(如负荷管理、量测和实时定价)。2.4.6可再生能源和分布式能源接入 在

10、发展智能电网时，如何安全、可靠地接入各种可再生能源电源和分布式能源电源也是面临的一大挑战。分布式能源包括分布式发电和分布式储能，在许多国家都得到了迅速发展。分布式发电技术包括:微型燃气轮机技术、燃料电池技术、太阳能光伏发电技术、风力发电技术、生物质能发电技术、海洋能发电技术、地热发电技术等。分布式储能装置包括蓄电池储能、超导储能和飞轮储能等。风能、太阳能等可再生能源在地理位置上分布不均匀，并且易受天气影响，发电机的可调节能力比较弱，需要有一个网架坚强、备用充足的电网支撑其稳定运行。随着电网接入风电量的增加，风电厂规划与运行研究对风电场动态模型的精度和计算速度提出了更高的要求。 电力企业投产清洁

11、能源项目越来越多，光伏发电、风力发电都对地形地貌、环境特征有很高的要求和条件。针对于清洁能源项目建设的要求可借助电力生产MIS系统与地理信息GIS系统中大量的数据，结合环境采集数据等，综合考量不同地域电力生产水平、地形优势与资源分布。利用大数据的数据挖掘技术提供给规划人员支撑电站建设布局的决策数据，实现项目建设的科学调配。也可通过综合分析影响风力发电、光伏发电机组运行的诸多环境因素，例如:温度、光照、湿度、风力等数据，预测气候模式，从而规划处最佳的机组运行方案。通过这种方式，可有效降低生产成本和提高产出效益。2.4.7决策支持和人机接口 现代电网需要专业的、无缝的、实时使用的应用工具，以满足电

12、网操作和管理人员做出快速决策的需要。决策支持和人机接口技术主要包括可减少大量数据到易于理解的可视格式的可视化工具和系统以及当系统运行人员操作时需提供的多种方案软件系统，还可以用作演示的控制板、先进的控制室设计等等。2.5 中国智能电网标准体系2.5.1基础与通用 本领域包括术语和方法学、安全、电能质量等。2.5.2发电领域关键设备及技术标准 （1）常规发电关键设备 涵盖:次同步振荡抑制装置、大机组设备状态检测与故障分析系统、水电机组设备状态监测、梯级水电站调度控制、发电厂快速并网装置、常规能源和新能源的自动化成套控制系统。 （2）大规模可再生能源关键设备 涵盖:风电场故障穿越装置、风光储智能控

13、制系统、间歇电源功率预测调度、兆瓦级光伏并网逆变器系统、间歇式电源功率控制、风电机组控制系统、风光储联合电站一体化智能监控系统以及新能源发电监控系统。 （3)大规模储能关键设备 涵盖:集成储能功率平滑调节、化学电池模块化集成、电池储能能量管理、电池储能转换装置、飞轮储能装置、电容/超导储能装置、储能电站智能调度以及化学电池储能。 涉及技术标准:常规电源网源协调技术标准、风电并网技术标准、光伏并网技术标准、其他新能源并网技术标准及大容量储能系统并网技术标准。2.5.3输电领域关键设备及技术标准 （1)输电线路状态监测 涵盖:输电线路状态监测装置及输电线路状态监测系统。 （2)柔性交流输电 涵盖:

14、静止无功补偿器、故障电流限制器、静止同步补偿、串补/可控串补及可控并联电抗器。 （3)直流输电 涵盖:直流场关键设备、多端柔性直流控制、柔性直流输电电缆、高压直流换流阀、柔性直流换流站及够写直流换流阀。 涉及技术标准:特高压输电、柔性直流输电、柔性交流输电、线路状态与运行环境监测及输电资产全寿命周期管理等技术标准。2.5.4变电领域关键设备及技术标准 变电环节主要包括设备层、系统层及站控层设备。 （1)设备层关键设备 涵盖:智能元件、传感器及测控装置、保护测控一体化装置、合并单元、智能组件、电子式互感器。 （2)系统层关键设备 涵盖:智能变电站监控系统、远动终端、间歇电源保护监控装置、广域及区

15、域保护控制。 （3)运行技术支持关键设备 涵盖:检验/测试/评估系统、状态监测状态检修系统、多态遥视/安防/消防、数字装置调试试验装置、组态及系统调试工具。 涉及技术标准:智能变电站综合技术标准、变电设备智能化标准、智能变电站自动化系统标准、状态监测评估和检修、变电资产全寿命周期管理标准等。2.5.5配电领域关键设备及技术标准 配电环节主要包括过程层智能化一次设备、站控层设备。 （1)智能配电设备 涵盖:大容量快速切换固态开关、智能配电开关、智能配变监测终端、复合电能质量控制器。 （2)配电自动化与配网规划 涵盖:配电自动化主站系统、配电调控一体支持系统、配网规划辅助决策系统。 （3)分布式电

16、源和微网 分布式储能装置、配电保护测控一体化、供电系统微机保护装置、供电电能质量治理装备、供电换流装置及控制装置。 涉及技术标准:配电自动化、分布式电源及微电网并网、分布式储能系统接入配电网等技术标准;2.5.6用电领域关键设备及技术标准 用电环节关键设备如下。 （1)用电信息采集 涵盖:用电信息采集主站、用电信息采集终端、智能电能表。 （2)智能用电小区 涵盖:居民用电交互终端、智能家电、智能插座、智能用电小区服务系统。 （3)智能大客户服务 涵盖:智能需求侧管理系统、大用户交互终端、智能楼宇管理系统、分布能源及储能管理系统。 （4)电动汽车充放电 涵盖:电动汽车充放电设备、充放电管理系统。

17、 （5)智能营业厅 涵盖:智能营业厅管理系统、停电管理系统、用电地理信息系统、客户服务门户网站、自助服务终端及系统。 涉及技术标准:双向互动服务、智能量测、用户端用能管理、智能用能、电动汽车充放电、智能用电检测技术标准。2.5.7调度领域关键设备及技术标准 智能电网调度技术支持系统研制(调度管理类应用、安全校核类应用、调度计划类应用、实时监控预警类应用、基础平台)。 涉及技术标准:智能电网调度系统、智能电网调度系统基础平台、智能电网调度系统应用功能、电网运行集中监控等技术标准。2.5.8信息通信领域关键设备及技术标准 信息通信领域涵盖:通信网络、信息化应用。 骨干通信网关键设备、配用电通信网关

18、键设备、通信支撑网关键设备。3 大数据3.1 大数据的概念 数据是自然资源一样重要的战略资源，大数据技术就是从数量巨大、结构复杂、类型众多的数据中，快速获得有价值信息的能力。 维基百科对大数据的定义是:“大数据是由于规模、复杂性、实时而导致的使之无法在一定时问内用常规软件工具对其进行获取、存贮、搜索、分享、分析、可视化的数据集合”。 互联网数据中心将大数据定义为:为更经济地从高频率的、大容量的、不同结构和类型的数据中获取价值而设计的新一代架构和技术。3.2 大数据的提出与发展 大数据概念的提出可以追溯到自然杂志2008年9月专刊中发辫的文章:Big Data: Science in the P

19、etabyte Era,此后大数据的概念被广泛传播。2011年，麦肯锡公司发布了关于大数据的调研报告大数据：下一个前沿，竞争力、创新力和生产力，指出了大数据研究的地位以及将给社会带来的价值。2012年3月，美国奥巴马政府宣布投资2亿美元启动“大数据研发计划”，旨在提高和改进从海量和复杂数据中获取知识的能力，加速美国在科学和工程领域发明的步伐，增 强国家安全。 大数据和以往的海量数据、超大规模数据有什么区别昵?显然这些术语都表示系统需要管理的数据规模很大。相对于当时的CPU和存储技术水平而言，这些规模过大的数据在处理时需要特别对待。从历史发展来看，超大规模在提出时表示的是GB级别的数据，海量数据

20、提出时表示的是TB级别数据，而大数据则是指PB (1 015)及以上级别的数据。3.2 大数据检索、分析和可视化等方面的相关技术3.2.1大数据检索 在大数据检索服务中，用户通常期望能够检索到所有所需数据，而并不关心数据模型、存储位置和数据组织结构等信息。因此，用户提交的查询请求其目标数据很可能来源于多个数据源。面向大数据服务的检索场景与传统搜索引擎或数据管理系统有所不同。大数据服务的用户有两类，一类是普通个人用户，一类是专业IT人员和应用程序。对于普通个人用户而言，由于不了解底层数据源的信息以及服务描述信息，通常个人用户会使用方便易用的关键字检索;对于IT人员和应用程序，其数据查询需求的目标

21、数据源相对明确，因此可以采用语义查询语言SPARQL进行检索。然而，无论哪类用户，由于底层数据源的跨域异构，其检索请求的执行过程具有多种可能性，针对每种可能性，都需要研究和制定相应的检索执行策略，以保证提供“Best-effort，的服务效果。因此，大数据服务架构需要支持两类检索模式:关键字检索:用户提交检索关键字或者“属性二值，形式的检索请求进行检索;语义检索:专业人员或者应用程序向服务提交SPARQL检索进行检索。3.2.2大数据分析 前文从技术角度对数据分析服务现状进行了综述，现有的数据分析服务是数据拥有者提供数据，服务提供商利用其数据分析技术和计算资源帮助用户分析数据，在这种模式下，数

22、据拥有者需要支付高额的费用。 通过数据服务形式提供数据分析，存在两种方式: 一种方式是对检索结果进行分析，该方法需要将分析对象数据通过数据服务从存储系统中取出传输给用户端，用户再进行分析。这种方式进行分析所花费的时间是查询执行时间、数据组装时间、传输时间和数据分析执行时间的总和。很显然，这种方式代价依然很高。 另一种方式是不取出数据，直接构建分析型数据服务。用户提交分析请求，数据服务接口将分析请求分解成多个子请求，派发给多个分析型数据服务，将每个子分析请求针对相应的数据源执行分析任务，分析结果在数据服务接口处汇总组装，返回给用户。此种方式将计算后置，用户只需要提交分析请求，并等待分析结果，而免

23、去了将大量分析对象数据传输的过程。3.2.3大数据可视化 诸多成熟的开源可视化组件库和图表组件库都为大数据可视化服务提供了便利。针对用户对数据可视化的需求，充分利用现有可视化组件库，为用户提供可视化脚本的方式实现可视化服务，是大数据可视化服务研究的目标。大数据可视化服务的脚本目前支持常用的D3.js和Fusioncharts图表库两种，鉴于部分用户可能对某类脚本较为熟悉，用户在可视化请求阶段可以指明所需输出的脚本类型。 数据可视化的前提是给定要进行可视化数据，这些数据有可能是用户检索的结果，有可能是分析的结果。这样，大数据的可视化请求的处理流程可概述为，先执行大数据检索服务或者大数据分析服务，

24、再将其结果数据输入到可视化型数据服务中，最后输出可视化脚本或包含可视化脚本的网页脚本。3.3 数据挖掘和数据流挖掘 数据挖掘技术是一个涉及数据库、机器学习、统计学、神经网络、高性能计算和数据可视化的多学科领域，是计算机模仿人类学习机理和方法，利用数据自动获取知识的一种技术。 数据挖掘技术主要分为如下几个分支:分类、聚类、关联规则挖掘、序列模式挖掘等。 聚类：将物理或抽象对象的集合分成相似的对象类的过程称为聚类。更形式化的一个描述方法是:聚类分析就是按照某种相似性度量方法对对象进行分组，使得各组内的相似度高，而组间的相似度低。 分类：首先根据已知类别的一些样本进行学习，得到一个分类的规则或者说是

25、模型，然后利用学习得到的模型对另外一些类别未知其他属性值已知的样本进行类别的判断或者预测。 关联规则挖掘算法的基本概念包括两个方面的内容:项以及项集，其中项是基本单元，用来表示实际环境中的单个具体事物，例如在超市购买的物品;项集是由一个或者多个项组成的集合，表示的是具体的一次事务，例如顾客的一次购买行为，在项集内部，项与项之间不存在次序关系。 序列模式的组成包括3方面的内容:序列、事件(事务或者项集)以及项，它们三者之间的关系是序列是由一个或者多个事件组成的，而事件是由一个或者多个项组成的;在组成序列的事件中，事件与事件之间存在着先后时间关系，而在组成事件的项中，项与项之间不存在先后时间关系。

26、4 智能电网大数据4.1智能电网与大数据的关系 智能电网就是将信息技术、计算机技术、通信技术和原有输、配电基础设施高度集成而形成的新型电网，具有提高能源效率、提高供电安全性、减少环境影响、提高供电可靠性、减少输电网电能损耗等优点。智能电网的理念是通过获取更多的用户如何用电、怎样用电的信息，来优化电的生产、分配及消耗，利用现代网络、通信和信息技术进行信息海量交互，来实现电网设备间信息交换，并白动完成信息采集、测量、控制、保护、计量和监测等基本功能，可根据需要支持电网实时自动化控制、智能调节、在线分析决策和协同互动等高级功能，因此相关研究者指出:可以抽象的认为，智能电网就是大数据这个概念在电力行业

27、中的应用。 电力大数据的数据集成管理技术，包含关系型和非关系型数据库技术、数据融合和集成技术、数据抽取技术、过滤技术和数据清洗等。大数据的一个重要特点就是多样性，这就意味着数据来源极其广泛，数据类型极为繁杂，这种复杂的数据环境给大数据的处理带来极大的挑战，要想处理大数据，首先必须对数据源的数据进行抽取和集成，从中提取出实体和关系，经过关联和聚合之后采用统一的结构来存储这些数据，在数据集成和提取时需要对数据进行清洗，保证数据质量及可靠性。4.2智能电网大数据的形成 随着电力信息化的推进和智能变电站、智能电表、实时监测系统、现场移动检修系统、测控一体化系统以及一大批服务于各个专业的信息管理系统的建

28、设和应用，数据的规模和种类快速增长，这些数据共同构成了智能电网大数据。4.2.1发电侧数据 通过建立各生产系统数据互通，依靠不同种类生产系统，对传统发电企业和清洁能源发电企业都会给与数据层面的决策性预测。在基础数据不断积累的前提下，分析电厂或发电设备周围环境变化和气候变化，掌握不同时期煤炭储备量和煤炭消耗量的关系。都可对于全国范围的季节性来水与机组负荷下降等因素影响的机组停备工作进行有效预测和数据支持。通过大数据分析决策能力，提供生产设备状态数据，开展机组停备检修工作，加强设备管理，强化员工培训4.2.2输变电侧随着同步相量监测系统(Phasor Measurement Unit ，PMU)的

29、大规模使用，输变电网能更全面的了解电网运行暂态的变化，以便更实时的控制电网运行。PM U采样频率非常高。一个PMU设备一天可收集6千万个数据点，数据量约0. 6 GB，实际应用中，大面积的部署将产生TB级的数据。4.2.3 电网调度数据 随着智能电网的建设，调度环节的数据主要包括以下几类：1）基础数据。描述电力设备固有属性的数据及相关参数、定值，包括一次设备、二次设备、自动化设备、通信设备等；2）电网实时量测类数据。智能电网量测系统是智能电网实现的基础，实现电力数据的采集功能，现有的量测系统包括数据收集与监控系统SCADA,WAMS和高级测量体系(Advanced Metering Infra

30、structure，AMI)3类；3)电网准实时应用类数据。该类数据由调度自动化系统生成或人工输人的数据组成，包括预测计划类数据、报表数据和监控预警类数据。预测计划类数据主要有负荷预测、发电计划、检修计划、水电计划、机组组合等，周期为小时、天、月、年。监控与预警类数据是在异常或故障情况下产生的，包括大量告警信息，如各种保护信号、跳闸、SOE、过载等不断涌人调度中心的信息，以及不断的语音告警和事故推画面等，数据量呈爆发式地增长，另外，随着无人值守变电站的推广，还有大量视频监视与语音数据。4.2.4 配电侧数据 主动配电网中含有大量分布式电源与柔性负荷，网络规模大并且结构复杂，系统实际运行过程中通

31、常表现出强互动、多藕合、高随机的典型特征，运行过程中产生的数据结构多样、来源复杂，时间尺度不统一、空间尺度各异，具有典型的“4V”特征，即规模大( volume)、类型多(variety、价值密度低(value)和变化快(velocity )。其中，主要数据类型包含配电网运行拓扑结构信息，分布式电源状态监测信息、相关区域气象信息、电动汽车运行信息、设备状态监测信息、配电自动化信息以及用户营销信息等，保守估计一个中等规模配电网每年将产生上百TB的数据。然而配电网目前缺乏大数据分析与处理相关技术，未能充分利用所获取的海量数据提升系统运行水平与效率。因此，对主动配电网中海量数据提供有效的存储和索引机

32、制，建立高效且符合配电网主动管理运行需求的数据处理平台，从而准确预测和评估配电网运行状态，进而构建高效的主动配电网能量调度体系，可靠的主动控制与保护策略以及相关优化对策措施。4.2.5用电侧 与传统电网相比，智能电网下用户与供电公司双向互动，并参与到电力系统的运行和管理中。利用智能电表，电力公司可以实时了解用户用电情况，并实时通知用户用电成本、实时电价、电网状态、计划停电等信息。目前，智能电表可每隔510 min向电网发送实时用电信息。例如法国电力公司所部属的3 500万个智能电表，每月产生的数据超过300 TB 。4.3智能电网大数据分类与特点 根据数据来源的不同，可以将智能电网大数据分为两

33、大类:一类是电网内部数据;另一类是外部数据。内部数据来自用电信息采集系统(collection system information CIS)、营销系统、广域监测系统(wide area measurement system WAMS)，配电管理系统、生产管理系统(production management system, PMS)、能量管理系统(energy management system, EMS)、设备检测和监测系统、客户服务系统、财务管理系统等的数据。外部数据来白电动汽车充换电管理系统、气象信息系统、地理信息系统(geographic information system GIS)

34、、公共服务部门、互联网等这些数据分散放置在不同地方，由不同单位部门管理，具有分散放置、分布管理的特性。 综合各种对大数据的数据特征描述，考虑到智能电网数据的特点，智能电网大数据的数据特征可归结为如下几点:（1）数据来白分散放置分布管理的数据源; （2）数据量大、维度多、数据种类多; （3）对公司、用户和社会经济均有巨大的价值; （4）数据之问存在着复杂关系需要挖掘，且大多数情况下有实时性要求。4.4 电力大数据的数据挖掘 大数据技术的根本驱动力是将信号转化为数据，将数据分析为信息，将信息提炼为知识，以知识促成决策和行动。借助电力大数据的分析技术可以从电力系统的海量数据中找出潜在的模态与规律，为

35、决策人员提供决策支持。麦肯锡认为可用于大数据分析的关键技术源于统计学和计算机科学等学科，包含关联分析、机器学习、数据挖掘、模式识别、神经网络、时问序列预测模型、遗传算法等多种不同的方法。4.5电力大数据的数据展现技术 电力大数据的数据展现技术包括可视化技术、空问信息流展示技术、历史流展示技术等。可视化技术、空问信息流展示技术、历史流展示技术从3个不同的方面诊释了电力大数据展现技术的丰富内涵。借助电力大数据的数据展现技术可帮助管理人员更直观、准确地理解电力系统数据表达的意义，了解电力系统的运行状态。 可视化技术广泛应用于电网状态的实时监控，显著提高了电力系统的自动化水平。未来电力系统可视化还可结

36、合复杂网络中的相关理论在电网自动分层分区、自动布点等方面展开深入研究，发掘电网更深层次的规律和联系。 空间信息流展示技术主要体现在电网参数与已有地理信息系统的结合上，包含变电站三维展示、虚拟现实等技术。将电力配电设备管理与地理信息系统紧密结合起来，有利于电网管理人员直观地了解设备情况，从而为其决策提供最新的地理信息。在变电站工程设计中用空问信息流展示技术可以节约时问、资源、成本，为电力企业带来巨大的效益。 历史流展示技术体现在对电网历史数据的管理与展示上。在电力系统中，深层次的应用分析往往以历史数据为基础。对生产现场的实时监测数据、电网的规划数据和负荷预测数据，通过历史流展示技术，可以绘制出数

37、据的发展趋势并预测出未来的数据走势；通过历史流回放展示技术，可以模拟历史重大事件发生、演变，挖掘历史事件潜在的知识与规律。4.6 智能电网和大数据结合产生的相关效益（1） IBM大数据技术在新能源接入中的应用。 在电力生产环节，随着新能源大量接入，打破了相对静态的传统电力生产，使得电力生产的管理和计量变得日趋复杂。大数据技术能为电力企业做出更好的预测。 丹麦的维斯塔斯风力技术集团，通过在世界上最大的超级计算机上部署IBM大数据解决方案，得以通过分析包括PB量级气象报告、潮汐相位、地理空问、卫星图像等结构化及非结构化的海量数据，从而优化了风力涡轮机布局，提高风电发电效率。 IBM公司针对风电企业

38、在风电场微观选址中面临的挑战，提出基于高精度数值天气预报的微观选址解决方案，来解决风资源捕捉利用的最大化问题和风机维护成本的最小化问题。（2）大数据技术在风电机组安全状态评估中的应用。 风电机组运行环境非常恶劣，受雷雨、盐雾、冰雪等因素的影响。采用基于大数据挖掘技术的风电机组安全经济运行状态综合评估系统，监测零部件磨损、疲劳等原因引起的状态变化信息，并由此识别和预测风电机组设备或者零部件的故障，提高机组的运行安全性，避免早发故障导致的更为严重的故障，并降低运维费用。（3）大数据技术在电网灾难预警中的应用。 随着电网日益增加的复杂性和不断变化的白然环境，电力系统中的灾难性连锁事故频繁发生，这些灾

39、难性连锁事故大多数始于系统某个元件故障。大规模停电事故初期往往是少量元件相继故障，在事故扩大阶段则与电力系统中的脆弱环节有紧密的联系，因此从整体预防的角度出发，通过大数据技术辨识电力网络中的脆弱环节对提高电力系统的可靠性，降低大规模停电事故的发生概率有重要意义。（4）电力大数据可视化的应用 美国Space-Time是一家提供新一代地理空问和可视化解决方案的创业公司，2011年，Space-Time为美国加州独立系统运营商设计了一套可以实时监控电力传输系统能源基础设施的可视化软件Space-Time Insight ，该可视化系统通过控制室中的一个80英寸的显示屏，在地图上实时展示长达25 00

40、0 km的输电线路状况，工作人员一旦发现一个地区出现了问题，就可以根据该地区问题的严重性和临近地区的反应来做出决策。不仅简化了日常运营复杂度，还在尽可能降低影响的情况卜解决问题。这种大数据可视化实践对中国的电力大数据分析展示乃至整个能源相关行业都具有巨大的参考价值。5 智能电网大数据相关文献智能电网相关文献（20052015）有7447篇大数据相关文献（20052015）有18540篇智能电网大数据相关文献（20082015）有129篇图1 智能电网、大数据近十年相关文献条形图论文发表时间20052006200720082009201020112012201320142015智能电网13242

41、54362514081337112411471091651大数据28252128283697702344875066968智能电网大数据0001561920232929表1 智能电网、大数据近十年相关文献数量大数据应用1 电子商务 随着电子商务的迅速发展，淘宝所积累的庞大数据、所面对的大量复杂用户需求，客观要求采用大数据技术进行分析和处理，这主要包括在线分析和离线分析两种。在线分析对相应时问的要求比较高(通常不超过若干秒)，通过构建在云计算平台上的NoSQL系统(例如Hadoop上的HBase)，实现了更好地开源、降低成本、易于扩展等效果，而且能够实时处理数千万甚至数亿条请求记录。离线数据分析

42、基于开源的Hadoop的HDFS文件系统和MapReduce运算框架，用于较复杂和耗时的数据分析和处理。 采用传统市场调查方式(电话、邮件、信函等)抽样调查耗时耗力，且调查结果与客观情况误差较大，淘宝通过对实际访问、交易的真实数据分析可以发现一些有趣结果，利用它们可以帮助商家调整营销战略，提升竞争力。让我们来分析一个商品之问常常存在的内在关联实例巴，比如买了奶粉的客户，很可能会买奶嘴等婴儿用品。过去人们更多依靠逻辑分析和抽样统计来发现这些关联关系，现在凭借大数据及其分析处理系统，可以更加清晰和准确地获取商品之问的内在关联。比如，购买了女装的客户，买女士内衣、箱包皮具和食品的比例最大;其次是买彩

43、妆和女鞋;再次是服饰配件和饰品等，这是非常典型的女性消费者购物模式。这些信息可以有多种用途，例如商家在决定扩大或缩小经营范围时，可以藉此来选择扩大或缩小商品的类别;搞促销活动时，商城运营人员可以藉此选择促销的范围乃至不同商品的促销力度等。 大数据对于企业来说意味着巨大的经济效益。eBay通过数据挖掘精确计算出广告中的每一个关键字，2007年以来eBay产品销售的广告费降低了99%，而顶级卖家占总销售额的百分比却上升至32%。2 Google众所周知，Google所提出的GFS、BigTable 、MapReduce技术奠定了云计算研究和应用的基础。正如很多成功的技术一样，Google提出这些技

44、术是为了解决其业务提供中遇到的现实问题。这个问题用今天的眼光来看就是大数据问题。Google作为搜索领域先进技术的实践者，其面对的现实一方面是海量的网页数据，另一方面是海量的网页数据分布在全世界200多个地方，总计超过100万台服务器上，而且这些数据和服务器的数量还在快速增长。GFS是Google提出的分布式文件系统，可以支持对分布在大量廉价硬件的数据进行有效可靠的访问。BigTable是Google构建在GFS之上的一种压缩高效的专属数据库系统。MapReduce是支持在大规模集群上的大数据进行并行计算的软件框架。基于这3项针对大数据存储访问和计算的关键技术，Google可以进行海量数据的搜

45、索和分析挖掘，保证了其在搜索领域的主导地位。Google在公布了GFS、BigTaBle和MapReduce技术后，Apadre软件基金会以其为基础用，Java开发了开源软件框架Hadoop，该框架现在是云计算相关研究和应用的基础。3 Mircrosft 微软在数据管理、商务智能、数据挖掘的研发和解决方案是以其结构化查询语言(SQL) Server平台为基础的，对大数据的布局也是以SQL Server平台为主，并集成Windows A zure公有云与Hadoop系统，形成覆盖整个产业链的完整解决方案。微软已发布了SQL Server平台的2012版本，其中加入了大数据处理和分析挖掘的功能。这些特性包括：能够处理结构化数据以及非结构化数据；提出了数据商店的概念；将SQL Server的活动目录与Hadoop集成。目前微软已有的大数据实施成功的案例，包括目前正在成都投入运作的云计算中心。该中心利用大数据平台、虚拟化、BI商业智能分析等一系列技术手段，实现了对肉类产品从喂养到售卖的实时监控。