并行处理与分布式计算在大数据处理方面的应用研究.doc

《并行处理与分布式计算在大数据处理方面的应用研究.doc》由会员分享，可在线阅读，更多相关《并行处理与分布式计算在大数据处理方面的应用研究.doc（3页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、摘要：分布式技术属于一项基于网络应用所开发的技术，是一项新兴技术。该技术实现了组件化、大规模及高效率分布式程序的开发。分布式技术在电力企业大数据处理中发挥了良好的作用，使电力系统对大数据的支撑能力得到了提高，也使电力企业大数据的计算和存储方面存在的问题得到了有效的解决。基于此，本文就针对电力大数据高性能处理中分布式技术的应用进行了分析，旨在为基于分布式技术的电力大数据高性能处理水平的提升提供帮助。关键字：分布式技术；高性能处理；电力大数据引言：分布式应用技术发展打破今天，历经了三个发展阶段，由诞生伊始的两层应用模式，发展到具有数据层、逻辑层和业务层的三层发展模式，然后再发展到现如今的多层体系结

2、构。现如今，我国电力企业已经进入了大数据时代，对大规模数据的存储和计算提出了更好的要求。分布式技术在数据存储和计算方面体现出了较高的水平，因此对分布式技术在电力大数据高性能处理中的应用进行分析显得尤为重要。1.电力大数据概论随着数字信息化的飞速发展，各类持续暴涨的信息资源为人们的工作和生活带来了便捷，同时也使全球信息资源急剧增长。在大数据浪潮的不断涌入下，包括商业界、政府以及学术界在内的社会各界都已经迈入了大数据时代，当然，我国电力工业也已经迈入了大数据时代。实际上，在业内大数据概念并没有一个明确的定义，目前业界一直认同的大数就是一个海量数据集合，具备价值密度低、数据处理速度极快、数据类型多以

3、及数据体量大这四个方面的特征。简单地说，大数据指的就是利用传统的数据库软件工具无法在规定时间内完成对内容的处理、管理和抓取的数据集合。电力大数据绝非是简单的技术，而是电力工业技术改革的关键过程，直接关系着大数据时代下，电力系统的技术路线、管理机制以及发展理念等反方面的变革，同时，这也是大数据时代下，智能电力系统价值形态的提升。2.基于分布式技术的电力大数据存储和计算解决2.1关键技术模型2.1.1分布式系统对于大数据的存储而言，分布存储系统实现的关键是可扩展的分布式文件系统。基于Key-Value的分布式系统具有可用性和高容错性，能够有效地使吞吐量的数据访问得到提高。通常，分布式系统中采用众多

4、的slave结构和单独的master结构，其中slave的职责是对数据信息进行保存，该结构能够有效地提高系统的扩展性，master负责的是元数据信息的保存；当该系统出现单点故障问题的时候利用文本副本的方式使数据信息可以得到快速地恢复；通过简单的一致性模型，一方面使得该系统的复杂性得到了简化；另一方面提高了该系统高吞吐量、高并发的特征。若干个数据节点和一个主控节点构成了一个分布式文件集群。在集群中，通常是一个节点一个数据节点，数据节点的职责是对节点上附带的存储进行管理；主控节点是调节客户端访问文件和管理文件的命名空间的主服务器。一个文件由内部机制分割成为一个或多个块，并且这些块存储在一组数据节点

5、上。为了实现高吞吐、可靠的数据读写，分布式平台通过数据库和分布式文件系统对数据进行存储。2.1.2并行计算Map Reduce是Google提出的一个计算模型和软件架构，主要被应用于大数据的并行运算。期刊文章分类查询,尽在期刊图书馆Map Reduce计算模型在大规模数据集并行运行上非常适用，一个单独的计算节点上能够同时运行每个Reduce任务和Map任务，故而其运算效率和运算能力是非常高的，同时，计算节点也是存储节点，通过对存储在计算节点上的数据进行本地计算，有效地防止了因大数据传输而导致网络瓶颈问题的出现。在分布式平台结构中，基于Map Reduce能够通过一种高容错的方式对大量的数据进行

6、并行处理，既实现了平台并行任务处理的功能，又实现了将SQL进行处理的任务。此外，分布式平台的Map Reduce还能够调度优化任务，将处理不同业务数据的不同任务并行运行，从而使统计计算资源得到最大限度的利用，使整体的数据分析时间得到整体、有效地缩短。2.2总体架构分布式计算平台接收的数据主要来源于关系型数据库的档案类数据以及各类终端信息采集设备的采集数据，然后，通过与专项业务算法逻辑相结合实现对存储数据的并行计算。最后，利用业务应用服务接口将处理结果返回到目标业务应用系统。分布式并行计算平台的核心包含业务应用服务接口、并行ETL工具、运行调度工具、系统监控工具、并行计算环境、开发工具集、分布式

7、存储环境七大组成部分。（1）业务应用服务接口。通过服务的形式为外部系统提供接口，支持大规模分析计算、数据的复杂查询在内的主要业务。（2）并行ETL工具。实现了分布式文件系统、关系型数据库等多种不同数据存储设施之间的数据导出、导入，支持运行脚本管理、监控管理、调度管理、元数据管理等功能。（3）运行调度工具。根据任务规划对业务应用的Map Reduce任务进行运行，对任务之间关联和依赖性进行维护，从而为任务执行的准确性提供保障。（4）系统监控工具。主要职责在于对Map Reduce任务的具体运行情况、业务应用、系统的运行装状态进行监控，为管理用户的运维管理提供方便。（5）Map Reduce 并行

8、计算环境。一方面为并行ETL提供支撑环境；另一方面承载运行业务应用的Map Reduce 代码，从而实现对大规模数据的并行计算和处理。（6）开发工具集。包含SQL解析、ETL管理、任务管理、索引管理以及库标管理等工具。提供Map Reduce 的优化、索引定义以及库表结构等功能，实现了由上层业务逻辑到分布式计算平台的迁移转换。（7）分布式存储环境。它是以Hadoop架构为基础扩展形成的，借助并行ETL工具从关系型数据库中查询和计算有关的档案类数据和导入综合统计分析类数据，并直接接收终端采集数据。此外，通过Map Reduce并行环境为高效的分析计算提供支持，同时通过查询引擎支撑复杂查询。面向多

9、计算节点的层次化Hadoop分布式计算任务处理流程可分为以下7个步骤。步骤1：数据选择：在作业提交之前，需要由程序员从Virtual HDFS查询和选择所需要处理的数据文件，这些文件名写在MapReduce程序中，将来会在作业分解和分配时转换为对应数据中心上HDFS的具体数据访问路径。步骤2：作业提交：用户从客户端提交作业（MapReduce程序）和其配置信息（包括：参数、输入文件名、附加资源等），作业交给Master Node上的 ob Scheduler进行排队和等待，并为该作业分配ID号。步骤3：程序编译和分解：在队列中的作业会根据所处理数据的位置分布情况被重新编译和分解，使得各个子作业

10、能够在处理数据所存放位置集群上被执行。若某个作业所要处理的数据都在同一集群的数据中心（某个Slave Node）上，则将任务整体打包（程序 AR文件和配置信息）发送到对应的集群上执行；若所要处理的数据存储在不同的数据中心上，则该作业将被重新编译为Map-Map-Reduce或Map-Reduce-Map- Reduce模式的程序，使得该作业的子作业依次在对应的集群上被执行。步骤4：子作业定位和分配：依据Virtual HDFS中所记录的各个数据的位置信息，以上子作业将按照数据依赖的方式定位和分配到对应的集群上被执行，在对应集群上将启动run ob（）命令并读取本地文件系统开始进行子作业的处理。

11、步骤5：任务提交和执行：当打包和子作业传输到对应的集群上后，在其name node上将会被 obTracker再次分解为更小的计算任务task，并分配到所从属的若干个data node上进行最终的处理和执行，该过程将由data node上的TaskTracker来调度和完成。步骤6：子作业完成和反馈：在某个集群中的name node将监控所有data node上任务的完成状态，当某个子作业所有的task都完成后，处理结果将存储在本地HDFS文件系统目录中。该作业执行结果的访问路径将由name node主动反馈给Master Node上的Sub- ob Adapter模块。步骤7：作业完成和反馈

12、：Master Node上的Sub- ob Adapter模块接收到某个子作业处理结果反馈后，将检查该子作业是否还有关联的其他子作业？还是它是一个简单的作业（所有处理子作业都在同一集群上处理）？若有后继关联的其他子作业，则启动后继子作业的执行和处理（已完成子作业的输出可以根据作业要求作为后继任务的输入参数）。当同属于一个作业job的所有子作业sub-job都完成后，将最终处理结果数据文件信息在Virtual HDFS上进行注册和登记，并向 ob Scheduler模块返回处理结果文件列表，最终根据作业ID向相应的用户返回程序处理结果访问链接路径。结语：总而言之，本文对电力大数据的概念进行了简单

13、的描述，介绍了分布式系统和并行计算，然后对分布式计算平台的总体架构进行了分析。在现代化进程和电力企业信息化进程不断推进的背景下，智能化电网建设已经进入了一个飞速发展的阶段，对电力企业数据资产的决策水平和利用能力提出了更高的要求，同时，电力大数据应用需求正在朝着多元化的方向进行发展，电力大数据的深度挖掘能力和在线即时分析的提升是下阶段电力企业研究的重点方向。 本研究力争在不破坏原有Map/Reduce计算模型的基础上，针对该模型存在的不足进行适应性改造和完善，以更好地支持分布式多中心数据模式的海量空间数据处理需要，设计基于多数据中心的Map/Reduce运行模型和软件体系结构，扩展Hadoop运

14、行系统和架构，将各个原Hadoop工作节点和TaskTrackler分布到分布式数据中心的多计算集群，实现分布式数据集的并行处理。初步形成面向多数据中心（多机群环境）的分布式任务处理平台架构和工作流程，希望能为基于Hadoop的大规模分布式海量空间数据并行处理提供参考。参考文献1中国电机工程学会信息化专委会.中国电力大数据发展白皮书R.2013.2田秀霞，周耀军.基于Hadoop架构的分布式计算和存储技术及其应用J.上海电力学院学报,2011,27(1):7075.3邓贤添.基于分布式技术的电力大数据高性能处理中的应用研究J.中国新技术新产品，2015（12）:22-23.4衡星辰,周力.分布式技术在电力大数据高性能处理中的应用J.电力信息安全专家，2013,11（9）：40-43.