技术的电力系统分布式并行计算平台设计与实现.pdf

《技术的电力系统分布式并行计算平台设计与实现.pdf》由会员分享，可在线阅读，更多相关《技术的电力系统分布式并行计算平台设计与实现.pdf（4页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1基于 P2P 技术的电力系统分布式并行计算平台设计与实现易建波，黄琦，周丰（电子科技大学自动化工程学院，四川成都，610054）摘要：本文设计并实现了一个适用于电力系统分析的新型分布式并行计算平台。该平台是应用 P2P(Peer-to-Peer：对等计算)技术，以 JXTA 协议为支撑，利用网络上分散的计算机作为并行计算节点，实现了分布式并行计算。通过任务分割和设计并实现高速的数据传输机制，使得该计算平台具备了提供电力系统快速计算的功能，且该平台具有结构简单的优点。利用该平台对几种典型数据的潮流计算进行了测试，并与其他平台的性能进行了比较。结果表明：本文平台数据通信速度快，计算能力强。关键词

2、：P2P；JXTA；电力系统；分布式处理；并行计算 引言随着电力工业的不断发展和电力系统的自动化程度不断提高，现代电力系统的运行与控制演变成一个规模庞大的数据交换与信息处理的应用工程。电力系统的运行与控制越来越依赖于计算机和计算机网络，大数据量的实时计算能力、快速安全的通信系统已经成为提高电力系统自动化能力的重要技术内容。在这一形势下，传统的集中数据处理必然受到计算能力的瓶颈问题。在网络技术和计算技术的不断取得突破的前提下，利用分布式并行计算技术将网络上其他高性能的计算资源用于电力系统分析和计算成为解决这一技术难题的途径之一。如，电子科技大学自动化工程研究中心采用网格计算1（Grid Comp

3、uting）来为电力系统提供分布式监控和分布式并行计算服务23。其功能被集成于 PSGrid平台中4，采用网络中分散的计算节点来实现电力系统分布式数据的管理以及采用高性能节点来实现分布式并行计算。其分布式并行计算的性能达到了可以与 MPI(MessagePassing Interface)相 当 的 程 度。然 而,基 于GLOBUS5的网格计算平台无法避免频繁启动网格服务，从而导致时间的额外消耗，而且平台规模庞大，不利于推广应用。本文拟采用P2P技术开发一种瘦核的分布式并行计算平台。在网络上采用 P2P 技术构造一种经济的、结构简单的、能够处理异构和分布计算的高效“超级计算机”。本文后续部分

4、主要讨论平台的总体设计、算法实现，包括通信平台搭建以及任务分割和数据传输方案。最后对一些算例进行了仿真测试，结果表明该平台在性能上具有一定的优势。1 P2P 计算网络P2P 技术主要指由硬件形成连接后的信息控制技术，其在大数据量数据运算、数据共享、计算机通信等方面有很强的技术优势。图显示了基于P2P技术形成的虚拟网络和物理网络之间的联系。图中上半部分左边和右边的深色部分分别代表在同一网关或者是在 NAT 掩盖下的物理网络连接情况，在同一网段内各计算机之间可以依靠 TCP/IP 协议进行数据的传输，而与网外的计算机之间通信则是依靠 HTTP 协议进行数据传输。图中下半部分是 P2P 技术虚拟的网

5、络连接，它们之间是应用 JXTA 协议实现的虚拟网络连接，通过虚拟管道建立起计算机之间的通信层。JXTA是为P2P技术的应用提供服务和通信基础的一组协议5，由六个核心协议组成，与操作系统和编程语言无关。使用这些协议，不必关心计算节点在网络中所处的位置(在网络边缘或者防火墙的后面)，也不需要集中的管理机构就可以实现特定的、分布式的、对等的计算网络6。图P2P 技术实现的虚拟网络连接22 平台总体设计本文设计实现的总体目标是基于P2P技术构建电力系统分布式并行计算平台。该平台具备数据互传、数值计算功能，将其扩展到分布式并行计算应用领域，并通过一定措施有效缩短通信时间、提高计算效率。首先，该平台能够

6、将网络上可以提供计算资源的计算机连接起来，形成虚拟的网络拓扑；其次，该平台还要能够担负起虚拟网络内计算节点间的通信任务；最后，该平台可以利用编程语言扩展功能，完成分布式并行计算任务。本文所设计的基于P2P技术分布式并行计算平台具有三层结构，如图 2 所示。最底层是硬件基础层，该层是由可连接网络的高性能计算机及计算机操作系统和 JAVA 虚拟机组成。由于本文构建平台所用的 JXTA 协议是与 JAVA 语言绑定的，所以在操作系统之上，需要安装有 JAVA 虚拟机。JAVA 虚拟机的作用是使安装有不同操作系统的计算机都可以执行 JAVA 语言编写的应用程序，而不必考虑系统兼容性问题，这一点也使得本

7、文平台具备了异构性，使得安装不同操作系统的计算机都可以成为系统的计算节点。平台的中间层是核心层，虚拟的 P2P 网络映射将由位于该层底部的 JXTA 协议实现，该协议构建了用于电力系统分析的分布式并行计算节点群组，且各计算节点具有虚拟管道连接的通信基础。位于该层上部的是一个控制安全机，该安全机使得平台具有良好的可测性，能够保证测量出完成计算任务所需的最少计算节点数目。平台顶层是应用程序扩展层，主要包括任务分割，数据封装与解析、信息传递等部分算法的实现。图 2 分布式并行计算平台体系结构3设计的实现3.1 平台基本功能实现基于 P2P 技术的建立分布式并行计算平台，避免了用传统的 TCP/IP

8、Socket 编程去实现一个计算节点时庞大的代码量，JXTA 协议提供的开发包屏蔽了许多网络底层的东西，开发人员能够把更多的精力投入到应用层次的编写上。平台由一个有计算需求的节点提出创建要求并通过网络发出建立运算对等组通告。网络上计算机查询到通告后，加入到计算对等组当中，作为一个计算节点，并且该节点也会保存和转发查询到的通告。这种机制使得网络上传递的通告数量瞬间急剧膨胀，结果是运算对等组中的计算节点数量很快就会满足计算需求。计算节点在对等运算网络中被称作对等体，各计算节点设置符合 JXTA 协议的基本信息，每个对等体并不以名称区分，而是分配一个 ID 号，这个 ID 号在计算网络中确保是惟一性

9、的，ID 号在本文平台设计中十分重要，本文平台的各种查询以及通道创建都将以计算节点的 ID 为准。有计算需求的节点通过控制安全机不断查询运算对等组中计算节点的数目，当计算节点数目达到计算要求时，控制安全机将允许平台进入通信连接服务，这也标志用于分布式并行计算的 P2P 虚拟计算网络连接已经完成。虚拟网络连接成功后，计算节点之间将建立通信连接，虚拟的管道连接是计算节点之间的通信基础。与传统的 C/S 模型不同，在通信的过程中，所有计算节点的地位是一样的，节点不需要发送通信请求就可以根据实际需要创建通信管道。本文设计过程中，将根据虚拟网络内计算节点的 ID 号，建立管道连接。然而，管道的创建是单方

10、面的，一个计算节点可以对对等组内任意节点创建输出管道，而其他节点并不强制必须创建管道连接，只有其需要通信服务时才会建立连接。所以为保证数据通信的可靠性，将在任务分配前测试管道通信是否畅通，并且在计算节点多于任务数时，任务分配程序将根据通道测试结果把任务包优先发送到通信速度较快的节点。至此，虚拟网络连接和通信管道连接已经完成，平台具备了提供电力系统分布式并行计算的能力。3.2 任务分割算法实现电力系统的各种计算中，求解形如 Ax=b 这样的稀疏矩阵线性方程问题是其中重要的问题。由于电力网络形成的数学模型具有明显的稀疏3度，本文采用了将 A 矩阵分割成对角加边形式（Block-Bordered D

11、iagonal Form，BBDF）来实现计算的分割，这种形式的矩阵有利于进行并行计算78。A 矩阵分解成 q-1 块，得到 q-1 个系数矩阵 A，分解b，得到系数矩阵对应的 b，如式(1)：TqqTqTqqqqqqqqqqqqqqqqqqqqqqqqqqqbbqbbbbbbqAAAAqAAAAAAAAAAAAAA)1/()1/(11111211,11,11,1111,21,11,1,222,1110000000000000000000000000000000000(1)各 块 系 数 矩 阵 作 并 行 计 算，矩 阵 对 角 块11q 1,q 1AA之间没有任何直接联系，对角块只与边界块

12、有关联，具有很好的并行特性。如图 3所示：图 3 任务分配方案由对角块和相关的边界块组成任务分配给不同的计算节点作并行计算，计算过程中要进行关联节点的数据交换，计算结果回传给任务分配方进行最后的整合9。3.3 整体算法流程本文整体算法流程如图 4 所示：分布式并行计算对等组由一个计算节点创建，等待网络上其他计算节点加入，同时控制安全机将不断对该对等组规模作测度查询。当计算节点数量满足运算要求后，计算节点间将建立通信管道连接，并测试管道是否通信畅通。最后，由计算需求的计算节点进行任务分割与分配，得到任务的计算节点开始与组内其他计算节点合作进行分布式并行计算，当计算结果达到一定精度要求时，并行计算

13、过程结束，各计算节点把结果传回给任务分配方，作结果的整合工作。图 4 整体算法流程图3.4 实现高速数据传输本文平台将P2P技术应用在分布式并行计算的数据通信体制中10。采用数据封装成消息的形式，保证数据的完整性和安全性，消息的传递遵守 TCP/IP 协议，而在遇到网关限制，网络防火墙等问题时，消息传递遵守 HTTP 协议，所以平台性能不会因网络通讯协议限制而下降11。本文还对计算节点之间的数据传输作了部分改进。首先，计算平台基于 JXTA 协议设计。该协议定制的通信方式是将数据封装成 XML 格式的消息，再进行消息传递，这种做法的好处是数据的完整性和安全性有了很大的保证。在 JXTA协议中，

14、XML 格式封装多以 UTF-8 字符串形式出现，这种方式虽然可读性强，但是会造成消息数据量过大，封装和解析耗时长，显然这种方式通信能力低下，不能满足电力系统的计算要求。本文算例在计算时采用 double 型双精度数，其每个长度为 8 字节。运算过程中，有大量的double 型数据需要在计算节点之间传递，若消息采用 UTF-8 编码，须先将 double 型数据转换成字符串，再按位编码，这样一个 double 型数据在消息中至少占 16 字节。本文的方法是改用二进制编4码，将内存中 double 型的 8 字节二进制数直接编入 byte 型的数组中，这样消息中 double 型数据仍然只占 8

15、 字节，而且省去了编码转换时间。相比之下，本文方法数据传输量减少了 50%以上，整个数据传输时间大大减少。实际应用中，文本平台可以保证有效数据荷载在计算节点间传输速率 500KB/s 以上，为平台能够进行高速分布式并行计算提供了通信保证。3算例结果分析本文以 IEEE118、IEEE300 以及通过多个标准测试数据合成的 1342 节点系统（模拟多个区域电力系统）作为算例，应用本文平台和本文所述算法进行了仿真测试，与其他几种分布式并行计算平台的测试结果进行比较。表 1 所示为测试中作为计算节点的计算机性能指标。表 1 计算节点计算机主要性能指标P1-P6P7-P8P8-P9P10-P11CPU

16、P4 5303.0GP4 5303.0GP4 2.4GP4 2.4G主板Intel915Intel915Intel845PEIntel845PE内存1G512M256M512M网络带宽100M100M100M100M本文 IEEE118 节点系统测试由 4 个计算节点完成，IEEE300 节点系统测试由 5 个计算节点完成，1342 节点系统测试由 11 个计算节点完成。初值选取都是采用平直启动方式，算法收敛精度要求为 10-5。本文将 MPICH 并行计算平台，基于网格计算思想的 MPICH-G2 平台，网格计算GLOBUS 平台与本文所述的平台进行了比较测试，测试结果如表 2 所示，表中所

17、示为计算平均耗时。表 2 潮流计算测试结果(单位:s)MPICHMPICH-G2GLOBUS本文平台IEEE1180.9241004.2390.365IEEE3004.9581006.4461.1261342 节点7.1131007.3201.554通过测试结果比较可以看出，本文所述的平台测试结果明显好于其它几种平台。MPICH 在网络上应用，灵活性不强，其计算效率不高。MPICH-G2 的 运 行 必 须 依 靠 网 格 计 算 平 台GLOBUS 的支持，运行时反复调用 GLOBUS 服务，使其计算时间过长。GLOBUS 直接应用于分布式并行计算，平台功能虽然很齐全，但是计算服务开启时间和

18、数据传输层上复杂的协议体系降低了运算速度。本文所述的平台结构设计上极为简化，省去了与运算和通信无关的部分，数据通信机制上有效减少了传输数据量和整体通信时间，使平台性能达到最优。4结论与展望本文设计并实现了一种新的基于P2P技术的电力系统分布式并行计算平台，通过电力系统分析中几个典型算例对平台的性能作了测试。测试结果表明该平台结构简单、数据传输能力强、运算速度快。目前，P2P 技术发展很快，在很多领域都已经得到了应用，并且应用范围还在进一步扩大。下一步工作将深入研究应用 P2P 技术,开发网络应用范围更广的分布式并行计算包，实现任务动态分配，高速数据传输的广域网分布式并行计算。参考文献1I.Fo

19、ster and C.Kesselman,Eds.,“The Grid:Blueprint for a NewComputing Infrastructure.”San Mateo,CA:Morgan Kaufmann,19992M.Irving,G.Taylor,P.Hobson,“Plug in to grid computing.”IEEEPower and Energy Magazine,Vol.2(2),2004,Pp:40-443张伟，沈沉，卢强。电力系统网格体系初探（一）电网监控从集中计算到分布处理的发展。电力系统自动化，28(22),2004,Pp:1-54黄琦，秦开宇，汪文勇

20、。基于网格计算的电力系统分布式监控实验系统。电力系统通讯，Vol.27(159),2006.1,Pp:66-695IBM Red Book,“Enabling Application for Grid Computingwithglobus.”International Technical Support Organization of IBM,September 20036Emir.Halepovic,Ralph.Deters,“The costs of using JXTA.”ThirdInternationalConferenceonPeer-to-PeerComputing,Proce

21、edings,Sept.2003 Pp:160-1677苏新民，毛承雄，陆继明，“对角块加边模型的并行潮流计算”电网技术,Vol.26(1),2002.Pp:22-258洪潮，沈俊明“求解大型稀疏矩阵线性方程组的一种并行算法及其在并行潮流计算中的应用”武汉水利电力大学学报Vol.33,No.4,20009Qi Huang,JianboYi,Shi Jing,Ke Huang,“Development of anMPI for power system distributed parallel computing in wide areanetwork with P2P technology.”

22、International Conference onParallel Computing in Electrical Engineering(PARELEC 2006)10 Grabriel.Antoniu,Phil.Hatcher,Mathieu.Jan,“Performanceevaluation of JXTA communication layers.”IEEE InternationalSymposium on Cluster Computing and the Grid,2005,Vol.1,Pp:251-25811 Geoffrey.Fox,“Message passing:from parallel computing to theGrid.”Computing Science&Engineering,2002.10作者简介：易建波（1981-），男，甘肃兰州人，汉族，硕士研究生，主要研究方向为电力系统分析运行与控制。Email：黄琦（1976-），男，贵州遵义人，苗族，副教授，主要研究方向为电力系统控制、电力系统监控和分布式计算。Email：周丰（1981-），男，四川简阳人，汉族，硕士研究生，主要研究方向为电力系统控制与数据库应用。Email：