并行计算技术概述2.ppt

《并行计算技术概述2.ppt》由会员分享，可在线阅读，更多相关《并行计算技术概述2.ppt（110页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、并行计算并行计算Parallel computing第一讲第一讲 并行计算技术概述并行计算技术概述1.为什么需要并行计算？为什么需要并行计算？2.并行计算技术的分类并行计算技术的分类3.并行计算的主要技术问题并行计算的主要技术问题4.MPI并行程序设计并行程序设计5.为什么需要大规模数据并行处理？为什么需要大规模数据并行处理？1.1.为什么需要并行计算？为什么需要并行计算？贯穿整个计算机技术发展的核心目标贯穿整个计算机技术发展的核心目标：提高计算性能！提高计算性能！Intel微处理器每秒1千8百亿次浮点运算！近20年性能提高3千多倍巨型机：中国天河一号，2010年底世界TOP500强第1名每秒

2、2千5百多万亿次浮点运算，近20年性能提高3千多倍亿亿千万亿百万亿十万亿万亿千亿百亿十亿亿2011年6月日本“K Computer”以每秒1亿亿次名列第一，几乎是第2-9位的总和，中国天河位列第二亿亿千万亿百万亿十万亿万亿千亿百亿十亿亿2012年11月美国“Titan”以每秒2.7亿亿次名列第一，中国天河位列第八提高计算机性能的主要手段提高计算机性能的主要手段1.提高处理器字长：70-80年代：Intel处理器：71年，4004，4bits；78年，8086，8bits；82年，80286:16bits；85年90s，80386,486,Pentium,P2,P3,P4:32bits05年，P

3、entiumD往后-Corei3,i5,i7：64bits为什么需要并行计算？提高计算机性能的主要手段提高计算机性能的主要手段2.提高集成度摩尔定律：芯片集成度每18个月翻一倍，计算性能提高一倍为什么需要并行计算？为什么需要并行计算？为什么需要并行计算？提高计算机性能的主要手段提高计算机性能的主要手段3.流水线等微体系结构技术实现指令级并行(Instruction-LevelParallelism,ILP）RISC结构5级流水线为什么需要并行计算？为什么需要并行计算？提高计算机性能的主要手段提高计算机性能的主要手段3.流水线等微体系结构技术分支预测,寄存器重命名，超长指令字（VLIW），超标量

4、(Superscalar)，乱序执行，CachePentium4(CISC结构）采用了20级复杂流水线为什么需要并行计算？为什么需要并行计算？提高计算机性能的主要手段提高计算机性能的主要手段4.提高处理器频率：1990s-2004：为什么需要并行计算？为什么需要并行计算？所有这些技术极大地提高了微处理器的计算性能，但2004年后处理器的性能不再像人们预期的那样提高单核处理单核处理器性能提器性能提升接近极升接近极限！限！集成度集成度性能性能为什么需要并行计算？为什么需要并行计算？单核处理器性能提升接近极限单核处理器性能提升接近极限1.VLSI集成度不可能无限制提高芯片集成度已进入极小尺度级别，集

5、成度不可能无限制提高1nm(纳米)约头发直径的6万分之一或4个原子长度10-20nm仅有几百个原子的长度为什么需要并行计算？为什么需要并行计算？单核处理器性能提升接近极限单核处理器性能提升接近极限2.处理器的指令级并行度提升接近极限长指令字，流水线，分支预测，寄存器命名，超标量，乱序执行，动态发射，高速缓冲（Cache）高级流水线等各种复杂的微体系结构技术都已得到研究应用，难以进一步挖掘更多的指令级并行性(Instruction-LevelParallism)ILPILP墙墙为什么需要并行计算？为什么需要并行计算？单核处理器性能提升接近极限单核处理器性能提升接近极限3.处理器速度和存储器速度差

6、异越来越大处理器性能每2年翻一倍，而存储器性能每6年翻一倍为了匹配两者间速度差异，处理器需要做越来越大的Cache存储墙存储墙CPUCPU计算速度：计算速度：1ns1ns级别级别主存访问速度：主存访问速度：100ns100ns级别级别为什么需要并行计算？为什么需要并行计算？单核处理器性能提升接近极限单核处理器性能提升接近极限4.功耗和散热大幅增加超过芯片承受能力晶体管密度不断提高，单位面积功耗和散热大幅增加主频提高导致功耗和散热急剧增加功耗P=CV2f，C：时钟跳变时门电路电容，V：电压，f：主频晶体管数越多，电容越大=功耗越大；主频越高=功耗越大功耗墙功耗墙Cite from Edward

7、L.Bosworth,The Power Wall,2010为什么需要并行计算？为什么需要并行计算？单核处理器性能提升接近极限单核处理器性能提升接近极限2005年前，人们预期可以一直提升处理器主频但2004年5月Intel处理器TejasandJayhawk(4GHz)因无法解决散热问题最终放弃，标志着升频技术时代的终结Cite from Edward L.Bosworth,The Power Wall,20102005年前人们预计的主频提升路线图2007年人们大大降低了主频提升预期2005年后Intel转入多核技术为什么需要并行计算？为什么需要并行计算？单处理器向多核并行计算发展成为必然趋势

8、单处理器向多核并行计算发展成为必然趋势多核/众核并行计算2005年Intel全面转入多核计算技术，采用多核/众核构架，简化单处理器的复杂设计,代之以单个芯片上设计多个简化的处理器核,以多核/众核并行计算提升计算性能双核:PentiumD(05),EE(06),Xeon(06)Core2DuoE系列,T系列(06)Corei3,i5(10)4核:Core2QuadQ系列（07）Corei5,i7(08,09,10)6核:Corei7970/980(10)8核:AMDBulldozer(10)典型的双核处理器结构为什么需要并行计算？为什么需要并行计算？单处理器向多核并行计算发展成为必然趋势单处理器

9、向多核并行计算发展成为必然趋势多核/众核并行计算Intel实验芯片SingleCloudChip,SCC：48核Teraflops,80核Cite from Intel website:http:/ Red：1996，第一个达到1TFlops(10万亿次浮点运算)的并行计算系统，使用了10,000颗PentiumPro处理器(200MHz),耗电500kW，外加500kW用于机房散热Teraflops:达到1.01TFlops(3.16GHz)1.81TFlops(5.7GHz)功耗62W！为什么需要并行计算？为什么需要并行计算？单处理器向多核并行计算发展成为必然趋势单处理器向多核并行计算发展

10、成为必然趋势多核/众核并行计算根据摩尔定律，Intel预计其通用的众核并行计算芯片2015年：128核2017年：256核2019年：512核2023年：2024核NVIDIA GPUGraphicProcessingUnit，主要用于图形图像并行处理TeslaM2050/2070:448核S20501UGPU处理系统:4个M2050/2070,1792核为什么需要并行计算？为什么需要并行计算？应用领域计算规模和复杂度大幅提高应用领域计算规模和复杂度大幅提高爆炸性增长的Web规模数据量Google从2004年每天处理100TB数据到2008年每天处理20PB2009年eBays数据仓库，一个有

11、2PB用户数据，另一个6.5PB用户数据包含170TB记录且每天增长150GB个记录；Facebook：2.5PB用户数据，每天增加15TB世界最大电子对撞机每年产生15PB(1千5百万GB)数据2015年落成的世界最大观天望远镜主镜头像素为3.2G，每年将产生6PB天文图像数据；欧洲生物信息研究中心(EBI)基因序列数据库容量已达5PB；中国深圳华大基因研究所成为全世界最大测序中心，每天产生300GB基因序列数据（每年100TB）为什么需要并行计算？为什么需要并行计算？应用领域计算规模和复杂度大幅提高应用领域计算规模和复杂度大幅提高超大的计算量/计算复杂度用SGI工作站进行电影渲染时，每帧一

12、般需要12小时一部2小时的电影渲染需要：2小时x3600秒x24帧x(12小时)/24小时=2040年!特殊场景每帧可能需要60个小时(影片“星舰骑兵”中数千只蜘蛛爬行的场面),用横向4096象素分辨率进行渲染时，如果以每帧60个小时的速度，则1秒的放映量（24帧）需要60天的渲染时间,1分钟则需要100年！世界著名的数字工作室Digital Domain公司用了一年半的时间，使用了300多台SGI超级工作站，50多个特技师一天24小时轮流制作泰坦尼克号中的电脑特技为什么需要并行计算？为什么需要并行计算？解决方案解决方案?并行计算并行计算!SMPSMPClusterCloudMulticore

13、MulticoreManycoreManycore为什么需要并行计算？为什么需要并行计算？并行计算技术的发展趋势和影响并行计算技术的发展趋势和影响越来越多的研究和应用领域将需要使用并行计算技术 并行计算技术将渗透到每个计算应用领域，尤其是涉及到大规模数据和复杂计算的应用领域并行计算技术将对传统计算技术产生革命性的影响并行计算技术将影响传统计算技术的各个层面，与传统计算技术相互结合产生很多新的研究热点和课题：体系结构技术 操作系统、编译技术、数据库等系统软件技术 程序设计技术和方法 软件工程技术 图形图像和多媒体信息处理 人工智能 各种应用软件开发很多传统的串行算法和计算方法都将需要重新研究和设

14、计其并行化算法和计算方法；我系很多研究领域都明确需要基于并行计算技术进行研究为什么需要并行计算？为什么需要并行计算？为什么需要学习并行计算技术？为什么需要学习并行计算技术？软件开发/程序设计人员面临挑战！20-30年里程序设计技术的最大的革命是面向对象技术Therevolutioninmainstreamsoftwaredevelopmentfromstructuredprogrammingtoobject-orientedprogrammingwasthegreatestsuchchangeinthepast20to30years下一个程序设计技术的革命将是并行程序设计 Concurrenc

15、yisthenextmajorrevolutioninhowwewritesoftware今天绝大多数程序员不懂并行设计技术，就像15年前*绝大多数程序员不懂面向对象技术一样 Thevastmajorityofprogrammerstodaydontgrokconcurrency,justasthevastmajorityofprogrammers15yearsagodidntyetgrokobjects*March 2005，Cite from Herb Sutter,The Free Lunch Is Over-A Fundamental Turn Toward Concurrency i

16、n Software Dr.Dobbs Journal,30(3)Ch.1.并行计算技术简介并行计算技术简介1.1.为什么需要并行计算？为什么需要并行计算？2.2.并行计算技术的分类并行计算技术的分类3.3.并行计算的主要技术问题并行计算的主要技术问题4.4.MPIMPI并行程序设计并行程序设计5.5.为什么需要大规模数据并行处理？为什么需要大规模数据并行处理？2.2.并行计算技术的分类并行计算技术的分类 经过多年的发展，出现了不同类型的并行计算技术和系统，同时也存在不同的分类方法按数据和指令处理结构：弗林按数据和指令处理结构：弗林(Flynn)(Flynn)分类分类按并行类型按并行类型按存储

17、访问构架按存储访问构架按系统类型按系统类型按计算特征按计算特征按并行程序设计模型按并行程序设计模型/方法方法并行计算技术的分类并行计算技术的分类按数据和指令处理结构分类：弗林按数据和指令处理结构分类：弗林(Flynn)(Flynn)分类分类 1966年，斯坦福大学教授Flynn提出的经典的计算机结构分类，从最抽象的指令和数据处理结构的角度进行分类SISD：单指令单数据流 传统的单处理器串行处理SIMD：单指令多数据流 向量机，信号处理系统MISD：多指令单数据流 很少使用MIMD：多指令多数据流 最常用，TOP500 基本都属于MIMD类型弗林弗林(Flynn)(Flynn)分类分类SISDS

18、ISDMIMDMIMDSIMDSIMD并行计算技术的分类并行计算技术的分类Cite from Jimmy Lin,What is cloud computing,2008并行计算技术的分类并行计算技术的分类按并行类型分类按并行类型分类位级并行（Bit-LevelParallelism）指令级并行（ILP：Instruction-LevelParallelism）线程级并行（Thread-LevelParallelism）数据级并行：一个大的数据块划分为小块，分别由不同的处理器/线程处理任务级并行：一个大的计算任务划分为子任务分别由不同的处理器/线程来处理按存储访问结构分类按存储访问结构分类A.

19、共享内存(SharedMemory)所有处理器通过总线共享内存多核处理器，SMP也称为UMA结构(UniformMemoryAccess)B.分布共享存储体系结构各个处理器有本地存储器同时再共享一个全局的存储器C.分布式内存（DistributedMemory)各个处理器使用本地独立的存储器B和C也统称为NUMA结构(Non-UniformMemoryAccess)并行计算技术的分类并行计算技术的分类共享存储器总 线共享存储器MMMABC并行计算技术的分类并行计算技术的分类按系统类型分类按系统类型分类多核/众核并行计算系统MC(Multicore/Manycore)或Chip-levelmul

20、tiprocessing,CMP对称多处理系统SMP(SymmetricMultiprocessing)多个相同类型处理器通过总线连接并共享存储器大规模并行处理MPP(MassiveParallelProcessing)专用内联网连接一组处理器形成的一个计算系统集群（Cluster）网络连接的一组普通商用计算机构成的计算系统网格（Grid）用网络连接远距离分布的一组异构计算机构成的计算系统紧密耦合度松散低可扩展性高低能耗高并行计算技术的分类并行计算技术的分类按系统类型分类按系统类型分类l不同系统的特征和对比从MC到Grid，耦合度越来越低，但可扩展性越来越高，系统规模越来越大，而能耗也越来越高

21、MC处理器核通过NOC(片上网络)集成在一个芯片上，通常使用混合式内存访问机制(本地缓存加全局内存)，功耗很低SMP使用独立的处理器和共享内存，以总线结构互联，运行一个操作系统,定制成本高,难以扩充,规模较小(2-8处理器）MPP使用独立的处理器及独立的内存、OS，专用的高速内联网络，难以升级和扩充，规模中等(TOP500中有80多个)Cluster使用商品化的刀片或机架服务器，以网络互联为一个物理上紧密的计算系统，可扩展性强，规模可小可大，是目前高性能并行计算最常用的形式（TOP500中有400多个）Grid则为地理上广泛分布的异构计算资源构成的一个极为松散的计算系统，主要用于并行度很低的大

22、规模科学计算任务并行计算技术的分类并行计算技术的分类按计算特征分类按计算特征分类数据密集型并行计算(Data-IntensiveParallelComputing)数据量极大、但计算相对简单的并行处理如：大规模Web信息搜索计算密集型并行计算(Computation-IntensiveParallelComputing)数据量相对不是很大、但计算较为复杂的并行处理如：3-D建模与渲染，气象预报，科学计算数据密集与计算密集混合型并行计算兼具数据密集型和计算密集型特征的并行计算，如3D电影渲染并行计算技术的分类并行计算技术的分类按并行程序设计模型按并行程序设计模型/方法分类方法分类共享内存变量(S

23、haredMemoryVariables)多线程共享存储器变量方式进行并行程序设计,会引起数据不一致性,导致数据和资源访问冲突，需要引入同步控制机制;Pthread,OpenMP:共享内存式多处理并行编程接口消息传递方式(MessagePassing)对于分布式内存结构，为了分发数据和收集计算结果，需要在各个计算节点间进行数据通信，最常用的是消息传递方式；MPI：消息传递并行编程接口标准MapReduce方式Google公司提出的MapReduce并行程序设计模型，是目前最易于使用的并行程序设计方法，广泛使用于搜索引擎等大规模数据并行处理并行计算技术的分类并行计算技术的分类不同类型并行计算技术

24、和系统的发展历史和现状不同类型并行计算技术和系统的发展历史和现状主要发展历史阶段 1975-1985 主要是向量机技术，如Cray1,Cray2。但基于多线程的并行计算也逐步引入。1986-1995 大规模并行处理MPP成为主流并行计算技术,消息传递编程接口MPI得到开发应用。目前TOP500中有84个基于MPP。1995-现在 Cluster和Grid并行计算技术成为主流，但目前Grid的发展已呈下降趋势，目前TOP500中有414个基于Cluster。并行计算技术的分类并行计算技术的分类不同类型并行计算技术和系统的发展历史和现状不同类型并行计算技术和系统的发展历史和现状主要发展历史阶段并行

25、计算技术的分类并行计算技术的分类不同类型并行计算技术和系统的发展历史和现状不同类型并行计算技术和系统的发展历史和现状主要发展趋势SMP作为共享内存式小规模并行计算技术一直活跃60-70年代基于大型机的SMP系统，80年代基于80386/80486的SMP系统，90年代到目前基于多核的个人电脑、服务器大都基于SMP多核/众核并行计算成为重要发展趋势 由于单核处理器性能发展的瓶颈，同时由于多核/众核计算计算自身具有的体积小、功耗低等诸多技术特点和优势，今后多核/众核并行计算会称为必然趋势并行计算软件技术远远落后于硬件发展速度 并行计算硬件技术水平和规模发展迅速，但并行计算软件技术远远跟不上硬件发展

26、水平和速度，缺少有效的并行计算软件框架、编程模型和方法Ch.1.并行计算技术简介并行计算技术简介1.1.为什么需要并行计算？为什么需要并行计算？2.2.并行计算技术的分类并行计算技术的分类3.3.并行计算的主要技术问题并行计算的主要技术问题4.4.MPIMPI并行程序设计并行程序设计5.5.为什么需要大规模数据并行处理？为什么需要大规模数据并行处理？3.并行计算的主要技术问题并行计算的主要技术问题数据怎么存？怎么算？硬件构架软件构架并行算法3.并行计算的主要技术问题并行计算的主要技术问题依赖于所采用的并行计算体系结构，不同类型的并行计算系统，在硬件构架、软件构架和并行算法方面会涉及到不同的技术

27、问题，但概括起来，主要有以下技术问题：多核/多处理器网络互连结构技术 存储访问体系结构 分布式数据与文件管理 并行计算任务分解与算法设计 并行程序设计模型和方法 数据同步访问和通信控制 可靠性设计与容错技术 并行计算软件框架平台 系统性能评价和程序并行度评估并行计算的主要技术问题并行计算的主要技术问题多核多核/多处理器网络互连多处理器网络互连结构结构技术技术主要研究处理器间互联拓扑结构，尤其在包含大量处理器的并行计算系统中，需要具有良好的互联结构，以保证大量处理器能真正有效地协同工作，获得应有的并行计算效率。共享总线连接（SharedBus）交叉开关矩阵（CrossbarSwitch）环形结构

28、（Torus）Mesh网络结构（MeshNetwork）片上网络（NOC，Network-on-chip）并行计算的主要技术问题并行计算的主要技术问题存储存储访问访问体系结构体系结构主要研究不同的存储结构，以及在不同存储结构下的特定技术问题共享存储器体系结构(SharedMemory)共享数据访问与同步控制分布存储体系结构(DistributedMemory)数据通信控制和节点计算同步控制分布共享存储结构(DistributedSharedMemory)Cache的一致性问题数据访问/通信的时间延迟并行计算的主要技术问题并行计算的主要技术问题分布式数据与文件管理并行计算的一个重要问题是，在大规

29、模集群环境下，如何解决大数据块的存储和访问管理；尤其是数据密集型并行计算时，理想的情况是提供分布式数据与文件管理系统，如RedHatGFS(GlobalFileSystem)IBMGPFSSunLustreGoogleGFS(GoogleFileSystem)HadoopHDFS(HadoopDistributedFileSystem)并行计算的主要技术问题并行计算的主要技术问题并行计算任务的分解与算法设计并行计算任务的分解与算法设计 一个大型计算任务如何从数据上或者是计算方法上进行适当的划分，分解为一组子任务以便分配给各个节点进行并行处理，如何搜集各节点计算的局部结果 数据划分 如何将特大的

30、数据进行划分并分配给各节点进行处理。算法分解与设计 一个大的尤其是计算密集型的计算任务，首先需要寻找并确定其可并行计算的部分，然后进一步寻找好的分解算法：可把一个整体的算法纵向分解为一组并行的子任务，或者对于复杂的计算任务可横向分解为多个并行处理过程。并行计算的主要技术问题并行计算的主要技术问题并行程序设计模型和方法并行程序设计模型和方法 根据不同的硬件构架，不同的并行计算系统可能需要不同的并行程序设计模型、方法、语言和编译技术。并行程序设计模型和方法 共享内存式并行程序设计:为共享内存结构并行计算系统提供的程序设计方法,需提供数据访问同步控制机制(如互斥信号,锁等），典型的如Pthread,

31、OpenMP 消息传递式并行程序设计:为分布内存结构并行计算系统提供的、以消息传递方式完成节点间数据通信的程序设计方法 MapReduce并行程序设计:为解决前两者在并行程序设计上的缺陷，提供一个综合的编程框架，为程序员提供了一种简便易用的并行程序设计方法并行计算的主要技术问题并行计算的主要技术问题并行程序设计模型和方法并行程序设计模型和方法 并行程序设计语言 语言级扩充：使用宏指令在 普通的程序设计语言（如C语 言）上增加一些并行计算宏 指令，如OpenMP（提供C,C+,Fortran语言扩充，Linux&Windows）并行计算库函数与编程接口：使用函数库提供并行计算编程接口，如MPI(

32、消息传递接口)，CUDA(NVIDIA GPU)并行编译与优化技术 编译程序需要考虑编译时的自动化并行性处理，以及为提高计算性能进行并行计算优化处理int main(int argc,char*argv)const int N=100000;int i,aN;#pragma omp parallel for for(i=0;i 最大2倍75%=最大4倍90%=最大10倍95%=最大20倍Cite from http:/en.wikipedia.org/wiki/Amdahl%27s_lawCh.1.并行计算技术简介并行计算技术简介1.为什么需要并行计算？为什么需要并行计算？2.并行计算技术的分

33、类并行计算技术的分类3.并行计算的主要技术问题并行计算的主要技术问题4.MPI并行程序设计并行程序设计5.为什么需要大规模数据并行处理？为什么需要大规模数据并行处理？4.MPI4.MPI并行程序设计并行程序设计MPI简介简介lMessagePassingInterface，基于消息传递的高性能并行计算编程接口l在处理器间以消息传递方式进行数据通信和同步，以库函数形式为程序员提供了一组易于使用的编程接口。l93年由一组来自大学、国家实验室、高性能计算厂商发起组织和研究，94年公布了最早的版本MPI1.0，经过MPI1.1-1.3,目前版本MPI2.2,MPI3版本正在设计中l特点：提供可靠的、面

34、向消息的通信；在高性能科学计算领域广泛使用，适合于处理计算密集型的科学计算；独立于语言的编程规范，可移植性好MPIMPIMPIMPI并行程序设计并行程序设计并行程序设计并行程序设计开放领域/机构实现MPICH阿贡国家实验室和密西西比大学最早的完整最早的完整MPI标准实现标准实现.LAMOhioSupercomputercenterMPICH/NTMississippiStateUniversityMPI-FMIllinois(Myrinet)MPI-AMUCBerkeley(Myrinet)MPI-PMRWCP,Japan(Myrinet)MPI-CCLCaliforniaInstituteo

35、fTechnologyCRI/EPCCMPICrayResearchandEdinburghParallelComputingCentreMPI-APAustralianNationalUniversity-CAPResearchProgram(AP1000)W32MPIIllinois,ConcurrentSystemsRACE-MPIHughesAircraftCo.MPI-BIPINRIA,France(Myrinet)MPI实现版本实现版本厂商实现HP-MPIHewlettPackard;ConvexSPPMPI-FIBMSP1/SP2Hitachi/MPIHitachiSGI/MPI

36、SGIPowerChallengeseriesMPI/DENEC.INTEL/MPIIntel.Paragon(iCClib)T.MPITelmatMultinodeFujitsu/MPIFujitsuAP1000EPCC/MPICray&EPCC,T3D/T3E语言实现C/C+JavaPython.NETMPIMPI并行程序设计并行程序设计MPI主要功能主要功能用常规语言编程方式，所有节点运行同一个程序，但处理不同的数据提供点对点通信(Point-pointcommunication)l提供同步通信功能（阻塞通信）l提供异步通信功能（非阻塞通信）提供节点集合通信(Collectivecomm

37、unication)l提供一对多的广播通信l提供多节点计算同步控制l提供对结果的规约(Reduce)计算功能提供用户自定义的复合数据类型传输MPIMPI并行程序设计并行程序设计MPIMPI基本程序结构基本程序结构MPI程序头文件初始化MPI环境并行计算与通信关闭MPI环境#include main(int argc,char*argv)int numtasks,rank;MPI_Init(&argc,&argv);并行计算程序体 MPI_Finalize();exit(0);MPIMPI并行程序设计并行程序设计MPI并行程序设计接口并行程序设计接口基本编程接口MPI提供了6个最基本的编程接口，

38、理论上任何并行程序都可以通过这6个基本API实现1.MPI_Init(argc,argv):初始化MPI，开始MPI并行计算程序体2.MPI_Finalize:终止MPI并行计算3.MPI_Comm_Size(comm,size):确定指定范围内处理器/进程数目4.MPI_Comm_Rank(comm,rank):确定一个处理器/进程的标识号5.MPI_Send(buf,count,datatype,dest,tag,comm):发送一个消息6.MPI_Recv(buf,count,datatype,source,tag,comm,status):接受消息size:进程数，rank：指定进程的

39、IDcomm：指定一个通信组(communicator)Dest：目标进程号，source：源进程标识号，tag：消息标签MPIMPI并行程序设计并行程序设计MPI并行程序设计接口并行程序设计接口基本编程接口MPI并行计算初始化与结束任何一个MPI程序都要用MPIInit和MPIFinalize来指定并行计算开始和结束的地方；同时在运行时，这两个函数将完成MPI计算环境的初始化设置以及结束清理工作。处于两者之间的程序即被认为是并行化的，将在每个机器上被执行。#include#include main(int argc,char*argv)int numtasks,rank;MPI_Init(&

40、argc,&argv);printf(“Hello parallel world!n”);MPI_Finalize();exit(0);Hello parallel world!Hello parallel world!Hello parallel world!Hello parallel world!Hello parallel world!在一个有在一个有5个处理器的系统中，输出为个处理器的系统中，输出为MPIMPI并行程序设计并行程序设计MPI并行程序设计接口并行程序设计接口基本编程接口通信组（Communicator）为了在指定的范围内进行通信，可以将系统中的处理器划分为不同的通信组；

41、一个处理器可以同时参加多个通信组；MPI定义了一个最大的缺省通信组:MPI_COMM_WORLD，指明系统中所有的进程都参与通信。一个通信组中的总进程数可以由MPI_Comm_Size调用来确定。进程标识为了在通信时能准确指定一个特定的进程，需要为每个进程分配一个进程标识，一个通信组中每个进程标识号由系统自动编号（从0开始）；进程标识号可以由MPI_Comm_Rank调用来确定。MPIMPI并行程序设计并行程序设计MPI并行程序设计接口并行程序设计接口点对点通信同步通信：阻塞式通信，等待通信操作完成后才返回MPI_Send(buf,count,datatype,dest,tag,comm):发

42、送一个消息MPI_Recv(buf,count,datatype,source,tag,comm,status):接受消息同步通信时一定要等到通信操作完成，这会造成处理器空闲，因而可能导致系统效率下降，为此MPI提供异步通信功能异步通信：非阻塞式通信，不等待通信操作完成即返回MPI_ISend(buf,count,datatype,dest,tag,comm,request):异步发送MPI_IRecv(buf,count,datatype,source,tag,comm,status,request)异步接受消息MPI_Wait(request,status):等待非阻塞数据传输完成MPI_

43、Test(request,flag,status):检查是否异步数据传输确实完成MPIMPI并行程序设计并行程序设计MPIMPI编程示例编程示例简单MPI编程示例#include#include main(int argc,char*argv)int num,rk;MPI_Init(&argc,&argv);MPI_Comm_size(MPI_COMM_WORLD,&num);MPI_Comm_rank(MPI_COMM_WORLD,&rk);printf(Hello world from Process%d of%dn,rk,num);MPI_Finalize();Hello world f

44、rom Process 0 of 5Hello world from Process 1 of 5Hello world from Process 2 of 5Hello world from Process 3 of 5Hello world from Process 4 of 5MPIMPI并行程序设计并行程序设计MPI编程示例编程示例消息传递MPI编程示例1#include#includeintmain(intargc,char*argv)intmyid,numprocs,source;MPI_Statusstatus;charmessage100;MPI_Init(&argc,&arg

45、v);MPI_Comm_rank(MPI_COMM_WORLD,&myid);MPI_Comm_size(MPI_COMM_WORLD,&numprocs);if(myid！=0)/*其他进程，向0进程发送HelloWorld信息*/strcpy(message,“HelloWorld!”);MPI_Send(message,strlen(message)+1,MPI_CHAR,0,99,MPI_COMM_WORLD);else/*0进程负责从其他进程接受信息并输出*/for(source=1;source本地SqrtSum#3:data2,6,10,#4:data3,7,11,#0:Sqrt

46、Sum=各子进程的SqrtSumIamprocess1.Irecvtotal251dataitemsfromprocess0,andSqrtSum=111.11Iamprocess2.Irecvtotal251dataitemsfromprocess0,andSqrtSum=222.22Iamprocess3.Irecvtotal250dataitemsfromprocess0,andSqrtSum=333.33Iamprocess4.Irecvtotal250dataitemsfromprocess0,andSqrtSum=444.44Iamprocess0.Irecvtotal0datai

47、temsfromprocess0,andSqrtSum=1111.10MPIMPI并行程序设计并行程序设计MPIMPI编程示例编程示例消息传递MPI编程示例2#include#include#include#defineN=1002intmain(intargc,char*argv)intmyid,P,source,C=0；doubledataN,SqrtSum=0.0;MPI_Statusstatus;charmessage100;MPI_Init(&argc,&argv);MPI_Comm_rank(MPI_COMM_WORLD,&myid);MPI_Comm_size(MPI_COMM_

48、WORLD,&numprocs);-numprocs;/*数据分配时除去数据分配时除去0号主节点号主节点*/if(myid=0)/*0号主节点，主要负责数据分发和结果收集号主节点，主要负责数据分发和结果收集*/for(inti=0;iN;+i;)/*数据分发数据分发:0,*/MPI_Send(datai,1,MPI_DOUBLE,N%numprocs+1,1,MPI_COMM_WORLD);for(intsource=1;source=numprocs;+source;)/*结果收集结果收集*/MPI_Recv(&d,1,MPI_DOUBLE,source,99,MPI_COMM_WORLD,

49、&status);SqrtSum+=d;elsefor(i=0;iN;i=i+numprocs;)/*各子节点接受数据计算开平方，本地累加各子节点接受数据计算开平方，本地累加*/MPI_Recv(&d,1,MPI_DOUBLE,0,1,MPI_COMM_WORLD,&status);SqrtSum+=sqrt(d);MPI_Send(SqrtSum,1,MPI_DOUBLE,0,99,MPI_COMM_WORLD);/*本地累加结果送回主节点本地累加结果送回主节点*/printf(Iamprocess%d.Irecvtotal%dfromprocess0,andSqrtSum=%f.n,myi

50、d,C,SqrtSum);MPI_Finalize();MPIMPI并行程序设计并行程序设计MPI编程示例编程示例消息传递MPI编程示例3MonteCarlo方法计算圆周率MonteCarlo是一种随机抽样统计方法，可用于解决难以用数学公式计算结果的复杂问题的近似求解。设r取值为0.5，为了提高计算精度，需要计算尽量大的随机点数，我们考虑在一个并行系统中让每台机器都各自算一个，然后汇总求一个平均值作一个直径为2r的圆及其外切正方形，在其中随机产生n个点，落在圆内的点数记为m。根据概率理论，当随机点数足够大时，m与n的比值可近似看成是圆与正方形面积之比。故有：m/nxr2/(2r)2,4m/nM