2022年分布式与并行计算报告.docx
《2022年分布式与并行计算报告.docx》由会员分享,可在线阅读,更多相关《2022年分布式与并行计算报告.docx(8页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、精品学习资源并行运算技术及其应用简介XXXXX , XX , XXX 摘 要:并行运算是实现高性能运算的主要技术手段;在本文中从并行运算的进展历程开头介绍,总结了并行运算在进展过程中所面临的问题以及其进展历程中显现的重要技术;通过分析在当前比较常用的实现并行运算的框架和技术, 来对并行运算的现状进行阐述;常用的并行架构分为SMP多处理系统 、NUMA非统一内存储备、 MPP巨型并行处理以及集群;涉及并行运算的编程模型有MPI 、PVM 、OpenMP 、TBB 及 Cilk+ 等;并结合当前争论比较多的云运算和大数据来探讨并行运算的应用;最终通过 MPI 编程模型, 进行了并行编程的简洁试验;
2、关键词:并行运算;框架;编写模型;应用;试验A Succinct Survey about Parallel Computing Technology and ItsApplicationAbstract:Parallel computing is the main technology to implement high performance computing. This paper starts fromthe history of the development of Parallel Computing.It summarizes the problems faced in the
3、 development of parallel computing and the important technologies in the course of its development. Through the analysis of framework and technology commonly used in parallel computing currently,to explain the current situationof parallel computing.Framework commonly used in parallel are SMPmulti pr
4、ocessing system,NUMAnon uniform memory storage,MPPmassively parallel processing and cluster.The programming models of parallel computing are MPI, PVM, OpenMP, TBB and Cilk+,etc.Explored the application of parallel computing combined with cloud computing and big data which are very popular in current
5、 research.Finally ,through the MPI programming model,a simple experiment of parallel programming is carried out.Key words:parallel computing; framework; programming model; application; experiment1 引言近年来多核处理器的快速进展,使得当前软件技术面临庞大的挑战;单纯的提高单机性能,已经不能满足软件进展的需求,特殊是在处理一些大的运算问题上,单机性能更加显得不足;在最近AlphaGo 与李世石的围棋大战
6、中, AlphaGo 就使用了分布式并行运算技术,才能获得强大的搜寻运算才能;并行运算正是在这种背景下,应运而生;并行运算或称平行运算时相对于串行运算来说的;它是一种一次可执行多个指令的算法,目的是提高运算速度,及通过扩大问题求解规模,解决大型而复杂的运算问题;可分为时间上的并行和空间上的并行;时间上的并行就是指流水线技术,而空间上的并行就是指用多个处理器并发的执行运算;其中空间上的并行,也是本文主要的关注点;并行运算 Parallel Computing 是指同时使用多种运算资源解决运算问题的过程,是提高电脑系统运算速度和处理才能的一种有效手段;它的基本思想是用多个处理器来协同求解同一问题,
7、即将被求解的问题分 解成假设干个部分,各部分均由一个独立的处理机来并行运算;并行运算系统既可以是特地设计的,含有多 个处理器的超级电脑,也可以是以某种方式互联的假设干台的独立电脑构成的集群;通过并行运算集群完成 数据的处理,再将处理的结果返回给用户;目前常用的并行运算技术中,有调用系统函数启动多线程以及利用多种并行编程语言开发并行程序,常用的并行模型有 MPI 、PVM 、OpenMP、TBB 、Cilk+ 等;利用这些并行技术可以充分利用多核资源适应目前快速进展的社会需求;并行技术不仅要提高并行效率,也要在肯定程度上减轻软件开发人员负担,如近年来的 TBB 、Cilk+ 并行模型就在肯定程度
8、上削减了开发难度,提高了开发效率,使得并行软件开发人员把更多精力专心于如何提高算法本身效率,而非把时间和精力放在如何去并行一个算法;分布式与并行运算课程设计报告1欢迎下载精品学习资源文献1 回忆了并行运算技术六十多年的进展历史,并分析了其进展的将来趋势和所面临的可拓展性“墙”;文献2 对大规模 MPI 运算中,当前常用的容错机制和多模冗余带来的开销进行了分析,提出了一种可拓展三模冗余容错机制;文献 3 就阐述了并行运算和云运算之间的关系,并介绍了并行运算在云运算中运用的一些指导原就;文献 4 分析了在大数据时代,并行运算面临的挑战和基于,综述了面对批处理、面对流处理、面向图数据以及面对内存等几
9、类并行运算模型的相关争论;文献5 对并行运算模型进行了概述,介绍了抱负计算模型的特点,争论了一些典型的运算模型,综述了目前并行运算模型在异构运算环境的进展情形;文献6针对传统单一的并行运算模型变得越来越复杂,对并行运算个阶段针对性不强,提出了一种分层并行运算模 型的思想;文献 7 针对在专业集群中进行并行运算的处理,存在费用高、治理困难和操作复杂等问题,利用PC 和以太网相连的试验环境,采纳集群工作框架和并行运算的关键技术,提出基于Linux 集群的并行运算系统环境,并在该环境上对系统性能进行了测试;文献8 在 CPU/GPU 协同并行运算这一新兴领域,对当前的争论工作进行了综述; 依据所用运
10、算资源的规模将CPU/GPU 协同并行运算争论划分为三类, 尔后从立项依据、争论内容和争论方法等方面重点介绍了几个混合运算项目,并指出了可进一步争论的方向,以期为领域科学家进行协同并行运算争论供应肯定参考;文献9 中对图形处理器中的相关问题进行争论;提出了统一运算架构CUDA为实现 GPU通用运算供应了高效、简便的方法因此,建立了基于GPU通用运算平台的中心差分格式的显式有限元并行运算方法该方法针对 GPU运算的特点, 对串行算法的流程进行了优化和调整,通过采纳线程与单元或节点的一一映射策略,实现了迭代过程的完全并行化;2 并行运算进展的三个重要阶段并行运算是实现超高运算性能的主要技术手段,回
11、忆其进展的历史进程,可以看出并行运算的进展从整体上跨过了三个阶段;2.1 Amdahl 公式与适度并行早在二十世纪四十岁月中后期,现代电子电脑的鼻祖冯诺依曼就提出了用并行运算提高电脑性能的技术途径;所谓并行运算,就是采纳多个运算部件或多台电脑共同开展运算任务;理论上,并行多少台电脑就可以获得多少倍的运算速度, 但实际加速才能往往和应用特点亲密相关;1967 年,Amdahl 提出了闻名的运算性能加速比公式也称Amdahl 定律:欢迎下载精品学习资源STsATn1nf n11欢迎下载精品学习资源公式 1中的 Ts表示应用的串行版本程序的执行时间,f 表示应用中不能被并行化部分的工作量占整个欢迎下
12、载精品学习资源程序工作量的比率, n 表示并行系统的处理器数目;Tn 表示应用的并行版本程序和n 个处理器上的执行时间;欢迎下载精品学习资源这些概念和理论方面的基础争论极大地推动了适度并行运算技术的有用化;2.2 Gustafson公式与大规模并行80 岁月后期学术界绽开了一次很大的争论,大家对并行是否有前途众说纷坛,问题的焦点是能不能通过并行规模增大来连续提高电脑性能;1988 年,美国科学家Gustafson 在大量实际物理问题并行运算过程中总结了一个闻名公式,发表在Communication of ACM 上;这篇论文只有两页,但它揭示了一个规律,即Gustafson 通过他的应用实践发
13、觉,许多程序随着应用规模的扩大,程序中不能被并行化部分工作量的肯定量基本保持不变;而不能被并行化部分工作量占总工作量的相比照样f 会相应减小;基于这个规律,他提出了闻名的Gustafson 加速比公式:欢迎下载精品学习资源SfGTsn1f Tn2欢迎下载精品学习资源从公式可以得出,当f 随着运算规模扩大而不断缩小时,处理器数假如增多,一个程序的加速比仍是可以随着处理器的增多而提升的;这个公式不是一个精细的性能评估公式,而是一个思想性的公式,它揭示了 大规模并行的要旨:并行电脑的实际性能和它所运行的并行程序特点亲密相关;在大规模并行电脑上要取得 高有用运算性能,在其上运行的并行程序必需具有串行运
14、算负载保持不变,并行运算负载随着电脑规模的扩 大而扩大的特点,这样的程序通常成为可扩展并行程序;在提高大规模并行运算使用效率的过程中,能否设欢迎下载精品学习资源计出可扩展并行算法和可扩展并行程序,与大规模并行电脑系统的研制同等重要;2.3 效能评判模型与高效能并行高性能电脑应当向什么方向进展,2002 年美国国防部 DARPA 提出的“高效能运算系统HPCS” 方案,着眼于高性能向高效能的转变,认为高效能电脑系统不仅要关注很高的运算性能,仍要关注系统的实用性能、可编程性、可移植性、系统鲁棒性和经济可行性;于是基于经济学中产生率的概念和效用理论逐步取代了以往单一的运算性能评判模型;效能模型框架如
15、下:欢迎下载精品学习资源P, M ,T ,U U P,T 3欢迎下载精品学习资源C P, M ,T 其中, T 为问题 P 解决的时间 Time-to-solution , M 是并行电脑系统, U 为效用函数, C 为在系统 M 上 T 时间内解决问题 P 所投入的最小成本函数;该效能度量模型综合考虑了并行系统开发Development和运行 Execution 两种状态,将开发的时间和系统运行的时间统一到问题解决时间T 中;虽然,环绕这一公式标志着高性能电脑学术界、产业界对大规模并行电脑进展趋势产生了新的熟悉;3 并行编程模型并行编程可以调用系统函数启动多线程,也可以利用并行编程模型,如常
16、用的并行模型有MPI 、PVM 、OpenMP、TBB 及 Cilk+ 等;3.1 MPI 简介MPIMessage Passing Interface是基于消息传递的并行编程模型;消息传递指的是并行执行的各个进程具有自己独立的堆栈和代码段,作为互补相关的多个程序独立执行,进程之间的通信通过显式地调用通 信函数来完成;1MPI 程序基本函数 MPI_Init用来初始化 MPI 执行环境, 建立多个 MPI 进程之间的联系, 为后续通信做预备; MPI_Finalize就是终止 MPI 执行环境;这两个函数之间定义MPI程序的并行区域; MPI_Comm_rank来表示各个 MPI 进程; MP
17、I_Comn_size 用来表示进程组中有多少个进程,返回整型的错误值, 同时有两个函数参数, MPI_Comn类型的通信域,标识参加运算的MPI进程组,如 MPI_COMM_WOR整LD数; 指标,返回相应进程组中的进程数;( 2) MPI 性能分析与优化举例MPI 消息传递开销由两部分组成:一部分是通信固有的推迟;另一部分是消息传递开销,与消息的数据量和网络带宽有关;时间消耗可以用下面的式子表示:欢迎下载精品学习资源T TotalTcommTserial4欢迎下载精品学习资源欢迎下载精品学习资源其中, 下分解:TTotal、 Tcomm 、 Tserialn分别表示程序总用时、通信用时和串
18、行部分用时;而通信用时一般可作如m欢迎下载精品学习资源Tcommnt sBi / wTii 1TCii 15欢迎下载精品学习资源欢迎下载精品学习资源其中, n 为点对点通信次数, m为集群通信次数,t s 为通信固定推迟,Bi 为第 i 次通信的容量, w 为网欢迎下载精品学习资源欢迎下载精品学习资源络带环,Ti 为负载不平稳造成的时间消耗,TC 集群通信耗时;欢迎下载精品学习资源i( 3)解决负载均衡问题在并行运算中,假设各个处理器上的执行时间不同,因同步会使先完成的处理器等待未完成的处理器, 此时应当考虑负载均衡问题,是的资源得到合理利用;负载均衡分为:静态负载均衡及动态负载均衡;静态负载
19、均衡使用与运算前可以精确估算总的负载,且这些负载简洁平均划分给各个进程的情形;对于实现不知道负载总数,或者总负载不易平均划分的情形,需要动态负载均衡策略来解决;3.2 PVM 简介PVM 是一个在网络上的虚拟并行机系统的软件包,它答应将网络上基于UNIX 操作系统的并行机和单处欢迎下载精品学习资源理机的集合当成一台单一的并行虚拟机来使用;PVM 支持用户采纳消息传递方式编写并行程序;运算以任务为单位,一个任务就是一个UNIX 进程,每个任务都有一个taskid 来标识不同于进程号;PVM 支持在虚拟机中自动加载任务运行,任务间可以相互通讯以及同步,在PVM 系统中,一个任务呗加载到哪个节点上去
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 2022 年分 并行 计算 报告
限制150内