异构并行计算机容错技术研究.docx

《异构并行计算机容错技术研究.docx》由会员分享，可在线阅读，更多相关《异构并行计算机容错技术研究.docx（131页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、Study and Implementation of FaultTolerance for Heterogeneous ParallelComputerCandidate： Jia JiaSupervisor： Prof. Yang XuejunA dissertationSubmitted in partial fulHllment of the requirementsfor the degree of Doctor of Engineeringin Computer Science and TechnologyGraduate School of National University

2、 of Defense TechnologyChangsha, Hunan, P.R.ChinaSeptember, 2011独创性声明本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的 研究成果。尽我所知,除了文中特别加以标注和致谢的地方外,论文中不包含其 他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教 育机构的学位或证书而使用过的材料。与我同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示谢意。学位论文题目: 异构并行计算机容错技术研究学位论文作者签名:日期:年 月 日学位论文版权使用授权书本人完全了解国防科学技术大学有关保留、使用

3、学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文 档，允许论文被查阅和借阅;可以将学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密学位论文在解密后适用本授权书。）学位论文题目:异构并行计算机容错技术研究学位论文作者签名：日期： 年 月 日作者指导教师签名：日期:年 月 日目录摘要iAbstractiii第一章绪论11.1 课题背景11.1.1 异构并行计算机的兴起11.1.2 大规模并行系统的可靠性问题41.1.3 大规模异构并行计算机面临的可靠性挑战61.2 容错研究基础91.2.1

4、 容错基本概念91.2.2 故障类型101.2.3 故障模型111.3 相关研究工作111.3.1 容错常用方法111.3.2 Rollback-recovery 容错技术分析131.3.3 TMR容错技术分析141.3.4 Checkpointing 容错技术分析151.3.5 优化checkpoint的相关研究161.3.6 异构并行计算机现有容错方法171.4 本文主要研究内容181.5 本文主要工作和创新201.6 论文结构21第二章计算可接受模型232.1 面向一般计算系统的计算可接受模型232.2 面向异构并行计算系统的计算可接受模型252.3 容错机制对异构系统可接受度的影响27

5、2.3.1 带TMR异构系统可接受模型分析272.3.2 带C/R异构系统可接受模型分析302.4 本章小结33第三章基于异构系统故障传播行为分析的应用级checkpoint的数据量优化方法353.1 问题背景353.1.1 CG 调用353.1.2 CG调用流图373.1.3 异构系统故障传播与CG调用流图393.2 异构系统故障传播行为403.2.1 CG间故障传播413.2.2 G点内故障传播423.3 异构系统的应用级checkpoint数据优化方法453.3.1 基于故障传播行为的checkpoint数据分析453.3.2 Checkpoint 的位置选择473.4 实验评估493.

6、4.1 实验方法493.4.2 实验结果503.5 本章小结54第四章异构系统应用级checkpoint的优化设置研究554.1 问题背景554.1.1 异构系统程序特征分析554.1.2 问题提出574.2 全局checkpoint数据保存开销最小化问题584.2.1 场景一:基于同步机制的checkpoint优化设置584.2.2 场景二:基于异步机制的checkpoint优化设置654.2.3 Checkpoint数据保存偏移量设置优化问题714.3 实验评估734.3.1 实验方法734.3.2 实验结果744.4 本章小结76第五章面向GPU的多副本容错技术795.1 基于冗余线程的

7、GPU多副本容错技术的基本思想795.1.1 问题背景795.1.2 解决方案805.2 RB-TMR的设计和实现方法825.2.1 创建冗余代理835.2.2 基于RB-TMR机制的GPU Kernel的设计845.2.3 比较与投票87第II贝5.3 RB-TMR编译工具的设计与实现905.3.1 RB-TMR的编译实现框架 905.3.2 前端分析器915.3.3 数据流分析器915.3.4 代码重写器935.4 性能评估945.4.1 实验方法945.4.2 实验结果955.5 本章小结99第六章结论与展望1016.1 工作总结1016.2 研究展望102致谢103参考文献105作者在

8、学期间取得的学术成果117作者在学期间参加的科研项目119表 目 沃表 3.1 Checkpointing 的时间开销51表3.2 Checkpoint数据存储空间开销52表 4.1 Checkpoint 数量74表4.2 Checkpoint数据保存时间开销74表5.1无故障情况下带有三种容错机制的程序执行时间96攵、 冬冬冬图图图义、冬冬图图图冬冬图目录图1.1 TOP500中机器的处理器数目统计图2图1.2高性能计算机的性能发展趋势2图1.3 Intel处理器电源电压的变化趋势4图1.4 Top500前20台超级计算机系统的平均处理器核心数量5图1.5不同规模下系统的MTBF变化趋势6图

9、1.6处理器和存储器的性能增长速度四8图1.7故障、错误与失效三者的关系9图1.8容错方法分类13图1.9基本TMR系统结构14图 1.10Checkpointing 技术15图2.1计算可接受模型的概念体系23图2.2多次执行下程序运行结果的可接受24图2.3异构并行系统上的程序执行262.4 TMR容错示意图28GPU TMR2.5 DA -DA, 的变化曲线292.6 带TMR系统单次执行与该系统多次执行可接受比较302.7 C/R容错示意图312.8 带C/R系统单次执行与该系统多次执行可接受比较333.1 同构与异构系统算法执行流程363.2 CUDA上的矩阵乘算法363.3 SWI

10、M异构系统CG调用流图 383.4 CG间的数据传播393.5 G点内故障传递 433.6 G点内故障影响集求解算法453.7 CUDA 上的 Checkpointing 流程463.8 一般算法的基本思想483.9 选择合适的checkpoint位置的一般算法483.10 无CPU-GPU传输状态checkpointing的执行时间增加比 513.11时间开销减少百分比52图3.12 有CPU-GPU传输状态checkpointing的优化收益 53图4.1异构系统体系结构5611 4.2 异相系统矩阵乘算法流程戻图4.3同步执行checkpointing的流程59图 4.4 同步设置 CP

11、U-GPU 端 checkpoint60图4.5C_Struct的数据结构61图4.6同步机制Checkpoint间隔与程序的期望执行时间“5。162图4.7模型(4.3)的求解算法64图4.8 异步执行checkpointing的流程65图 4.9 异步设置 CPU-GPU 端 checkpoint66图4.10异步机制checkpoint间隔与程序的期望执行时间69图4.11模型(4.12)的求解算法71图4.12 偏移量中的checkpoint位置选取72佟1 4,13 一次同步与异步checkpointing时间开销75图4.14同步与异步设置下全局checkpointing时间开销7

12、5图5.1两种容错方法81图5.2 个异构程序及对应的RB-TMR容错版本82图5.3 个Kernel的线程组织方式83图5.4单GPU时的冗余代理线程组织方式83图5.5多GPU时的冗余代理线程组织方式84图5.6 重设计的Kernel代码85图5.7 个异构程序示例86图5.8 多GPU的RB-TMR机制的示例代码87图5.9 TMR与RB-TMR比较投票机制流程88图5.10 多GPU的RB-TMR机制的示例代码89图5.11比较与投票算法90图 5.12 TriKerneling 的框架图91图5.13矩阵乘的CUDA程序92图5.14矩阵乘CUDA程序的控制流图93图5.15 RB-

13、TMR程序对比checkpointing程序的平均回滚次数96图5.16 RB-TMR程序对比checkpointing程序的执行时间97图5.17 RB-TMR程序对比TMR程序的执行时间97图 5.18 RB-TMR 对比 checkpointing 的容错开销98图5.19 RB-TMR对比TMR的容错开销98摘要并行计算是实现超高性能计算的主要技术手段。当前,随着GPGPU性能的不 断提高,利用CPU和GPU构建的异构并行系统已经成为高性能计算机领域的研 究热点。然而随着并行计算系统规模的不断增长,高性能计算机面临严峻的挑战。 由于异构并行系统更为复杂的体系结构以及其特有的性质,且商用

14、GPGPU容错能 较弱,所以由CPU和GPU构建的大规模异构并行系统的可靠性问题更为尖锐, 尚缺乏实用的容错手段。本文针对异构并行计算机的容错技术展开研究,以异构并行系统硬件故障在 软件中的传播行为为理论基础,对应用级checkpointing技术的保存数据量优化问 题进行研究;分析了异构并行系统多checkpoint的全局开销最优化问题，并提出了 设置方案;同时,针对异构并行系统提出了一种新的面向GPU的多副本容错技术 RB-TMR,并对其所具备的关键机制进行了详细的研究与设计实现。本文的主要贡 献如下:1、提出了一种面向一般计算系统的计算可接受模型。建立程序的执行结果可 接受以及可接受度的

15、定义,并进步定义程序多次执行的可接受和多次执行的可 接受度，以此为基础得到可接受度的相关定理和推论。针对异构并行系统将可接 受度的相关定理和推论进行了扩展,并建立异构并行系统的可接受模型，同时进 步案例分析两种常见的容错技术checkpoint/restart和TMR应用到异构并行系统 上时,对可接受模型的影响，从而给出容错机制的指导意见和优化方法。2、基于过程间相关性理论，提出了由CPU和GPU构成的异构并行系统中硬 件故障在软件中传播行为描述方法,我们称其为故障传播模型。同时,根据故障 传播模型,设计了针对该系统的checkpointing机制,并针对影响checkpoint/restar

16、t 开销的主要问题之checkpoint保存数据量进行了优化。实验证明该优化方法可以有效的减小开销，提高容错性能。3、深入研究了面向异构并行系统的多个checkpoint的全局开销最小化问题, 提出了面向异构并行系统的同步及异步两种机制的多checkpoint全局开销最小化 的优化设置方法。首先提出了两个针对优化设置多个checkpoint位置的基本问题。 然后通过对异构并行系统体系结构和程序特性的分析,提出了基于两种机制的异 构并行系统的多checkpoint设置方法;同步及异步机制的checkpoint设置方法。同 时,根据checkpoint优化设置的两个具体问题分别对这两种机制进行优化

17、设置分析 和数学建模，并给出了相应的求解算法。4、提出了一种回滚机制与TMR技术相结合的容错技术RB-TMR。这技术 可以有效应对fail-stop故障与瞬时故障两种类型的故障进行容错,我们给出了这一技术的实现方法,并针对异构并行系统体系结构及程序模型的特征对其中关键机 制的设计进行了具体分析和讨论。同时,设计并实现了一个面向RB-TMR机制的 源到源编译辅助工具,可以辅助用户面向CUDA程序完成RB-TMR机制的实现, 减轻了用户实现RB-TMR机制的负担。实验结果表明RB-TMR技术能够实现较高 的错误检出和纠正率,有效减小可能需要回滚恢复的概率,根据综合评定,其相 对于传统checkpo

18、inting及TMR技术有更好的容错性能。关键词:高性能计算;异构并行计算机;容错;可接受;应用级checkpointing； 过程间相关性;故障传播行为第ii贝AbstractParallel computing is a major ultra-high-performance computing technology. As the performance of GPGPU (General Purpose computation on Graphic Processing Units) keeps improving, heterogeneous parallel systems bu

19、ilt based on CPU and GPU become a hot research field of high-performance computers. However, with the increase of the parallel computing system size, high-performance computers encounter serious challenges. Due to more complicated architecture and unique features of heterogeneous parallel systems an

20、d weak fault-tolerance of GPGPU, large scale heterogeneous parallel systems built based on CPU and GPU undergoes an acute reliability issue, which is lack of practical means.This paper studies the fault-tolerance technique of heterogeneous parallel systems. Based on the propagation behaviors of hard

21、ware error that propagates in software in heterogeneous parallel systems, this paper optimizes checkpoint size of applicationlevel checkpointing, optimizes the global overhead of multiple checkpoints in heterogeneous parallel systems and proposes configuration solution, and explores a GPU-oriented m

22、ulti-copies fault tolerance technique (RB-TMR). The main contributions of the paper are summarized as follows:1. A general computer oriented acceptance model is proposed. The acceptance and its degree of program results and multiple times of program execution are first defined. Based on them, theore

23、ms and corollaries regarding acceptance degree are obtained. This paper extends the theorems and corollaries in heterogeneous parallel systems and establishes the acceptance model of heterogeneous parallel systems. Cases are used to analyze the effect of two common fault-tolerance techniques (checkp

24、oint/restart and TMR) on the acceptance model when the two techniques are applied in heterogeneous parallel systems. Therefore, constructive suggestions and optimization methods for fault-tolerance mechanism are obtained.2. Based on the theory about inter-procedural dependence, a method named error

25、propagation model is proposed. It describes the prorogation behavior of hardware error in software in CPU-GPU heterogeneous parallel systems. Using this model, the systems checkpointing mechanism is designed and the checkpoint size is optimized. Experimental results show that this method can effecti

26、vely reduce the overhead and improve the fault tolerance performance.3. In order to minimize the global overhead of multiple checkpoints, this paper proposes a placement optimization method for both synchronization and asynchronization mechanisms in heterogeneous parallel systems. First of all, two

27、essential issues of placement optimization of multiple checkpoint locations are proposed. Secondly, based on the analysis of architecture and program features, two methods of国防科学技术大学研究生院博士学位论文 checkpoint placement in heterogeneous parallel systems are proposed: synchronous checkpoint placement and a

28、synchronous checkpoint placement). Further, for the two issues, the two methods are analyzed and modeled and their solution algorithms are given.4. A fault-tolerance technique (RB-TMR) combining rollback mechanism and TMR technique is proposed. It can effectively offer fault-tolerance for fail-stop

29、fault and transient fault. We implement this technique according to architecture and program features of heterogeneous parallel systems. Besides, a source-to-source compile assistant tool is designed for the RB-TMR technique. The tool can assist users in implementing the RB-TMR technique in CUDA pro

30、grams, alleviating their burdens. Experimental results exhibit that the RB-TMR technique can achieve high error checking and correction rate as well as decreases the probability of rollback. It is concluded that the RB-TMR technique demonstrates better fault-tolerance performance than the convention

31、al checkpointing and TMR technique.Key words： High-performance computing, heterogeneous parallel systems, fault-tolerance, acceptance, application-level checkpointing, inter-procedural dependence, fault propagation behavior第一章绪论1.1 课题背景大规模科学计算一直是推动高性能计算机迅速发展的主要动。今天的科学 家更加依赖于高性能计算机来处理空前庞大的数据集以及实现空前复杂

32、的模拟仿 真。当前,随着 GPGPU (General Purpose computation on Graphic Processing Units) “性能的不断提高,利用CPU和GPU (Graphics Processing Units)构建的异构系 统已经成为高性能计算机领域的研究热点,我国首台千万亿次计算机天河 (Tianhe-1A)就是一个典型案例。另方面,随着并行计算系统规模的不断增长，系统可靠性越来越低，已成为并行计算向大规模扩展的个不容忽视的制约因素。由于商用GPGPU容错能力 较弱,所以由CPU和GPU构建的大规模异构并行系统的可靠性问题更为尖锐， 尚缺乏实用的容错手段。

33、因此,对于面向异构并行计算机的容错技术研究也变得 尤为重要。1.1.1 异构并行计算机的兴起随着计算机技术的高速发展,高性能计算机已成为基础科学领域研究中必不 可少的工具。当前,高性能计算可用于解决国防建设和经济发展中重大应用问题 的基础性、前瞻性与战略性关键技术,广泛应用于核武器研究、生物信息技术、 医疗和新药研究、计算化学、GIS、CAE、气象预报、业设计以及环境保护等与 国家安全和国民经济密切相关的各个领域。随着竞争的加剧和应用的普及，高性能计算技术已从少数军工部门和国家实 验室普遍进入到各大公司、企业和院校。科学研究、工业制造和商业活动中越来 越多地使用高性能计算机来解决实际问题。日本

34、政府于2007年启动了一项超长期 天气预报计划。借助于日本海洋科学技术中心横浜研究所的“地球模拟器(Earth Simulator) w 对未来30年内可能发生的台风、暴风雪、干旱以及其它恶劣天气 进行预测。计算结果可以帮助政府提前采取应对灾害天气的相应措施，减小经济 损失。美国GM、GE、日本Nissan等著名大公司拥有总计算能力超过10万亿次的 高性能计算机用于新产品的研发。Google公司一直在努力争取使用户的请求可以 在0.5秒内处理完成叫 为了实现这一目标，Google公司开发了一个大规模的集 群系统Google clustero在2003年初,Google cluster就拥有了超

35、过30,000个处理 器,并且仍在不断扩展规模以提高性能此近年来,随着高性能计算技术的普遍应用,高性能计算机的发展呈现出两大趋势:是广泛使用通用的、低成本的商用器件(Commerical off-the-shelf, COTS), 以缩短研制周期和降低研制成本;二是系统规模持续增长,以满足科研和生产活 动对更高计算能力的不断追求。图1.!显示了近6年来Top500中机器的处理器数 目统计情况,由此可见高性能计算机包含的处理器数在不断增加。但同时,低可 靠的COTS器件的广泛使用降低了高性能计算机各结点的可靠性，也降低了系统 的整体可靠性;而系统规模的大幅增长则会显著降低系统的平均故障间隔时间(

36、Mean Time Between Failures, MTBF) 图!.1 TOP500中机器的处理器数目统计图图1.2高性能计算机的性能发展趋势为满足高性能计算领域日益攀升的计算需求,高性能计算机系统的规模不 断增大,峰值计算速度不断提高。超级计算机的峰值计算速度基本遵循一千倍”定 律，即每十年系统性能提升1000倍。目前超级计算机已经突破千万亿次大关,正 在向百万万亿次系统迈进。图1.2给出了 Top500中的高性能计算机从1993年一 直到2011年的性能发展情况以及未来的趋势。可以看到,无论排名第一还是最后 一名,其发展情况都是样的,其中当前排名第一的日本计算机“京”的峰值 性能已经

37、达到了 8.162Pflop/s,而到2019年,这数值将达到1 Eflop/s,是当前最 快计算机的1000倍。就目前看来这是极为惊人的数字,但是按照以往的发展趋势 来看,这预测毫不为过。由于高性能计算领域中处理器制程、架构技术、多核技术、节能技术、软件优 化技术的高速发展,以及各大厂商对于高新产品不遗余力的快速部署与应用，使 得现今的高性能计算正在以更快的速度发展。近10年以来,微处理器已经逐渐从 依靠提高处理器频率转向增加处理器并行度的方式来获得持续的性能提升。自 2000年以来,处理器频率发展十分缓慢,取而代之的是处理器核数量的增加，以 此维持微处理器继续沿摩尔定律发展。因此，以CEL

38、L网、Clearspeed和GPU101 为代表的众核体系结构应运而生。与多核微处理器相比,众核体系结构将更多的 晶体管应用于计算单元,有效提高了芯片的性能功耗比;与此同时,众核体系结 构具有相对简单的控制逻辑，因此通常作为通用微处理器的加速部件,以提高典 型科学计算应用的计算速度。近年来，在各种新的架构及加速部件飞速兴起和发展的同时,GPU也得到了 高速的发展。由于GPU适合于并行数值计算的特性,使得高性能计算领域对其 直看好,而在此基础上发展起来的GPGPU更是由于强大的并行处理能力和可编程 流水线,使得其在面对单指令流多数据流（SIMD）且数据处理的运算量要远大于 数据调度和传输的需求时

39、,能够取得远超传统CPU的性能。由此而发展起来的由 CPU和GPU构建的异构并行计算机也受到越来越多研究者的关注。事实上,利用 GPU的计算能力进行高性能计算的异构并行计算机已经受到绝大多数科学领域的 研究人员的青睐,包括大气模型,高能量物理,宇宙学,量子化学,分子动力学, 甚至药物设计】。当前,随着异构并行处理思想的逐渐成熟以及异构并行体系结构技术的发展, 国际上越来越多的异构并行系统涌现出来。HP、IBM、Cray等各大厂商都纷纷推 出了自己的异构并行计算机,我国的异构并行计算机也在这次高性能计算机系统 发展的研究热潮中脱颖而出。由国防科学技术大学研制的天河一号高性能计算机 系统荣登201

40、0年11月Top500排名之首,实现了我国千万亿次高性能计算机零的 突破;此外，由曙光公司研制的星云系统在Top500中位列第三,这两台高性能计 算机系统的发布极大地提高了我国在国际高性能计算领域的地位。而在最新发布 的2011年Top500排名中,前五台超级计算机中有三台都是采用了异构并行体系 结构模型。可以看出,异构并行系统作为种新兴的体系结构,逐渐被越来越多 的高性能计算研究机构采纳,其高效能优势将有力推动高性能计算的发展。最后需要说明的是，文章在后面章节中出现的异构系统是我们对于由CPU和 GPU构建的异构并行系统的简称，与异构并行计算机和异构并行系统的概念是相 同的。1.1.2 大规

41、模并行系统的可靠性问题可靠性是高性能计算领域的经典问题之一。随着高性能计算在应用领域的逐 渐普及和发展,以及大规模并行系统规模的不断扩大,提高可靠性的需求越来越 迫切;而高性能计算机所呈现出的发展趋势则使得可靠性问题面临着更加严峻的 挑战。1.1.2.1 微处理器的可靠性问题目前,微处理器芯片制造工艺已经达到数十纳米的量级,例如Intel公布的32纳米Corei3, i5, i7处理器和AMD公布的45纳米Phenom处理器口支 随着 集成电路的特征尺寸不断减小,工作频率不断提高,芯片的供电电压也在不断降 低,图1.3显示了 !ntel处理器供电电压逐年降低的情况L图1.3 Intel处理器电

42、源电压的变化趋势( 3610 A_ddns工作电压低意味着保持稳定的逻辑状态所需要的电量少,也就是说逻辑状态 翻转所需要的电量少,根据文献16,在目前的工艺水平下,逻辑状态翻转所需要 的电量已经达到了若干个飞库这量级。因此随着集成电路特征尺寸的减小、电 源电压的降低和频率的升高，微处理器对各种电磁场、辐射源等外界环境的干扰 将更加敏感，并可能引发错误的操作,导致了微处理器的故障发生率不断攀升, 微处理器的可靠性不断降低另一方面,微处理器的功耗密度在不断增加,功耗密度每18-24月增加一倍, 这称为功耗的摩尔定律“久功耗密度的增加使得热量对系统可靠性的影响加剧; 改善的工艺往往采用更低的供电电压

43、,这会导致切换电流的噪声影响恶化。这些 因素都会影响系统部件的可靠性,从而进步影响了系统的可靠性。系统部件的 温度在不断上升,一般来说,在2C基础上,温度每升高10C,系统的失效率就 会提高一倍明1.1.2.2 系统规模扩大对可靠性的影响直到目前为止,提高计算机性能的主要手段仍是增加处理器数目。图1.4给岀 了 2000年以来Top500前20台超级计算机的处理器数目平均值。由此可见,高性 能计算机的规模在迅速扩大。当前世界上最快也是规模最大的计算机,日本的“京” 由68544个SPARC64VHIfx处理器组成,每个处理器均内置8个内核,总内核数 量高达548,352个】。而排在第20名的C

44、ray XE6,其处理器核心数也达到了 42,712 从可靠性理论的角度看,如果单个部件的可靠性是固定的,那么在没有额外容错 措施的情况下,构成系统的部件越多系统的可靠性就会越低。160000140000120000100000800006000040000200000图1.4 Top500前20台超级计算机系统的平均处理器核心数量图1.5给出了在单结点可靠度R=0.99999的情况下,根据图1.4中的节点数量 计算而得出的系统MTBF时间。MTBF的计算公式为:MTBF -Rn其中N为节点数量。由图1.5中可以看出,系统的MTBF随系统规模的增大, 降低幅度也很大,在处理器规模为148933

45、时,MTBF只有1.3小时左右。图1.5不同规模下系统的MTBF变化趋势相关数据显示,当一台大规模的!BM/LLNL ASCI White系统在持续运行过程 中,其MTBF最多不超过40个小时1电,而一台拥有8000个节点的Google集群系 统,其单节点失效率达到了 2-3%/年那么换种说法,其MTBF也仅仅为36 小时】。可见,系统规模的急剧扩大必将导致系统的平均故障时间间隔(MTBF)大 幅降低。另一方面,目前的科学计算程序往往需要连续运行几天甚至几个月，例如Blue Gene上的蛋白质折叠(protein-folding)程序需要运行好几个月,科学计算程序难以 在大规模系统上正确地完成

46、计算。所以,可靠性问题已成为高性能计算机发展的 重大挑战之一。Petaflop规模的计算的成功取决于大规模系统可靠性技术的发展， 如何确保其上运行的科学计算程序能够正确地完成是大规模计算机系统必须解决 的重大问题之一22,231。1.1.3 大规模异构并行计算机面临的可靠性挑战异构并行计算机由于具有强大的GPU并行处理能力,使其与传统的同构系统 相比拥有更高的并行计算性能。然而由于其更为复杂的架构、更高的功耗和不同 于目前已经比较成熟的同构系统计算机的编程模型,使得异构并行计算机面临更 多方面的问题。与大规模并行系统所面临的可靠性问题相同,由于商用GPU的可靠性相比通 用处理器来说更低,因此异

47、构并行计算机的可靠性问题也更为严峻。虽然GPU拥 有超越CPU的强大计算能力,但是它并不能取代CPU来处理一些一般事务性的应 用。一般的异构系统由CPU和GPU组成,它们之间通过PCI-E总线相连,各自 的存储系统可以通过DMA操作来进行大块的数据传输。当个异构程序在异构系 统上运行时,CPU和GPU之间是种主从关系,CPU负责主控程序的执行,以调 用的方式启动GPU进行异步运算,同时与GPU进行通信;GPU响应CPU发起的 调用,并完成计算。可见,异构并行计算机在体系结构上相对于传统的同构计算 机更为复杂，而这种体系结构所具有的特性也为其带来了许多新的问题。因此对 于异构并行计算机而言,所需考虑的可能会影响其可靠性的因素也必然更多。编程复杂引发的可靠性问题异构并行系统的出现进步增加了大规模并行系统编程难度陰旬,由于异构并行系统集成有多种类型的处理器,而不同类型的处理器可能具有不同的体系结构 抽象层次，因此异构混合编程模型成为当前异构并行系统编程的主要方式。通常, 异构混合编程模型融