异构并行计算机容错技术研究.pdf

《异构并行计算机容错技术研究.pdf》由会员分享，可在线阅读，更多相关《异构并行计算机容错技术研究.pdf（134页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、Study and Implementation of FaultTolerance for Heterogeneous ParallelComputerCandidate：Jia JiaSupervisor：Prof.Yang XuejunA dissertationSubmitted in partial fulfillment of the requirementsfor the degree of Doctor of Engineeringin Computer Science and TechnologyGraduate School of National University o

2、f Defense TechnologyChangsha,Hunan,P.R.ChinaSeptember,2011独 创 性 声 明 本 人 声 明 所 呈 交 的 学 位 论 文 是 我 本 人 在 导 师 指 导 下 进 行 的 研 究 工 作 及 取 得 的 研 究 成 果。尽 我 所 知，除 了 文 中 特 别 加 以 标 注 和 致 谢 的 地 方 外，论 文 中 不 包 含 其 他 人 已 经 发 表 和 撰 写 过 的 研 究 成 果，也 不 包 含 为 获 得 国 防 科 学 技 术 大 学 或 其 它 教 育 机 构 的 学 位 或 证 书 而 使 用 过 的 材 料。与

3、我 一 同 工 作 的 同 志 对 本 研 究 所 做 的 任 何 贡 献 均 已 在 论 文 中 作 了 明 确 的 说 明 并 表 示 谢 意。学 位 论 文 题 目：异 构 并 行 计 算 机 容 错 技 术 研 究 _学 位 论 文 作 者 签 名：日 期：年 月 日 学 位 论 文 版 权 使 用 授 权 书 本 人 完 全 了 解 国 防 科 学 技 术 大 学 有 关 保 留、使 用 学 位 论 文 的 规 定。本 人 授 权 国 防 科 学 技 术 大 学 可 以 保 留 并 向 国 家 有 关 部 门 或 机 构 送 交 论 文 的 复 印 件 和 电 子 文 档，允 许 论

4、 文 被 查 阅 和 借 阅；可 以 将 学 位 论 文 的 全 部 或 部 分 内 容 编 入 有 关 数 据 库 进 行 检 索，可 以 采 用 影 印、缩 印 或 扫 描 等 复 制 手 段 保 存、汇 编 学 位 论 文。（保 密 学 位 论 文 在 解 密 后 适 用 本 授 权 书。）学 位 论 文 题 目：异 构 并 行 计 算 机 容 错 技 术 研 究 学 位 论 文 作 者 签 名：日 期：年 月 日 作 者 指 导 教 师 签 名：日 期：年 月 日国 防 科 学 技 术 大 学 研 究 生 院 博 士 学 位 论 文 目 录 摘 要.iAbstract.iii第 一 章

5、 绪 论.11.1 课 题 背 景.11.1.1 异 构 并 行 计 算 机 的 兴 起.11.1.2 大 规 模 并 行 系 统 的 可 靠 性 问 题.41.1.3 大 规 模 异 构 并 行 计 算 机 面 临 的 可 靠 性 挑 战.61.2 容 错 研 究 基 础.91.2.1 容 错 基 本 概 念.91.2.2 故 障 类 型.101.2.3 故 障 模 型.111.3 相 关 研 究 工 作.111.3.1 容 错 常 用 方 法.111.3.2 Rollback-recovery 容 错 技 术 分 析.131.3.3 T M R容 错 技 术 分 析.141.3.4 Che

6、ckpointing 容 错 技 术 分 析.151.3.5 优 化 checkpoint的 相 关 研 究.161.3.6 异 构 并 行 计 算 机 现 有 容 错 方 法.171.4 本 文 主 要 研 究 内 容.181.5 本 文 主 要 工 作 和 创 新.201.6 论 文 结 构.21第 二 章 计 算 可 接 受 模 型.232.1 面 向 一 般 计 算 系 统 的 计 算 可 接 受 模 型.232.2 面 向 异 构 并 行 计 算 系 统 的 计 算 可 接 受 模 型.252.3 容 错 机 制 对 异 构 系 统 可 接 受 度 的 影 响.272.3.1 带 T

7、 M R异 构 系 统 可 接 受 模 型 分 析.272.3.2 带 C/R异 构 系 统 可 接 受 模 型 分 析.302.4 本 章 小 结.33第 三 章 基 于 异 构 系 统 故 障 传 播 行 为 分 析 的 应 用 级 checkpoint的 数 据 量 优 化 方 法.35第 I 贝国 防 科 学 技 术 大 学 研 究 生 院 博 士 学 位 论 文 3.1 问 题 背 景.353.1.1 CG 调 用.353.1.2 C G调 用 流 图.373.1.3 异 构 系 统 故 障 传 播 与 C G调 用 流 图.393.2 异 构 系 统 故 障 传 播 行 为.403

8、.2.1 C G间 故 障 传 播.413.2.2 G 点 内 故 障 传 播.423.3 异 构 系 统 的 应 用 级 checkpoint数 据 优 化 方 法.453.3.1 基 于 故 障 传 播 行 为 的 checkpoint数 据 分 析.453.3.2 Checkpoint 的 位 置 选 择.473.4 实 验 评 估.493.4.1 实 验 方 法.493.4.2 实 验 结 果.503.5 本 章 小 结.54第 四 章 异 构 系 统 应 用 级 checkpoint的 优 化 设 置 研 究.554.1 问 题 背 景.554.1.1 异 构 系 统 程 序 特 征

9、 分 析.554.1.2 问 题 提 出.574.2 全 局 checkpoint数 据 保 存 开 销 最 小 化 问 题.584.2.1 场 景 一：基 于 同 步 机 制 的 checkpoint优 化 设 置.584.2.2 场 景 二：基 于 异 步 机 制 的 checkpoint优 化 设 置.654.2.3 Checkpoint数 据 保 存 偏 移 量 设 置 优 化 问 题.714.3 实 验 评 估.734.3.1 实 验 方 法.734.3.2 实 验 结 果.744.4 本 章 小 结.76第 五 章 面 向 G P U的 多 副 本 容 错 技 术.795.1 基

10、于 冗 余 线 程 的 GPU多 副 本 容 错 技 术 的 基 本 思 想.795.1.1 问 题 背 景.795.1.2 解 决 方 案.805.2 RB-TMR的 设 计 和 实 现 方 法.825.2.1 创 建 冗 余 代 理.835.2.2 基 于 RB-TMR机 制 的 GPU Kernel的 设 计.845.2.3 比 较 与 投 票.87第 I I 贝国 防 科 学 技 术 大 学 研 究 生 院 博 士 学 位 论 文 5.3 RB-TMR编 译 工 具 的 设 计 与 实 现.905.3.1 RB-TMR的 编 译 实 现 框 架.905.3.2 前 端 分 析 器.91

11、5.3.3 数 据 流 分 析 器.915.3.4 代 码 重 写 器.935.4 性 能 评 估.945.4.1 实 验 方 法.945.4.2 实 验 结 果.955.5 本 章 小 结.99第 六 章 结 论 与 展 望.1016.1 工 作 总 结.1016.2 研 究 展 望.102致 谢.103参 考 文 献.105作 者 在 学 期 间 取 得 的 学 术 成 果.117作 者 在 学 期 间 参 加 的 科 研 项 目.119第 3 页国 防 科 学 技 术 大 学 研 究 生 院 博 士 学 位 论 文 表 目 录 表 3.1 Checkpointing 的 时 间 开 销.

12、51表 3.2 Checkpoint数 据 存 储 空 间 开 销.52表 4.1 Checkpoint 数 量.74表 4.2 Checkpoint数 据 保 存 时 间 开 销.74表 5.1无 故 障 情 况 下 带 有 三 种 容 错 机 制 的 程 序 执 行 时 间.96第 4 页国 防 科 学 技 术 大 学 研 究 生 院 博 士 学 位 论 文 图 目 录 123456789101234111111111111111111n04图 图 图 图 图 图 图 图 图 图 图 图 图 图 图 蛰 组 国 羽 身 组 国 蛰 蛰 S国 国 组 国 蛰 国.56.7222.8J23Z3

13、.工 3.43.Os.6.7.89J3.3.3.3.3.3.11113.23.4.TOP500中 机 器 的 处 理 器 数 目 统 计 图.2高 性 能 计 算 机 的 性 能 发 展 趋 势.2Intel处 理 器 电 源 电 压 的 变 化 趋 势.4Top500前 2 0台 超 级 计 算 机 系 统 的 平 均 处 理 器 核 心 数 量.5不 同 规 模 下 系 统 的 MTBF变 化 趋 势.6处 理 器 和 存 储 器 的 性 能 增 长 速 度,.8故 障、错 误 与 失 效 三 者 的 关 系.9容 错 方 法 分 类.13基 本 TM R系 统 结 构.14Checkpo

14、inting 技 术.15计 算 可 接 受 模 型 的 概 念 体 系.23多 次 执 行 下 程 序 运 行 结 果 的 可 接 受.24异 构 并 行 系 统 上 的 程 序 执 行.26TM R容 错 示 意 图.28GPU TMRDA-DA 的 变 化 曲 线.29带 TM R系 统 单 次 执 行 与 该 系 统 多 次 执 行 可 接 受 比 较.30C/R容 错 示 意 图.31带 C/R系 统 单 次 执 行 与 该 系 统 多 次 执 行 可 接 受 比 较.33同 构 与 异 构 系 统 算 法 执 行 流 程.36CUDA上 的 矩 阵 乘 算 法.36SWIM异 构

15、系 统 CG调 用 流 图.38C G间 的 数 据 传 播.39G 点 内 故 障 传 递.43G 点 内 故 障 影 响 集 求 解 算 法.45CUDA 上 的 Checkpointing 流 程.46一 般 算 法 的 基 本 思 想.48选 择 合 适 的 checkpoint位 置 的 一 般 算 法.48无 CPU-GPU传 输 状 态 checkpointing的 执 行 时 间 增 加 比.51时 间 开 销 减 少 百 分 比.52有 CPU-GPU传 输 状 态 checkpointing的 优 化 收 益.53异 构 系 统 体 系 结 构.56第 5 页国 防 科 学

16、 技 术 大 学 研 究 生 院 博 士 学 位 论 文 I冬 I 4.2 异 构 条 统 犯 阵 来 算 法 流 程.F图 4.3 同 步 执 行 checkpointing的 流 程.59图 4.4 同 步 设 置 CPU-GPU 端 checkpoint.60图 4.5 C_Struct的 数 据 结 构.61图 4.6 同 步 机 制 Checkpoint间 隔 与 程 序 的 期 望 执 行 时 间 口 5。1.62图 4.7 模 型(4.3)的 求 解 算 法.64图 4.8 异 步 执 行 checkpointing的 流 程.65图 4.9 异 步 设 置 CPU-GPU 端

17、checkpoint.66图 4.1 0 异 步 机 制 checkpoint间 隔 与 程 序 的 期 望 执 行 时 间.69图 4.1 1 模 型(4.12)的 求 解 算 法.71图 4.12 偏 移 量&中 的 checkpoint位 置 选 取.72图 4.13 一 次 同 步 写 异 步 checkpointing时 I 旬 并 错.75图 4.1 4 同 步 与 异 步 设 置 下 全 局 checkpointing时 间 开 销.75图 5.1两 种 容 错 方 法.81图 5.2 一 个 异 构 程 序 及 对 应 的 RB-TMR容 错 版 本.82图 5.3 一 个 K

18、ernel的 线 程 组 织 方 式.83图 5.4 单 GPU时 的 冗 余 代 理 线 程 组 织 方 式.83图 5.5 多 GPU时 的 冗 余 代 理 线 程 组 织 方 式.84图 5.6 重 设 计 的 Kernel代 码.85图 5.7 一 个 异 构 程 序 示 例.86图 5.8 多 GPU的 RB-TMR机 制 的 示 例 代 码.87图 5.9 TMR与 RB-TMR比 较 投 票 机 制 流 程.88图 5.10 多 GPU的 RB-TMR机 制 的 示 例 代 码.89图 5.1 1 比 较 与 投 票 算 法.90图 5.12 TriKerneling 的 框 架

19、 图.91图 5.13 矩 阵 乘 的 CUDA程 序.92图 5.1 4 矩 阵 乘 CUDA程 序 的 控 制 流 图.93图 5.15 RB-TMR程 序 对 比 checkpointing程 序 的 平 均 回 滚 次 数.96图 5.16 RB-TMR程 序 对 比 checkpointing程 序 的 执 行 时 间.97图 5.17 RB-TMR程 序 对 比 TMR程 序 的 执 行 时 间.97图 5.18 RB-TMR 对 比 checkpointing 的 容 错 开 销.98图 5.19 RB-TMR对 比 TM R的 容 错 开 销.98第 6 页国 防 科 学 技

20、术 大 学 研 究 生 院 博 士 学 位 论 文 摘 要 并 行 计 算 是 实 现 超 高 性 能 计 算 的 主 要 技 术 手 段。当 前，随 着 GPGPU性 能 的 不 断 提 高，利 用 C PU和 G PU构 建 的 异 构 并 行 系 统 己 经 成 为 高 性 能 计 算 机 领 域 的 研 究 热 点。然 而 随 着 并 行 计 算 系 统 规 模 的 不 断 增 长，高 性 能 计 算 机 面 临 严 峻 的 挑 战。由 于 异 构 并 行 系 统 更 为 复 杂 的 体 系 结 构 以 及 其 特 有 的 性 质，且 商 用 GPGPU容 错 能 力 较 弱，所 以

21、由 CPU和 GPU构 建 的 大 规 模 异 构 并 行 系 统 的 可 靠 性 问 题 更 为 尖 锐，尚 缺 乏 实 用 的 容 错 手 段。本 文 针 对 异 构 并 行 计 算 机 的 容 错 技 术 展 开 研 究，以 异 构 并 行 系 统 硬 件 故 障 在 软 件 中 的 传 播 行 为 为 理 论 基 础，对 应 用 级 checkpointing技 术 的 保 存 数 据 量 优 化 问 题 进 行 研 究；分 析 了 异 构 并 行 系 统 多 checkpoint的 全 局 开 销 最 优 化 问 题，并 提 出 了 设 置 方 案；同 时，针 对 异 构 并 行 系

22、 统 提 出 了 一 种 新 的 面 向 GPU的 多 副 本 容 错 技 术 RB-TMR,并 对 其 所 具 备 的 关 键 机 制 进 行 了 详 细 的 研 究 与 设 计 实 现。本 文 的 主 要 贡 献 如 下：1、提 出 了 一 种 面 向 一 般 计 算 系 统 的 计 算 可 接 受 模 型。建 立 程 序 的 执 行 结 果 可 接 受 以 及 可 接 受 度 的 定 义，并 进 一 步 定 义 程 序 多 次 执 行 的 可 接 受 和 多 次 执 行 的 可 接 受 度，以 此 为 基 础 得 到 可 接 受 度 的 相 关 定 理 和 推 论。针 对 异 构 并 行

23、 系 统 将 可 接 受 度 的 相 关 定 理 和 推 论 进 行 了 扩 展，并 建 立 异 构 并 行 系 统 的 可 接 受 模 型，同 时 进 一 步 案 例 分 析 两 种 常 见 的 容 错 技 术 checkpoint/restart和 TM R应 用 到 异 构 并 行 系 统 上 时，对 可 接 受 模 型 的 影 响，从 而 给 出 容 错 机 制 的 指 导 意 见 和 优 化 方 法。2、基 于 过 程 间 相 关 性 理 论，提 出 了 由 CPU和 GPU构 成 的 异 构 并 行 系 统 中 硬 件 故 障 在 软 件 中 传 播 行 为 描 述 方 法，我 们

24、 称 其 为 故 障 传 播 模 型。同 时，根 据 故 障 传 播 模 型，设 计 了 针 对 该 系 统 的 checkpointing机 制，并 针 对 影 响 checkpoint/restart开 销 的 主 要 问 题 之-checkpoint保 存 数 据 量 进 行 了 优 化。实 验 证 明 该 优 化 方 法 可 以 有 效 的 减 小 开 销，提 高 容 错 性 能。3、深 入 研 究 了 面 向 异 构 并 行 系 统 的 多 个 checkpoint的 全 局 开 销 最 小 化 问 题，提 出 了 面 向 异 构 并 行 系 统 的 同 步 及 异 步 两 种 机

25、制 的 多 checkpoint全 局 开 销 最 小 化 的 优 化 设 置 方 法。首 先 提 出 了 两 个 针 对 优 化 设 置 多 个 checkpoint位 置 的 基 本 问 题。然 后 通 过 对 异 构 并 行 系 统 体 系 结 构 和 程 序 特 性 的 分 析，提 出 了 基 于 两 种 机 制 的 异 构 并 行 系 统 的 多 checkpoint设 置 方 法：同 步 及 异 步 机 制 的 checkpoint设 置 方 法。同 时，根 据 checkpoint优 化 设 置 的 两 个 具 体 问 题 分 别 对 这 两 种 机 制 进 行 优 化 设 置

26、分 析 和 数 学 建 模，并 给 出 了 相 应 的 求 解 算 法。4、提 出 了 一 种 回 滚 机 制 与 TM R技 术 相 结 合 的 容 错 技 术 RB-TMR。这 一 技 术 可 以 有 效 应 对 fail-stop故 障 与 瞬 时 故 障 两 种 类 型 的 故 障 进 行 容 错，我 们 给 出 了 这 一国 防 科 学 技 术 大 学 研 究 生 院 博 士 学 位 论 文 技 术 的 实 现 方 法，并 针 对 异 构 并 行 系 统 体 系 结 构 及 程 序 模 型 的 特 征 对 其 中 关 键 机 制 的 设 计 进 行 了 具 体 分 析 和 讨 论。同

27、 时，设 计 并 实 现 了 一 个 面 向 R B-T M R机 制 的 源 到 源 编 译 辅 助 工 具，可 以 辅 助 用 户 面 向 C U D A程 序 完 成 R B-T M R机 制 的 实 现，减 轻 了 用 户 实 现 R B-T M R机 制 的 负 担。实 验 结 果 表 明 R B-T M R技 术 能 够 实 现 较 高 的 错 误 检 出 和 纠 正 率，有 效 减 小 可 能 需 要 回 滚 恢 复 的 概 率，根 据 综 合 评 定，其 相 对 于 传 统 checkpointing及 T M R技 术 有 更 好 的 容 错 性 能。关 键 词：高 性 能

28、计 算；异 构 并 行 计 算 机；容 错；可 接 受；应 用 级 checkpointing；过 程 间 相 关 性；故 障 传 播 行 为 第 i i 贝国 防 科 学 技 术 大 学 研 究 生 院 博 士 学 位 论 文 AbstractParallel computing is a major u 1 tra-high-performance computing technology.Asthe performance of GPGPU(General Purpose computation on Graphic Processing Units)keeps improving,he

29、terogeneous parallel systems built based on CPU and GPU becomea hot research field of high-performance computers.However,with the increase of theparallel computing system size,high-performance computers encounter seriouschallenges.Due to more complicated architecture and unique features of heterogen

30、eousparallel systems and weak fault-tolerance of GPGPU,large scale heterogeneous parallelsystems built based on CPU and GPU undergoes an acute reliability issue,which is lackof practical means.This paper studies the fault-tolerance technique of heterogeneous parallel systems.Based on the propagation

31、 behaviors of hardware error that propagates in software inheterogeneous parallel systems,this paper optimizes checkpoint size of application level checkpointing,optimizes the global overhead of multiple checkpoints inheterogeneous parallel systems and proposes configuration solution,and explores aG

32、PU-oriented multi-copies fault tolerance technique(RB-TMR).The maincontributions of the paper are summarized as follows:1.A general computer oriented acceptance model is proposed.The acceptance andits degree of program results and multiple times of program execution are first defined.Based on them,t

33、heorems and corollaries regarding acceptance degree are obtained.Thispaper extends the theorems and corollaries in heterogeneous parallel systems andestablishes the acceptance model of heterogeneous parallel systems.Cases are used toanalyze the effect of two common fault-tolerance techniques(checkpo

34、int/restart andTMR)on the acceptance model when the two techniques are applied in heterogeneousparallel systems.Therefore,constructive suggestions and optimization methods forfault-tolerance mechanism are obtained.2.Based on the theory about inter-procedural dependence,a method named errorpropagatio

35、n model is proposed.It describes the prorogation behavior of hardware errorin software in CPU-GPU heterogeneous parallel systems.Using this model,thesystems checkpointing mechanism is designed and the checkpoint size is optimized.Experimental results show that this method can effectively reduce the

36、overhead andimprove the fault tolerance performance.3.In order to minimize the global overhead of multiple checkpoints,this paperproposes a placement optimization method for both synchronization andasynchronization mechanisms in heterogeneous parallel systems.First of all,twoessential issues of plac

37、ement optimization of multiple checkpoint locations are proposed.Secondly,based on the analysis of architecture and program features,two methods of第 3 页国 防 科 学 技 术 大 学 研 究 生 院 博 士 学 位 论 文 checkpoint placement in heterogeneous parallel systems are proposed:synchronouscheckpoint placement and asynchro

38、nous checkpoint placement).Further,for the twoissues,the two methods are analyzed and modeled and their solution algorithms aregiven.4.A fault-tolerance technique(RB-TMR)combining rollback mechanism andTMR technique is proposed.It can effectively offer fault-tolerance for fail-stop faultand transien

39、t fault.We implement this technique according to architecture and programfeatures of heterogeneous parallel systems.Besides,a source-to-source compileassistant tool is designed for the RB-TMR technique.The tool can assist users inimplementing the RB-TMR technique in CUDA programs,alleviating their b

40、urdens.Experimental results exhibit that the RB-TMR technique can achieve high errorchecking and correction rate as well as decreases the probability of rollback.It isconcluded that the RB-TMR technique demonstrates better fault-tolerance performancethan the conventional checkpointing and TMR techni

41、que.Key words：High-performance computing,heterogeneous parallel systems,fault-tolerance,acceptance,application-level checkpointing,inter-proceduraldependence,fault propagation behavior第 4 页国 防 科 学 技 术 大 学 研 究 生 院 博 士 学 位 论 文 第 一 章 绪 论 1.1 课 题 背 景 大 规 模 科 学 计 算 一 直 是 推 动 高 性 能 计 算 机 迅 速 发 展 的 主 要 动 力

42、。今 天 的 科 学 家 更 加 依 赖 于 高 性 能 计 算 机 来 处 理 空 前 庞 大 的 数 据 集 以 及 实 现 空 前 复 杂 的 模 拟 仿 真。当 前，随 着 GPGPU(General Puipose computation on Graphic Processing Units)“性 能 的 不 断 提 高，利 用 CPU和 GPU(Graphics Processing U n its)构 建 的 异 构 系 统 已 经 成 为 高 性 能 计 算 机 231领 域 的 研 究 热 点，我 国 首 台 千 万 亿 次 计 算 机 天 河(Tianhe-1A)就 是

43、一 个 典 型 案 例。另 一 方 面，随 着 并 行 计 算 系 统 规 模 的 不 断 增 长，系 统 可 靠 性 越 来 越 低，已 成 为 并 行 计 算 向 大 规 模 扩 展 的 一 个 不 容 忽 视 的 制 约 因 素。由 于 商 用 GPGPU容 错 能 力 较 弱，所 以 由 C PU和 G P U构 建 的 大 规 模 异 构 并 行 系 统 的 可 靠 性 问 题 更 为 尖 锐，尚 缺 乏 实 用 的 容 错 手 段。因 此，对 于 面 向 异 构 并 行 计 算 机 的 容 错 技 术 研 究 也 变 得 尤 为 重 要。1.1.1 异 构 并 行 计 算 机 的

44、兴 起 随 着 计 算 机 技 术 的 高 速 发 展，高 性 能 计 算 机 已 成 为 基 础 科 学 领 域 研 究 中 必 不 可 少 的 工 具。当 前，高 性 能 计 算 可 用 于 解 决 国 防 建 设 和 经 济 发 展 中 重 大 应 用 问 题 的 基 础 性、前 瞻 性 与 战 略 性 关 键 技 术，广 泛 应 用 于 核 武 器 研 究、生 物 信 息 技 术、医 疗 和 新 药 研 究、计 算 化 学、GIS、CAE、气 象 预 报、工 业 设 计 以 及 环 境 保 护 等 与 国 家 安 全 和 国 民 经 济 密 切 相 关 的 各 个 领 域。随 着 竞

45、争 的 加 剧 和 应 用 的 普 及，高 性 能 计 算 技 术 已 从 少 数 军 工 部 门 和 国 家 实 验 室 普 遍 进 入 到 各 大 公 司、企 业 和 院 校。科 学 研 究、工 业 制 造 和 商 业 活 动 中 越 来 越 多 地 使 用 高 性 能 计 算 机 来 解 决 实 际 问 题。日 本 政 府 于 2007年 启 动 了 一 项 超 长 期 天 气 预 报 计 划。借 助 于 日 本 海 洋 科 学 技 术 中 心 横 浜 研 究 所 的“地 球 模 拟 器(EarthSimulator)”，对 未 来 3 0年 内 可 能 发 生 的 台 风、暴 风 雪、

46、干 旱 以 及 其 它 恶 劣 天 气 进 行 预 测。计 算 结 果 可 以 帮 助 政 府 提 前 采 取 应 对 灾 害 天 气 的 相 应 措 施，减 小 经 济 损 失。美 国 GM、GE、日 本 Nissan等 著 名 大 公 司 拥 有 总 计 算 能 力 超 过 10万 亿 次 的 高 性 能 计 算 机 用 于 新 产 品 的 研 发。G oogle公 司 一 直 在 努 力 争 取 使 用 户 的 请 求 可 以 在 0.5秒 内 处 理 完 成 I5o 为 了 实 现 这 一 目 标，Google公 司 开 发 了 一 个 大 规 模 的 集 群 系 统 Google c

47、lustero在 2003年 初，Google cluster就 拥 有 了 超 过 30,000个 处 理 器，并 且 仍 在 不 断 扩 展 规 模 以 提 高 性 能 671。近 年 来，随 着 高 性 能 计 算 技 术 的 普 遍 应 用，高 性 能 计 算 机 的 发 展 呈 现 出 两 大 第 1 页国 防 科 学 技 术 大 学 研 究 生 院 博 士 学 位 论 文 趋 势：一 是 广 泛 使 用 通 用 的、低 成 本 的 商 用 器 件(Commerical off-the-shelf,COTS),以 缩 短 研 制 周 期 和 降 低 研 制 成 本；二 是 系 统 规

48、 模 持 续 增 长，以 满 足 科 研 和 生 产 活 动 对 更 高 计 算 能 力 的 不 断 追 求。图 L 1显 示 了 近 6 年 来 Top500 中 机 器 的 处 理 器 数 目 统 计 情 况，由 此 可 见 高 性 能 计 算 机 包 含 的 处 理 器 数 在 不 断 增 加。但 同 时，低 可 靠 的 C O T S器 件 的 广 泛 使 用 降 低 了 高 性 能 计 算 机 各 结 点 的 可 靠 性，也 降 低 了 系 统 的 整 体 可 靠 性；而 系 统 规 模 的 大 幅 增 长 则 会 显 著 降 低 系 统 的 平 均 故 障 间 隔 时 间(Mean

49、 Time Between Failures,M T B F)。500450400-350300250200150-100500 128k-64k-128k 32k-64k 16k-32k 8k-16k 4k-8k 2049-4096 1025-2048 513-1024 257-5122006.6 2007.6 2008.6 2009.6 2010.6 2011.6图 1.1 TOP500中 机 器 的 处 理 器 数 目 统 计 图 10 P Flops-10OP Hops-1 G Flops100 G Flops10 G Flops100 M Flops 4 T T*#500，Sum#1

50、 TrendLine#500 TrendLine Sum TrendLineco in 卜 6 co sd6 o6一)G6)(D6一 O0。O0O。OJ E6 一 COo E Ee e e63图 1.2 高 性 能 计 算 机 的 性 能 发 展 趋 势 第 2 页国 防 科 学 技 术 大 学 研 究 生 院 博 士 学 位 论 文 为 了 满 足 高 性 能 计 算 领 域 日 益 攀 升 的 计 算 需 求，高 性 能 计 算 机 系 统 的 规 模 不 断 增 大，峰 值 计 算 速 度 不 断 提 高。超 级 计 算 机 的 峰 值 计 算 速 度 基 本 遵 循 一 千 倍”定 律