东风汽车有限公司CAE高性能计算平台建议书.docx

XX 汽车CAE 高性能计算平台建议书XX 汽车CAE 高性能计算平台方案建议书初稿2023 年 3 月 30 日北京九联云天科技文档说明此文件属于商业机密文件. 经过有关方面批准方可从作者猎取. 保密说明本建议书属于商业机密文件，书中的全部信息均为北京九联云天科技机密信息，仅供 XX 汽车客户使用。务必妥当保管并且仅在与工程有关人员范围内使用，未经北京九联云天科技明确做出的书面许可，不得为任何目的、以任何形式或手段包括电子或机械复印、录音或其他形式对本文档的任何局部进展复制、存储、引入检索系统或者传播。特别声明本建议书内容，包括价格和配置，只适用于 XX 汽车客户。尽管北京九联云天科技已经尽力使本文档内容完整和有效，但仍可能有技术 方面不够准确的地方或印刷错误。假设需求有所变化，北京九联云天科技将对有关内容进展相对应的调整，并在本投标将来版本中表达。IBM 是国际商业机器公司的注册商标。本文档提及的其他公司、产品和效劳的名称，可能是其他公司的商标或效劳的标志。本建议书的有效期为自递交之日起 3 个月。目 录第 1 章 概述 4第 2 章 关于IBM 高性能计算的简介 7第 3 章 汽车行业CAE 应用程序的特点及计算平台的选择 11汽车行业CAE 分析的过程 11CAE 高性能运算应用程序的特点 11CAE 硬件平台的选择 15IBM Cluster 1600 介绍 17IBM Cluster 1350 Linux 集群系统IBM 刀片中心： 20IBM 优势 21第 4 章 CAE 高性能计算系统设计原则 24应用通用性原则 24系统高扩展性原则 24系统高可用性原则 25处理器性能最大化原则 25高性价比原则 26第 5 章 CAE 高性能计算平台方案 27关于 XX 汽车CAE 工程投资的几点建议 27总体方案描述 27二期扩展方案 31第 6 章 相关产品技术介绍 32IBM Power 575 32IBM BladeCenter 34IBM BladeCenter HS22 38IBM System x3650 M2 41IBM System Storage DS5000 系列模块化企业存储系统 43IBM 并行文件系统GPFS 简介 46xCAT 集群系统治理软件 48IBM 智能系统治理 49第 1 章 概述CAE 始终是高性能计算的主要应用领域。随着现代汽车技术的进展，特别是与其它学科如数学、物理、化学、材料科学的结合，汽车应用所需处理的数据信息量不断增加，对运算力量的需求也越来越大，由于并行计算技术的飞速进展， 汽车 CAE 模拟的应用平台也渐渐从巨型机过渡到高性能计算机系统，这也为用户供给了一个具有更高性价比的选择。近年来，高性能计算作为大规模 CAE 应用的基石，在工业和制造业领域的应用越来越普遍和广泛。从 TOP600 的统计信息来看，工业领域所占的比例在不断增加。2023 年 6 月，工业用户使用的高性能计算机占到 52.8。而其中的半导体和制造业用户所占的比例相当可观。其中美国半导体公司大约有 70 台。很多国际著名的制造业大公司已实现了产品的虚拟化设计和制造，并实现了全球资源共享，利用全的理念设计产品。美国、日本的一些公司都拥有总计算力量超过数十万亿次的高性能计算机用于产品的研发。主导世界制造业方向的大集团公司目前都拥有大量的超级计算机用于产品设计和数据处理，制造业信息化是学问经济时代企业核心竞争的必要组成环节。中国在世界上有 世界制造中心 的称号，但是实际上我们的制造还大多数属于很简洁的浅层面。更多的时候，通常的做法是产品在国外设计研发，在国内生产。不过，在如今，国内的制造业一方面有了自己的进步，另一方面，国外的知名企业也纷纷将自己的研发中心设置在了国内。在开头阶段，在国内作的研发可能还更多的出于本地化需求，不过，信任在不久的以后，会有更多的分析和研发需求会在中国消灭。从设计产品的设计到研发到制造，整个环节都会在国内实现。目前，在汽车领域，国内的CAE 进展的比较早,典型的应用有汽车的冲撞试验。XX 汽车，1992 年 5 月 18 日成立。2023 年 10 月 25 日，由中国东风汽车公司与法国雪铁龙公司的合资合作提升为与法国标致雪铁龙集团的合资合作，导入标致品牌，的合资公司于 2023 年 1 月成立，合资公司的中文名称不变仍为 XX 汽车(以下简称XX公司 ，英文名称为DONGFENG PEUGEOT CITROEN AUTOMOBILE COMPANY LTD 缩写为DPCA。XX 公司总部位于中国湖北武汉，分别在武汉、襄樊两地建有包括冲压、焊装、涂装、总装、发动机、车桥、变速箱等工艺的武汉一厂、武汉二厂、襄樊工厂。2023 年 3 月，XX 公司已具备年产 30 万辆整车、40 万台发动机的生产力量； 生产高档轿车的武汉其次工厂将于 2023 年下半年全面建成投产，届时，XX 公司将具备年产 45 万辆整车的生产力量。XX 公司实行 一个公司、两个品牌 的经营模式，东风标致商务部总部设在北京，东风雪铁龙商务部总部设在上海。目前拥有东风雪铁龙、东风标致两大品牌的七大车型系列，包括东风雪铁龙凯旋、世嘉三厢/两厢、萨拉·毕加索、爱丽舍三厢/两厢、C2，东风标致的 307两厢/三厢、207两厢/三厢。随着今年下半年其次工厂高档轿车的下线，XX 公司的产品线将掩盖经济型、中高档、高档等各个细分市场。XX 公司自成立以来，始终肩负 成就拥车梦想，优化生活品质 的荣耀使命， 开创了中国汽车进展史上 高起点、大规模、专业化 建设的先河。在充分消化、吸取两大股东领先技术和先进治理阅历的根底上，不断创进展，制造了 一撞、一漂、一贴、一认证 的奇迹，取得了 家用第一车、环保第一车、安全第一车和 史上最牛车 等诸多殊荣，树立了 安全牢靠、环保舒适、创科技 的产品形象和品牌形象。始终坚持 关心每一个人，关爱每一部车 的经营理念，不断为宽阔用户供给满足的产品和效劳，树立起了良好的口碑和企业形象。近年来，XX 公司的建设进展步伐不断加快，年产销量先后突破 10 万辆、20 万辆，并正在向更高目标迈进，生产经营已呈现出良好的进展态势：产销稳步增长，本钱掌握成效显著，经营质量明显提升，自主研发力量日益增加。同时， 随着 XX 公司以品牌战略、产品战略、本钱竞争战略、质量领先战略、自主研发战略、工业化战略、人力资源战略、组织与信息化战略、供给链战略、可持续进展战略等十大核心内容为支撑的永续进展战略确实立，XX 公司的将来进展之路更加清楚，更加布满期望和期盼。将来几年，XX 公司将进一步加大产品的投放力度，进一步提升产品竞争力和市场营销力量，全力打造 2-3 款年销量过 10 万辆的战略车型。以追求品质口碑领先、追求科学稳健进展、追求人车社会和谐为事业梦想，以成为最让人信任的轿车企业为进展愿景的 XX 公司已拉开来一轮跨越式进展的大幕，必将在将来的中国汽车市场焕发更加夺目的荣耀。随着科研水平的不断提高，汽车 CAE 模拟对计算力量的需求也不断增长。经过广泛调研，XX 汽车打算选购一套高性能计算机系统用以运行 CAE 软件。第 2 章 关于 IBM 高性能计算的简介高性能计算多年来始终是科技综合实力竞争的制高点，也在肯定程度上反映了各大公司在系统研发方面的实力。在过去十年中，高性能计算技术正处于创的顶峰期，其处理速度和总体计算力量的进展远高于摩尔定律描绘的芯片技术的进展速度。作为行业的技术领先者，IBM 公司在这一领域积存了长达半个世纪的丰厚阅历，并在关键技术领域不断创，制造了包括并行处理、对称多处理机和高性能计算机系统等并行计算的核心技术，并通过它们始终保持着在业界的领先水平。过去 15 年以来，IBM 的专利数量都始终居于全部美国公司的首位。IBM 长期以来致力于高性能计算领域的技术进展和应用完善，当其它 IT 厂商由于时机或者财务限制，在这种科学计算市场中进进出出时，IBM 就从每年50 亿美金的研发经费中按比例、持续地投入高性能计算领域。IBM 承诺将保持在高性能计算领域的领先位置。IBM 制造了包括并行处理、对称多处理机和集群等技术，并通过它们始终保持着在业界的领先水平。 并且 IBM 还承诺，通过利用和增加基于开放资源技术与工业标准效劳器的 Linux 集群，来供给应客户更多的时机。IBM 将会成为这种方案的领先供给商，我们在世界各地成立了特地的队伍，为 Linux 的进展奉献力气，帮助客户或合作伙伴将应用移植到 Linux 平台，开发更多的技术和应用。IBM Linux 集群系统是利用先进的体系架构将 IBM 的 System x 系列效劳器、System p 系列效劳器以及 TotalStorage 存储解决方案连接起来，通过集群技术实现高性能运算。由于 Linux 集群系统性能卓越，可用性高，扩展力量强和易于把握等优势，一经推出，就被科学运算领域和商用领域的用户认可。众所周知，IBM 公司长期以来在高性能运算方面投入了大量的精力，并取得了很好的成绩。在高性能运算 TOP 500 名中，IBM 公司占有很大的份额。IBM 的大规模并行处理机 SP 系统已广泛地运用在各个领域，该机深蓝曾在1997 年中的 人机大战 中因战胜棋王卡斯帕罗夫而享誉全球。作为后起之秀的 Linux 集群系统，吸取了 SP 大规模并行机的诸多优势，并且将 SP 上的优秀的系统治理软件和并行处理方面的程序移植到 Linux 集群系统上，如并行系统治理软件PSSP 和通用并行文件系统 GPFS 等，从而使 Linux 集群系统不仅能在并行运算方面的性能得到保障，增加了集群系统的可治理性，最的技术进步使得在一样的空间内承受刀片式效劳器，从而将节点密度提高一倍，大大降低本钱。也正由于如此，IBM 的 Linux 集群解决方案越来越受到众多的用户群的关注，其中包括著名的蓝色基因(Blue Gene)以及目前在全球高性能计算集群中排名第一的 走鹃 RoadRunner。图 1：蓝色基因系统示意图在 2023 年 6 月最公布的全球 500 强超级计算机中，188 套来自 IBM，其中 5 套位于前 10 名，35 套位于前 100 名，其每秒钟的运算力量总和到达了 8903万亿次，是 500 强全部系统运算力量总和的 39.4%，占确定主导地位。其中，全球最快的计算机是 IBM 的RoadRunner，实测浮点运算力量到达每秒 1105 万亿次。以下是目前全球超级计算机前十强的名单，IBM 占据了 5 席：Rmax#Ven-dorTFlopsInstallationDOE/NSSA/LANL (QS22/LS21)Oak Ridge NL - Jaguar (XT5 QC 2.3 GHz Opteron)FZJ Juelich(72 racks Blue Gene/P)NASA Ames(Altix QC 3.0/2.8 Xeon)DOE/NSSA/LLNL(104 racks BlueGene/L) NICS U Tenn - Kraken (XT5 QC 2.3 GHz Opteron)Argonne Natl Lab(40 racks Blue Gene/P) Texas Adv Comp Center (QC 2.3 GHz Opteron)DOE/NSSA/LLNL(36 racks Blue Gene/P)FZJ Juelich(QC 2.93 GHz Nehalem)1IBM11052Cray10593IBM825.54SGI487.05IBM478.26Cray463.37IBM450.38Sun433.29IBM415.710Bull274.8来源： :/ toP600.org在国内，IBM 的高性能计算机系统客户遍布生命科学、环境科学、物理学、化学、数学等自然学科领域，以及高等教育、石油勘探、航空航天、汽车制造等各行各业，其中包括目前国内运算力量最强的中国国家气象局 UNIX 高性能计算机系统21.7TFlops，以及目前国内排名其次的中科院网络中心百万亿次超级计算机。为了更好地供给高性能计算应用支持，IBM 和很多全球领先的高性能计算应用软件供给商进展了严密合作。在 CAE 领域，长期以来 IBM 的行业专家在CAE 代码并行化和优化方面有着有丰富的阅历。第 3 章 汽车行业 CAE 应用程序的特点及计算平台的选择汽车行业 CAE 分析的过程一般说来，CAE 分析主要包括前处理、计算分析和后处理这 3 个过程。前处理主要是建立问题的几何模型、进展网格划分、建立用于计算分析的数值模型、确定模型的边界条件和初始条件等；计算分析是对所建立的数值模型进展求解，常常需要求解大型的线性方程组，这个过程是 CAE 分析中计算量最大、对硬件性能要求最高的局部；后处理则是以图形化的方式对所得的计算结果进展检查和处理图 1 给出了承受计算机进展产品开发的流程，包括建模、前处理模型修改和网格生成、计算分析、穿插学科综合及后处理几个局部。其中高性能计算主要应用于计算分析局部，统称为计算机关心工程CAE。图 1 是 CAE 的分析过程。图 1 计算机主要在 CAE 分析过程的后期解算局部发挥作用CAE 高性能运算应用程序的特点CAE 高性能运算的应用可以分为隐式有限元分析IFEA、显式有限元分析EFEA和计算流体动力学CFD三个子学科。承受隐式算法的软件主要有 ABAQUS/Standard、ANSYS、MSC.NASTRAN 等，适合求解静力、模态、屈曲等问题；承受显式算法的软件主要有 ABAQUS/Explicit、LS-DYNA、PAM-CRASH 等，适合求解接触、碰撞、冲击等问题。几乎全部的制造企业的高性 能计算都依靠于独立软件开发商ISV供给的商业软件，只有流体动力学算题中构造网格计算类型的局部软件是用户自己开发的。因此制造行业用户在购置硬件 平台的同时通常会购置相应的科学计算软件产品。而在某种程度上，往往是应用软件的特性打算了硬件平台的选择。从对计算资源的需求来说，隐式解法的根本特点是内存占用多、磁盘 IO 大、进程通信量大，因此，隐式解法要求系统的内存容量大、访存带宽高、磁盘 IO 速度快、通信延迟低；相对而言，显式解法对内存、磁盘 IO 和通信延迟的要求要低一些。从软件的扩展性上来说，隐式算法和显式算法有明显的区分。承受隐式算法的软件，扩展性相对较差，计算性能在 8-16 CPU 以上就很难获得进一步的提升。而承受显式算法的软件，扩展性就要好得多，在 64-128 CPU 以内都能获得较好的并行性能。下表给出了常用的 CAE 软件，并列出这些软件的特点，包括并行方式和可扩展性。常用分析软件CAE 应用软件分类应用软件并行方式扩展性静态隐式有限元分析IFEA Statics动态隐式有限元分析 IFEA Dynamics显式有限元分析EFEAABAQUS ANSYSMSC.Nastran ABAQUS ANSYSMSC.Nastran LS-DYNAPAM-CRASHpthreads OpenMP,MPI pthreads,MPI pthreads OpenMP,MPI pthreads,MPI OpenMP,MPIOpenMP,MPI低RADIOSS FLUENT计算流体动力学CFDSTAR-CCPowerFLOWOpenMP,MPI高MPI MPIOpenMP,MPI从上表中我们可以了解到CAE 应用软件具有以下特点：（1） IFEA 类应用软件如 ABAQUS、ANSYS 和 MSC Nastran硬件平台支持的可扩展性不是很好。Nastran 对内存，I/O 性能要求高；（2） IFEA 类应用软件通常使用共享内存方式pthreads 或 OpenMP，进展并行处理，其中 ABAQUS 不支持消息传递方式MPI的并行；（3） EFEA 类应用软件如 RADIOSS、LS-DYNA 和 PAM-CRASH 和计算流体动力学软件如 FLUENT、STAR-CD 和 PowerFlow的硬件平台支持的扩展性相对较好。RADIOSSS/LSDYNA 对 CPU，I/O 性能要求高；（4） EFEA 类应用软件和 CFD 软件以承受消息传递并行方式MPI为主。高性能计算HPC效劳器体系构造分类及特点目前市场上常用的高性能计算效劳器大致可以分为以下 3 种体系构造，即：1. 并行向量处理机PVPPVP 系统含有为数不多、功能强大的定制向量处理器VP，以及定制的高带宽纵横穿插开关和高速数据访问。由于这类系统对程序编制的要求较高， 价格很昂贵且难于治理，因此，这种类型计算机主要集中在一些大型国家关键部门，在这里不再赘述。2. 对称多处理机SMPSMP 系统承受商品化的处理器，这些处理器通过总线或穿插开关连接到共享存储器。今日市场上常见的机型有 IBM p 系列效劳器、HPQ 的 SuperDome、Alpha 的 ES、GS 系列及 SGI 公司的 Altix 系列。SMP 系统通常具有以下特点：（1） 系统内的 CPU 共享并可以直接访问全部的内存；（2） 由一个操作系统治理整个系统；（3） 支持共享内存方式的并行模式，如 OpenMP、pthreads 等；（4） 支持消息传递方式的并行模式，如 MPI、PVM 等（5） 系统的价格相对较高；（6） 为提高系统的使用效率，需要有功能强大的资源治理软件和作业调度软件协作进展系统治理。如 LSF、PBS 及 IBM 的 WLM 和 Tivoli Workload Scheduler Loadleveler 等。3. 工作站集群COW，Cluster Of Workstation,简称 ClusterCluster 构造是近年来进展势头很好的一种体系构造。这类机型的技术起点比较低，用户甚至可以自己将一些效劳器或微机通过以太网连接起来，配以相应的 治理、通讯软件来搭建Cluster。但是假设要构造高性能、构造合理并具有好的 RAS 特性的 Cluster 却不是一件简洁的事情。几乎全部的国内、外计 算机厂商都有自己的 Cluster 集群产品，如 IBM 的 Cluster1350、联想的深腾系列及曙光的天潮系列等。Cluster 系统通常具有以下特 点：（1） 系统由多个独立的效劳器在Cluster 概念下称为节点通过交换机连接在一起。每个节点拥有各自的内存，某个节点的 CPU 不能直接访问另外一个节点的内存；（2） 每个节点拥有独立的操作系统；（3） 需要一系列的集群软件来完成整个系统的治理与运行，包括：Cluster 系统治理软件，如 IBM 的 CSM、xCat 等； 消息传递库，如 MPI、PVM 等；作业治理与调度系统，如 LSF、PBS，IBM 的 Tivoli Workload Scheduler Loadleveler 等；并行文件系统，如 PVFS、IBM 的 GPFS 等；（4） 支持消息传递方式的并行模式，如 MPI、PVM 等；（5） 只能在单个节点内部支持共享内存方式的并行模式，如 OpenMP 、 pthreads 等；（6） 性能价格比好。CAE 硬件平台的选择CAE 在制造企业中担当着关键的业务，所以其高性能平台的选择格外重要，这个平台直接影响 CAE 的运行性能表现、整体本钱和系统维护等方面问题。想让 CAE 能实现 随需应变 ，在高性能计算平台的选择上就需要进展全面的考虑。1. CAE 软件使用SMP 系统存在的问题理论上讲，SMP 系统可以胜任CAE 应用程序的运行，但是不行避开地存在一些问题。首先是 SMP 系统价格相对较高。而且 CAE 的某些应用软件的扩展性不好，如隐式有限元分析IFEA类软件通常只能用到最多 8 个 CPU。这个特点打算了配置超过 8CPU 的大 SMP 效劳器没有太大的必要，反而会造成投资的铺张。此外，SMP 系统由一个操作系统治理，假设没有强大的资源治理软件和作业调度软件协作，很简洁造成 CPU 分时处理多个任务的现象，即在一个 CPU 上同时运 行多个进程，从而影响整个系统的使用效率，同时难于保证关键任务的按时完成。常用的作业调度软件有 PBSpro、LSF 和 OpenPBS，其中开放源代码 的 OpenPBS 很难胜任简单的 CAE 应用软件的治理，尤其是对共享内存方式并行模式OpenMP，pthreads的治理。而LSF 和 PBSpro 的价格比较高，同样会增加用户的投资。2. CAE 软件使用 Cluster 系统存在的问题目前市场上的 Cluster 系统通常是用 PC 效劳器作为节点构建的，每个PC 效劳器内部一般配置 2 个 CPU。这种类型的 Cluster 系统在担当 CAE 应 用软件运行任务时也存在一些问题，比方共享内存方式的并行模式只能运行在一个节点内部，也就是说，最多只能用 2 个 CPU 去处理 OpenMP/threads 类型的 CAE 任务，很难满足应用的时效性要求。又由于单 CPU 的处理力量限制，需要更多的 CPU 来完成一个计算任务，这样就需要购置较多 CPU 的软件许可证，增加了用户的投资。3. SMP-Cluster 混合架构：CAE 应用平台的最正确选择如上所述，不同 CAE 软件对计算机系统的需求差异很大，例如 NASTRAN 应用对内存和 I/O 的要求很高；而CFD 类的应用对 CPU 速度及网络连接有较高的要求。为此，该计算机系统必需是一个平衡的系统，在 CPU 速度、内存容量与带宽、存储容量与带宽及网络连接等各个方面都不应当存在性能瓶颈。当设计 CAE 高性能计算整体解决方案时，要充分考虑用户需求，比方资金预算、问题类型、分析规模、用户数量、软件 License 个数等，以此来确定最终的硬件选型。依据客户以上各方面需求的综合分析，可承受以下三种方案：1以隐式分析为主的解决方案常用的隐式有限元软件有 ABAQUS/Standard、ANSYS、MSC.NASTRAN 等。依据隐式有限元分析要求内存容量大、磁盘 IO 快、通信延迟低的特点，推举承受基于 SMP 架构的 IBM Power 产品，小规模的隐式分析也可承受 x3850 X5 或x3755。2) 以显式分析为主的解决方案常用的显式有限元软件有 ABAQUS/Explicit、LS-DYNA、PAM-CRASH 等。相比而言，显式有限元软件对系统硬件的要求略低一些，从性价比以及软件的扩展性动身，推举承受由 2 路的 IBM System X 作为计算节点的集群系统。承受集群系统进展显式有限元分析具有以下优点：1承受集群系统，节点硬件配置可以略低一些，节约投资。集群节点承受 XXX 系列处理器，系统内存的配置推举XGB/Core，配置硬盘。2承受集群系统，可以为用户供给更多的 CPU 资源。在同等价格的状况下，集群系统可以为用户供给更多的 CPU 资源。可以同时满足多个用户、多个计算任务的需求。同时集群的各个节点也可独立进展运算。3承受集群系统，各个节点可以协同工作。集群系统的特点在于虽然各个节点的计算性能有限，但是多个节点可以通过高性能网络进展协同工作，共同完成大规模问题的求解。目前主流的计算软件也都支持集群并行计算。4） 承受集群系统，进展扩展格外便利。当需求增加时，通过增加节点数量，可以马上提升系统的整体运算力量，用户以前的投资不会铺张。在集群系统中，网络的性能直接影响整个系统的实际运算力量。目前市场上主要有三种高性能计算网络：千兆以太网、万兆以太网和 Infiniband。应当依据用户的预算和系统规模进展选择。5） 兼顾隐式和显式分析的解决方案：SMP-Cluster 混合架构针对 SMP 系统和 Cluster 系统在处理 CAE 应用时存在的问题，我们可以考虑一种综合这两类体系构造优势的高性能计算机系统SMP Cluster。如图 2 所示。图 2 SMP Cluster 和 OpenSMP、Cluster 的比较IBM Cluster 1350 Linux 集群系统IBM 刀片中心：IBM 将目前最紧凑的刀片式效劳器参加到 Cluster1350 集群产品中，使集群系统的集成度提高了一倍，即在一个 7U 高的刀片抽屉中可以放置 14 个刀片效劳器。该产品不仅集成了 IBM 在 x 系列效劳器、p 系列效劳器方面的多种技术和特点，而且是开放的技术标准，在系统的构造和散热方面都有很多的独到之处， 其关键的中间板的冗余设计，大大提高了整个系统的牢靠性，连接线缆的削减使集群系统的可维护大大提高。IBM 刀片中心 BladeCenter 可以安装四种类型的刀片式效劳器，一种是承受Intel Xeon 芯片的 HS22 刀片式效劳器，一种是承受 AMD 芯片的 LS22/LS42 刀片式效劳器，一种是承受 IBM Power 6 芯片的 JS22 刀片式效劳器，一种是承受IBM Power 架构 CELL 芯片的 QS20 刀片式效劳器。使用 IBM 刀片中心作为节点来构成 Cluster1350 系统具有以下特点：（1） 承受刀片效劳器作为节点，使传统Cluster 系统具有更高的集成度，更加省电，稳定性更高；（2） 刀片中心可以在 7U 高度中安装 14 片刀片效劳器共 28 颗 CPU 的集群系统。刀片之间操作系统独立；（3） 节点间连接承受 IBM 为 HPC 特地设计的高性能交换机，其单通道带宽到达 10Gb/s，并且每个节点都配置了双通道作为冗余配置。这样在保证跨节点通信的优越性能的同时，供给了较高的稳定性；（4） 整个系统节点间使用消息传递方式的并行任务MPI 或 PVM。（5） 完善的集群治理环境，统一进展资源治理和作业调度。治理软件包括：l xCAT 集群系统治理软件，可以同时治理多个集群, 包括 UNIX 集群和 Linux 集群；l Tivoli Workload Scheduler Loadleveler 作业调度软件，具有强大的作业调度、记帐及断点/续算功能；l 充分优化的并行使用与开发环境 IBM PE，供给高性能的、完善的并行作业运行与治理；l 高性能的并行文件系统 GPFS，为整个集群供给稳定的共享文件系统。GPFS 是一种高性能共享磁盘文件系统，可供给对集群中全部节点的快速数据访问。单节点最高带宽 15GB/s，I/O 平衡调度改善吞吐性能，已安装的美国ASCI Purple 实测到达 102GB/s；（6） 高性能价格比。IBM 优势IBM，即国际商业机器全球效劳公司，1911 年创立于美国，是全球最大的信息技术和业务解决方案公司，目前拥有全球雇员 31 万多人，业务普及 160 多个国家和地区。在过去的九十多年里，世界经济不断进展，现代科学日月异，IBM 始终以超前的技术、精彩的治理和独树一帜的产品领导着全球信息工业的进展，保证了世界范围内几乎全部行业用户对信息处理的全方位需求。众所周知，早在 1969 年，阿波罗宇宙飞船载着三名宇航员，肩负着人类的使命，首次登上了月球；1981 年哥伦比亚号航天飞机又成功地飞上了太空。这两次历史性的太空飞行都分散着IBM 无与伦比的才智。IBM 在产品技术进展路线上始终保持清楚稳定的进展方向，产品设计生产上全面保护用户的已有投资。IBM 是唯一一家在高端效劳器行业有力量自己设计、研发和制造的厂家。IBM 设计和制造 CPU 的成就是非凡的。从我们目前所熟知的铜芯片、绝缘硅技术，到后继的 low-K dielectric 和 silicon strainin 等技术已一一被制造出来。总体而言，IBM 有很强的技术实力，在高性能效劳器中引进了大量的主机上的先进技术，依靠 整体 的系统解决方案保证系统的可用性和牢靠性，将高性能计算推广应用到 实际生产处理 系统中。IBM 多年在世界最快 500 套超级计算机中(TOP600)排名第一。截止到 2023 年 11 月，其中前 5 套 IBM 占据前 4 套， 前 50 套 IBM 占有 46%，全部 500 套中 IBM 占 48%。IBM 不仅在硬件技术上处于领先地位，在高性能计算软件方案上也有着独到之处。对于高性能计算机简单的治理难点 IBM 有同时支持 Unix/Linux 平台的高效治理软件IBM xCAT。对于影响大型高性能集群性能的I/O 难点 IBM 有性能领先的通用并行文件系统IBM GPFS,GPFS 可以依据用户系统规模的不断扩展线性提升系统 I/O 带宽。对于提高系统效率的作业治理软件，IBM 有积存了长期大规模高性能计算阅历的 IBM Tivoli Workload Scheduler Loadleveler，他可以实现资源利用率和吞吐量的最大化。对于影响高性能计算程序的编程环境IBM 有历经几十年的强大编译器最优的SPEC OMP2023 性能和优秀的数学与科学函数库 ESSL, PESSL。IBM 更有经过充分优化的并行运行环境 IBM PE 及调试工具。其次，IBM 在系统层面保证大型高性能计算系统的可用和牢靠性，除上述系统连接、监控和系统治理功能外，IBM 的优势在于 IBM 全球效劳部以其 在高性能计算上多年的阅历和积存，将依据 应用 和 客户 的具体需求对整个系统运行环境的客户化，包括 IP 地址规划、主机名规划、操作系统包规划、各种效劳规划以及集群系统本身的安装、维护、客户化、集群作业的分发、集群资源的安排、并行软件编译环境等等。这点对于高性能计算进入实际生产应用意义深刻。在高性能计算方面，IBM 有一批资深的技术专家，他们不仅了解 IBM 的产品和技术，而且了解行业的应用，生疏行业的应用软件，这些专家负责与应用软件商和客户应用的亲热技术合作和支持，常常地与应用软件开发商一起争论和优化应用软件，使应用软件在 IBM 的计算机体系构造上运行得更好。有了这些专家的支持，可以使大量的应用软件可以平滑地在 IBM 的平台上运行，帮助用户更好地使用 IBM 的技术和产品，帮助用户调试和优化相应的应用软件。最终，厂家长期、稳定的产品售后效劳和技术支持体系也是保证一个生产处理系统正常运行的因素。IBM 中国公司在 1998 年就投资 1500 万美元成立了国内最大的技术支持中心IBM 中国技术支持中心IBM China Technical Support Center，即 TSC，为国内的用户、代理商及 IBM 内部供给技术支持效劳。正是由于 IBM 在高性能计算方面长期以来的不懈努力，使 IBM 在 大规模高性能计算方面拥有大量用户安装并已进入实际生产运行。并且，IBM 公司与业内多家应用软件供给商和效劳商有大量的合作和成功案例， IBM 的高性能计算解决方案能在硬件和系统的层面满足应用的需要，IBM 中国公司在此供给建议书，其目的在于依据 IBM 在并行计算工程方面的多年阅历，为用户供给一个技术上的参考意见，并通过 IBM 的效劳支持，帮助用户以最高的性价比获得稳定、牢靠的运行。第 4 章 CAE 高性能计算系统设计原则应用通用性原则如上所述，不同 CAE 软件对计算机系统的需求差异很大，例如 NASTRAN 应用对内存和 I/O 的要求很高；而CFD 类的应用对 CPU 速度及网络连接有较高的要求。为此，该计算机系统必需是一个平衡的系统，在 CPU 速度、内存容量与带宽、存储容量与带宽及网络连接等各个方面都不应当存在性能瓶颈。半导体技术和计算机技术的飞速进展，使得不停地有技术消灭以提高某一方面的力量，因此综合优化利用全部在某一时刻最最先进最成熟的技术才能建立一个全方面均衡的系统，任何一个主要部件的先进不代表整个系统的先进，任何一个主要部件的落后也会导致整个系统的落后。但毋庸置疑，一个全面实现均衡设计的先进系统必定是一个本钱较高的系统，最先承受技术通常都会带来一些额外的代价。因此设计一个有具有不同特点的多个子系统构成的高性能计算系统也是一个对 CAE 应用格外适合的做法。但这类系统应当具有一个较好的治理机制，能够将不同特点的作业分发到最适合的子系统上进展运算，以获得总体上均衡的效果。系统高扩展性原则CAE 高性能计算系统在提升作业吞吐力量支持多用户、多作业的同时， 还有一个重要的目标是用来支持中、小规模计算机系统无法解决的特别业务问 题。为此，该计算机系统不应当是众多低端效劳器的简洁堆叠。用来构建该计算机系统的计算效劳器必需具有强大的处理力量，并协作以高性能的网络连接。下表列出了 Power575 效劳器与 Intel 最的公布的、承受两路 Nehalem 芯片8 核的效劳器的一些指标比照，从中可以看出 Power575 效劳器出了具有强大的计算性能优势外，更是一台性能平衡的系统，在内存及I/O 等各方面均有优异的性能。IBM Power 575 效劳器2-way Nehalem 效劳器性能比理论峰值速度 (GFlops)60193.766.42 倍缓存容量 (MB)6401835.56 倍内存带宽 (GB/s)273328.53 倍I/O 带宽 (GB/s)9419.24.9 倍系统高可用性原则建设大规模的高性能计算机系统将面临众多的技术难题，其中系统的稳定性、安全性及易治理性是该计算机系统应具有的根本特征。最终用户不应当在系统治理和维护上投入过多的人力与物力，而是将精力集中于相应的科研工作。为此，我们推举承受更稳定的 Power 效劳器和牢靠性很高的刀片系统作为计算节点，辅之以成熟的软件系统和关键部件的冗余化设计，从而建立高可用的高性能计算系统。处理器性能最大化原则在 CAE 用户所处的应用领域存在一个现象，即作业的运行时间很难通过增加所使用的处理器数量来削减。下面分别列出了 ANSY