2022年2022年浪潮TS软件系统 .pdf

《2022年2022年浪潮TS软件系统 .pdf》由会员分享，可在线阅读，更多相关《2022年2022年浪潮TS软件系统 .pdf（10页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、- 1 - 浪潮天梭 TS10000高性能软件介绍浪潮天梭TS10000 高性能计算集群产品向用户提供从底层软件到上层应用软件这样一整套的软件系统。我们在高性能集群的软件系统有很深的理解，作了大量测试与验证工作，并在已经实施的案例中与各行业的高性能计算专家和学者进行了深层的交流，加之合作软件厂商的支持，我们在这个领域的经验能使客户得到满意的软件方案。1. 天梭高性能监管软件浪潮 TSMM2.0 管理监控软件是专为浪潮天梭系列服务器产品开发的一款专业服务器管理监控软件。浪潮 TSMM2.0 管理监控软件既可对服务器系统中的节点进行分组监控管理，也可针对某一节点进行单一的管理。为系统管理员提供了一

2、个单一映像的服务器管理界面。 TSMM2.0 管理监控软件汲取了现有流行服务器和集群管理软件的优点，同时在分组管理、 并行操作、 跨平台、单一映像、 准三维的图形界面等方面有独到的优势， 从而大大的降低了用户的管理成本，并提高了用户的管理效率。软件的主要功能有：服务器系统性能信息监控、服务器系统管理。其中：性能信息监控： 收集统计服务器系统内部的性能信息，并在一个直观的图形页面中反映出来，帮助用户掌握服务器系统当前的整体状态和局部状态。服务器系统管理：整合linux 操作系统常用命令，通过图形化的web界面，提供用户一个良好的系统管理接口。软件的功能可以分为3个层次：系统级、功能池级、节点级。

3、其中：系统级主要是为管理整个服务器系统而设置的，主要功能有： 服务器系统构成管理。功能池级主要是为管理不同的功能池而设置的，主要功能有： 功能池的性能信息监名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 10 页 - - - - - - - - - - 2 - 控，功能池管理。节点级主要为了单独管理具体的每个节点而设置，主要功能有： 节点的性能信息监控，节点管理。2. 天梭高性能作业调度系统浪潮TSJM 作业管理软件是专为浪潮天梭系列HPC 产品定制的一款作业管理软件，该

4、软件采用B/S 架构，通过浏览器（IE，firefox 等）进行操作，可以管理集群系统中的软硬件资源和用户提交的作业，根据集群中的资源使用情况来合理的调度用户提交的作业，从而达到提高资源的利用率和作业的执行效率的作用。浪潮作为国内领先的高性能计算集群系统开发商，除了应该为高性能计算的用户提供安全可靠高速互联的集群硬件，还应为客户提供一套完整的集群管理软件，作业管理软件是集群管理系统中非常重要的一部分，它负责管理用户提交的作业,合理地给各个作业分配资源 ,从而确保充分利用集群系统计算能力,并尽可能快地得到运算结果，与集群管理监控软件、部署软件形成一套完整的集群管理系统。软件分为资源管理，系统管理

5、，策略管理，作业管理，记账管理，应用管理六部分。资源管理：管理系统中的集群，功能池，节点等资源，可以对集群，功能池，节点进行查看，添加，修改，删除等操作。系统管理： 管理系统中的主要功能模块，对各个功能进行设置，包括作业批处理器管理，队列管理，用户组管理，用户管理，调度器管理，短信报警管理。策略管理： 该模块负责管理系统中的调度策略，可以对策略进行查看，添加，删除，修改，应用等操作。作业管理： 该模块负责管理作业，可以提交新作业，查看系统中的作业状态，并可以对作业进行重启，挂起，释放，删除等操作。 该模块还可以查看作业的执行日志。记账管理： 该模块负责记录系统中用户组或用户资源的使用量，并对用

6、户组或用户进行计费。应用管理：本软件可以对具体应用进行支持，该模块负责查看，添加，删除应用，设置或修改应用的命令，参数等信息。本软件运行于浪潮天梭系列HPC 产品之上， 需要一台管理节点，可以管理多个集群，拓扑名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 10 页 - - - - - - - - - - 3 - 图如下：Administrator控制台Internet命令结果命令结果Pbs ServerPbs Server命令结果结果命令ClusterClusterMa

7、ui Scheduler命令结果服务器系统含有多个节点，其中包括一个管理节点及多个其他节点。管理节点是用户通过本软件管理服务器系统的接口。管理员可以在管理节点上直接对服务器系统进行管理，也可以通过互联网络在远端维护终端上对服务器系统进行管理。3. 简易强大的系统部署软件在安装操作系统方面，我们使用Kickstart + NFS + DHCP + TFTP + PXELinux 来实现RedHat 网络无光驱自动安装，如果是基于千兆以太网，会极大的缩短安装系统的时间，而且可以多台机器同时安装，这样就会显著地提高工作效率。要使用 Kickstart 网络无光驱安装操作系统，首先我们先要找一台服务器

8、做Installation Server，在此服务器上做以下操作：1、将操作系统盘上的内容复制到Server的一个目录下，并通过NFS把此目录共享出去名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 10 页 - - - - - - - - - - 4 - 2、将 Server配置成 TFTP服务器3、设置 dhcp.conf文件，将 Server配置成 DHCP服务器4、配置 PXElinux ，将 pxelinux 需要的文件拷贝到/tftpboot 目录下这样，一台I

9、nstallation Server 就搭建完成了，将其连接到网络环境内。将需要安装操作系统的机器连接到网络上，进入BIOS 将其设定为从网络启动，就可以网络无盘安装操作系统了。4. 优化的并行计算软件环境在应用方面，Intel 更是和Flunet 等软件厂商共同开发了其后续版本，使软件性能能在Intel 平台上达到最大，而我们浪潮在和Intel 的密切合作过程中，早已把这些优化整合到我们的天梭产品中。为了使我们的硬件平台能够充分发挥效率，也使我们的软件能够完全的、平稳的、高效的运行在该硬件平台上，浪潮高性能团队专门为此开发并使用了一套针对于该硬件平台的并行软件系统：RedHat Linux

10、浪潮 TS10000 集群采用了当前最主流的集群操作系统Linux 。对于公开源码的一款操作系统，它有着非常完善、稳定、全面的应用服务，并且针对于四核平台，最新的Linux 内核较以前版本有了非常大的改进，不仅对我们的硬件平台兼容性更好，而且也使基于该操作系统开发的很多应用得够有很完善的接口和很高的使用效率。Intel C/C+/Fortran/MKL/Vtune针对四核平台优化的编译器、数学函数库、调优软件等 充分释放处理器的强大性能，使用户自己和专业的应用经过此编译器编译后，能够高效在四核平台上运行，并使四核的硬件平台效率得到充分的利用；用户也可以调用Intel 专门针对于四核的数学库，使

11、自己的应用能够更加优化，提高用户应用的运行性能；通过Intel 的调优工具，我们可以清楚的了解到我们的应用在运行时的瓶颈，使我们非常有针对性的进行性能的调优，以便达到效率的最高， 让用户真正感觉到物超所值。应用软件移植服务 浪潮高性能在集群应用软件方面有非常丰富的经验，并且成功的将多款应用于不同行业领域的软件移植到天梭高性能集群当中，并得到了很好的应用，这不仅是浪潮与应用软件厂家进行联合的结果，也是浪潮高性能团队主动协助客户进行名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，

12、共 10 页 - - - - - - - - - - 5 - 软件的移植， 联合测试的结果。主要涉及的行业有生物、物理、化学、数学、 液体力学、建筑、地质勘测、天气预报、生命科学等，主要应用的软件有Dock 、CHARMM 、FLUENT 、高斯、 VASP、MM5 等等。5. 天梭高性能数学库及编译系统天梭产品是高端的计算工具，为了是用户的应用获得最好的性能，浪潮天梭集合了英特尔的系统编译环境、函数库、调优工具，与此同时，天梭系统支持大部分开源的编译器、函数库，以便使一部分用户在自己熟练的平台下工作。5.1.英特尔 C+ 或 Fortran编译器编译器是将用户的源代码转换成可执行二进制代码的

13、工具，其性能的好坏可以影响软件在系统中的性能发挥。由于编译器的效率和处理器息息相关，因此在大部分的系统中一般都是由处理器厂商来提供编译器，以提高编译性能。浪潮天梭系统的计算节点由Intel处理器构建，因此提供高效的 Intel C/C+和 Fortran编译系统。同时兼容GCC 编译器。英特尔 C+或 Fortran编译器可以最大限度提高应用程序在英特尔体系结构上的性能，支持 IA-32 、IA-64 和 Intel?64三种体系结构， 支持最新的多核处理器，并提供了广泛的高级优化、多线程和处理器支持，具体特性如下：多线程应用程序支持：包括用于简单且高效的软件线程技术的 OpenMP以及自动并

14、行，以支持简单有效的软件线程；自动矢量化： 可实现代码并行， 从而利用我们最新的处理器中的 SIMD 流指令扩展（SSE ）指令集架构（SSE 、SSE2 、SSE3 、SSSE3 和 SSE4） ；高性能并行优化程序（HPO ） ：调整并优化循环，并确保自动矢量化、OpenMP 或自动并行能够最充分地利用高速缓存和内存访问，SIMD 指令集和多个内核。在单一通道中进行编译，能够缩短编译时间并产生更多可靠的代码过程间优化IPO：能极大改善频繁的小型或中型函数调用，特别是包含循环中的函数调用的过程。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - -

15、- - - - 名师精心整理 - - - - - - - 第 5 页，共 10 页 - - - - - - - - - - 6 - 档案引导优化PGO ：通过降低指令快取置换 (cache-thrashing)、重组代码布局、缩减代码长度并减少分支预测失误来减少指令缓存的抖动，提高应用程序性能。数据预取： 在程序特定位置插入选择的数据调用预取指令，将被调用的数据项在实际使用之前就被移到了cache 中，对于计算密集型的数科院的气象分析计算，这种绕过内存访问的技术将带来性能显著的改善。卓越的浮点指令处理能力：Intel C+ 编译器使用了整个浮点栈有效执行浮点指令。重叠的指令可以将运算结果放入任

16、何栈寄存器，从而获得优异的性能。尤其适用于计算密集型应用。英特尔 C+或 Fortran编译器在HPC领域有重要作用，在众多领域的应用测试结果中显示，利用英特尔编译器来编译MPI 和应用软件， 与利用 GNU 等编译器相比， 性能有不同幅度的明显提升。5.2.英特尔运算内核库 (Math Kernel Library) 在工程数学领域，需要一套高效能的数学函数库来支撑，以快速处理复杂的数学计算问题。浪潮天梭系统提供了Intel的 Math Kernel Library,来应对复杂的工程计算问题，大大提高计算性能。英特尔MKL是一个包括线性代数、快速傅里叶变换(Fourier transform

17、s)和矢量超越函数 (vector transcendental functions)在内的软件库，可用于英特尔平台上获得高性能的工程设计、科学和金融应用。 英特尔 MKL支持 C 和 Fortran 接口， 针对最新英特尔处理器进行了专门优化。将英特尔运算内核库应用于高性能计算领域，可在不增加投资的基础上，获得意想不到的性能提升。英特尔MKL的具体功能有：线性代数 BLAS 和 LAPACK 利用已针对英特尔处理器进行高度优化的 BLAS 和 LAPACK 例程，获得显著高于同类实施的性能。英特尔 ? MKL 10.0 兼容全新推出的 LAPACK 3.1 版。线性代数 ScaLAPACK

18、ScaLAPACK 的英特尔 ? MKL 实现提供的性能改善非常显著，远远超出标准 NETLIB 实现。线性代数 稀疏矩阵解算器名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 10 页 - - - - - - - - - - 7 - 利用 PARDISO 直接稀疏矩阵解算器解算大型的稀疏线性方程组，该解算器获得了巴塞尔大学的授权， 是一款易于使用、 具备线程安全性、 高性能的内存高效型软件库。英特尔? MKL 还包含共轭梯度解算器和 FGMRES 迭代稀疏矩阵解算器。快速

19、傅立叶变换（FFT）充分利用带有易于使用的新型 C/Fortran 接口的多维 FFT 例程（从 1 维至 7 维） 。英特尔 ? MKL 支持采用相同 API 的分布式内存集群，支持您将工作负载轻松地分布到大量处理器上，从而实现大幅的性能提升。英特尔? MKL 还兼容 FFTW 2.x 和 3.0 接口，从而支持当前的 FFTW 用户轻松将英特尔 ? MKL 集成到现有应用中。矢量数学库借助计算密集型核心数学函数（幂函数、 三角函数、 指数函数、 双曲函数、 对数函数等）的矢量实施提升应用性能。矢量随机数生成器利用我们的矢量随机数生成器加速模拟，与标量随机数生成器相比，它能够显著提升系统性能

20、。LINPACK 性能指标评测英特尔通过免费提供由英特尔 MKL构建的 LINPACK 性能指标评测程序包，来帮您在基于英特尔 ? 架构的系统上获得最佳的性能指标评测结果。5.3.英特尔性能分析调优工具Vtune 用户可以利用英特尔Vtune 性能分析器来对自己开发的软件代码进行性能调优分析， Vtune 有助于提高用户的工作效率。通过该分析工具可识别热点并提出代码改进意见，从而有助于提高代码性能和缩短代码实施时间。Vtune 可同时对多个事件采样，进行多线程分析，直接多重运行比较，可以按进程、线程、模块、函数或指令地址来查看数据，实时监视、实时分析，帮助用户在调试系统时确定软件和硬件的性能瓶

21、颈，并提供解决瓶颈问题的原因分析和优化建议。其特点如下：查找性能瓶颈： 利用最活跃函数的列表，可以快速方便地找到性能瓶颈，并对程序代码提出内核级的调优建议。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 7 页，共 10 页 - - - - - - - - - - 8 - 最耗时函数的列表采样功能：使开发人员用几乎可以忽略不计的开销换来对软件实际性能的最准确表示；提供“分时采样”视图，帮助用户理解软件性能特征如何随时间流逝而发生改变。采样功能视图使用调用图评测查找关键路径：调用图确定

22、调用序列并使用图形显示关键路径。它还会显示瓶颈的相关内容。为了提高效率， 开发人员不仅需要了解应用程序将时间花费在何处，还要了解应用程序是如何达到此处的。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 8 页，共 10 页 - - - - - - - - - - 9 - 查看以红色显示的关键路径计数器监视器： 计数器监视器在运行时供开发人员跟踪系统活动，确定是否会因为可用内存减少或文件输入/ 输出性能问题而导致应用程序速度变慢等系统级性能问题。计数器监视器视图筛选数据以找出答案：采样

23、结果的表和条形图视图以多种不同的方式筛选数据，例如以进程、线程、模块或热点等，以便找出您所需的信息。低开销采样评测：使用基于事件的采样只需极低的开销（通常不到 5 ）即可为您找到瓶颈。 确定诸如缓存缺失、 分支预测失败等问题。由于采样在系统范围内进行，名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 9 页，共 10 页 - - - - - - - - - - 10 - 因此，基于事件的采样可用于调试函数库、驱动程序以及应用程序。5.4.英特尔跟踪分析器和跟踪采集器“英特尔 (R) 群

24、集工具”包括：Trace analyzer、Trace Collector，帮助高性能并行计算系统的开发和管理人员获得最佳应用程序性能。这些工具可帮助开发人员在基于英特尔处理器的系统群集上创建、分析、优化及部署高性能应用程序。“英特尔 (R) 跟踪分析器”与“英特尔(R) 跟踪采集器”可提供基于事件的跟踪数据，帮助优化软件。集群工具提供了非常有价值的手段来优化MPI程序，它可以提供关键信息，从而可借助MPI 通信快速找到性能瓶颈，进而了解和优化 MPI 集群性能。主要有以下特点：使用快速界面管理画面显示 MPI 任意时间间隔内的通信统计信息提供函数组和通信在特定并行执行阶段的时间线显示、调用图及性能信息显示并行应用程序的并发行为可跟踪多线程 MPI 应用程序，快速生成跟踪文件提供结构化跟踪文件（STF）格式以便实现缩放功能按函数或进程分组的运行时行为的详细视图使用代码插入功能跟踪 C+ 和 Java 类层次结构以上软件是由浪潮与Intel合作在天梭系统中测试后，整合到天梭产品方案中的。以上软件是由浪潮与Intel 合作在天梭系统中测试后，整合到天梭产品方案中的。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 10 页，共 10 页 - - - - - - - - -