pbs作业管理系统曙光.pptx

《pbs作业管理系统曙光.pptx》由会员分享，可在线阅读，更多相关《pbs作业管理系统曙光.pptx（53页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、2023/3/181内内内内 容容容容任务管理系统概述PBS作业调度系统作业调度系统的使用第1页/共53页2023/3/182任务管理系统的功能任务管理系统的功能任务管理系统的功能任务管理系统的功能单一系统映象机群松散的结构的整合系统资源整合异构系统的整合多用户的管理用户提交的任务的统一安排，避免冲突用户权限的管理非授权用户的控制第2页/共53页2023/3/183任务管理系统的简史任务管理系统的简史任务管理系统的简史任务管理系统的简史第3页/共53页2023/3/184任务管理系统的分类任务管理系统的分类任务管理系统的分类任务管理系统的分类基于进程级别的调度由机群中的操作系统或者运行时Run

2、time内部支持，对运行的作业进行监控；以实现机群内的透明调度、以及自动优化进程的分配和平衡负载 基于作业级别的调度这种方式由独立的作业管理系统实现。该系统通过专门的入口，接收用户提交的任务，送入相应的队列等待调度；并在适当的时机分配资源，为任务创建作业，将作业提入运行，在作业运行结束后完成收尾工作，并提供记帐功能。管理员和用户还可以在机群中查询并预订符合要求的资源，从而实现对作业和资源的全程交互控制。第4页/共53页2023/3/185任务管理系统的比较任务管理系统的比较任务管理系统的比较任务管理系统的比较管理实现级别管理实现级别 进程级进程级作业级作业级调度方式透明，基于最小负载可以基于网

3、络拓扑/程序特性/负载/自定义策略调度管理层次 低级，仅根据局部信息 高级，根据全局信息负载均衡方式支持动态负载均衡支持静态负载均衡；如有checkpoint功能，可支持动态负载均衡 资源共享仅能够共享硬件资源可以共享硬件、软件和证书等资源服务质量Qos可能造成大作业饥饿，无Qos只要策略适当，可以保证Qos机群一致性的层次入口不一致，仍为多机系统；可以提供存储一致性 提供单一系统入口和存储一致性对用户权限、资源和作业的高级管理策略无法实现能够很好地实现系统结构规模可扩展 如果规模过大，会遇到前述的O（）的通讯问题，难以扩展 通讯量与系统规模成线形放缩，可以很好的扩展对作业类型的限制如前述，不

4、适合于系统调用较多的程序（如I/O密集型）对程序类型无限制第5页/共53页2023/3/186内内内内 容容容容任务管理系统概述PBS作业调度系统作业调度系统的使用第6页/共53页2023/3/187PBSPBS作业调度系统作业调度系统 PBS最初由NASA的Ames研究中心开发，为了提供一个能满足异构计算网络需要的软件包。它力求提供对批处理的初始化和调度执行的控制，允许作业在不同主机间的路由。第7页/共53页2023/3/188PBSPBS的技术特色的技术特色的技术特色的技术特色力求控制对批处理的初始化和调度执行，允许作业在不同主机间的路由。独立的调度模块存有各个可用的排队作业、运行作业和系

5、统资源使用信息，并且允许系统管理员定义资源和每个作业可使用的数量。在作业调度策略上，PBS提供了默认的公平共享和独占FIFO调度策略，还提供了TCL、BACL、C三种过程语言和调度类，并定义了一些调度需要的函数和完整的API，方便实现新的调度策略。提供文件传送，File Stage-in 和Stage-out。满足POSIX1003.2d 标准，支持作业依赖，和完整的安全认证。提供用户映射功能，使PBS 能用于用户不一致的系统中。第8页/共53页2023/3/189PBSPBS的结构的结构的结构的结构第9页/共53页2023/3/1810PBS PBS 的组成的组成的组成的组成服务器:pbs_

6、server调度器:pbs_sched执行器:pbs_mom命令行:用户脚本，管理命令等第10页/共53页2023/3/1811PBS PBS 的基本原理的基本原理的基本原理的基本原理第11页/共53页2023/3/1812PBS PBS 的优缺点的优缺点的优缺点的优缺点支持系统级检查点功能（需底层操作系统支持）很好的大规模扩展性独立的调度模块*支持作业依赖 符合POSIX 1003.2d 标准-只支持Unix类操作系统-多集群协作功能有限-不支持用户级检查点功能第12页/共53页2023/3/1813术术术术 语语语语节点(node)一个单一的操作系统映像，一个统一的虚拟内存映像一个或多个c

7、pu，一个或多个IP地址的计算机系统被称之为一个节点。通常执行主机(execution host)也被称之为节点。节点属性 队列、服务器和节点都有与自己相关的属性，这些属性提供控制信息。与节点相关的属性有：状态、类型、虚拟处理器的个数、作业列表(本节点被分配给的作业)以及节点的特性。节点特性 为了提供一组节点的分配的方法，零个或者多个特性被赋给每个节点。这个特性不过是一串对于PBS没有含义的字母和数字的组合(第一个字符必须是字母)。第13页/共53页2023/3/1814PBS PBS 安装安装安装安装解压源文件包 rootnode1/public#tar-zxvf openpbs-2.3.1

8、6.tar.gz 编译设置 rootnode1/public/OpenPBS_2.3.16./configure-disable-gui-set-server_home=/var/spool/pbs-enable-docs-x-libraries=/usr/X11R6/lib64 其中，-x-libraries=/usr/X11R6/lib64是在X86_64(AMD64或EM64T)上安装时，需要指明系统64位库的位置。编译安装 rootnode1/public/OpenPBS_2.3.16#make rootnode1/public/OpenPBS_2.3.16#make install

9、第14页/共53页2023/3/1815PBSPBS在机群上安装在机群上安装在机群上安装在机群上安装由于节点系统相同，因而可以用如下SHELL script在node2node8上安装；#!/bin/bash for i in seq 2 8 do echo“node$i-“rsh node$i“cd/public/openpbs;make install”echo“-“echo“”done 第15页/共53页2023/3/1816服务进程配置和启动文件服务进程配置和启动文件服务进程配置和启动文件服务进程配置和启动文件系统配置文件/etc/pbs.conf#!/bin/sh pbs_home=

10、/var/spool/pbs 指定系统的pbs的设置的目录位置 pbs_exec=/usr/local 指定pbs可执行程序的目录位置 start_server=1 start_sched=1 当为1是表示守护进程启动，0为守护进程不启动 start_mom=1 系统启动脚本/etc/init.d/openpbs Server的系统启动脚本/etc/init.d/pbs_server Scheduler系统启动脚本/etc/init.d/pbs_sched Mom系统启动脚本/etc/init.d/pbs_mom 第16页/共53页2023/3/1817ServerServer端设置端设置端设

11、置端设置初始化server:(第一次运行或者重新配置)/usr/local/sbin/pbs_server t createServer配置目录/var/spool/pbs/server_priv/节点属性声明：/var/spool/pbs/server_priv/nodesnode2 R220A np=2node3 R220A np=2node4 dualcore np=4node5 dualcore np=4node6 R4280A np=4node7 R4280A np=4第17页/共53页2023/3/1818mom端设置端设置mom配置目录：/var/spool/pbs/mom_pr

12、iv/mom配置文件：/var/spool/pbs/mom_priv/config#MOM server configuration file#if more than one value,separate it by comma.#rule is defined by the name$ideal_load 1.5$ideal_load 1.5$max_load 2$max_load 2#host allowed to connect to Mom server on unprivileged port$restricted*.$restricted*.#log event:#0 x1ff

13、log all events+debug events#0 x0ff just all events$logevent 0 x0ff$logevent 0 x0ff#host allowed to connect to mom server on privileged port$clienthost node1$clienthost node1#alarm if the script hang or take very long time to execute$prologalarm 30$prologalarm 30 第18页/共53页2023/3/1819ServerServer端的动态设

14、置端的动态设置端的动态设置端的动态设置PBS要能正常运行还需要通过qmgr命令的server进行配置，设置一些属性。输入qmgr命令进入配置交互命令。下面是让PBS可以正常运行的一些步骤。创建队列创建队列create queue create queue 队列名队列名 queue_type=Excuttionqueue_type=Excuttion打开和启动队列打开和启动队列set queue set queue 队列名队列名 enable=t,started=tenable=t,started=t打开调度打开调度set server scheduling=tset server schedu

15、ling=t设置默认队列设置默认队列set server default_queue=set server default_queue=队列名队列名第19页/共53页2023/3/1820qmgrqmgr命令（管理员使用）命令（管理员使用）命令（管理员使用）命令（管理员使用）输入qmgr进入交互式模式后即可输入各种命令 qmgr动作：对象类型和操作符 动作动作 对象类型对象类型 对象名对象名 属性属性 操作符操作符 值（，属性值（，属性 操作符操作符 值）值）createcreate创建一个对象创建一个对象deletedelete删除一个对象删除一个对象setset设置对象的属性设置对象的属性

16、unsetunset除去对象的属性除去对象的属性printprint打印对象的属性打印对象的属性listlist列出对象的属性列出对象的属性serverserver服务器服务器queuequeue队列队列nodenode节点节点第20页/共53页2023/3/1821PBSPBS队列设置队列设置队列设置队列设置导入server配置文件：rootnode1 root#qmgr queue.conf配置文件例子：create queue default create queue defaultset queue default queue_type=executionset queue defau

17、lt queue_type=executionset queue default max_running=20set queue default max_running=20set queue default enabled=Trueset queue default enabled=Trueset queue default started=Trueset queue default started=Trueset server scheduling=Trueset server scheduling=Trueset server max_user_run=20set server max_

18、user_run=20set server default_queue=defaultset server default_queue=default set server query_other_jobs=True set server query_other_jobs=True第21页/共53页2023/3/1822SchedulerScheduler调度行为配置调度行为配置调度行为配置调度行为配置Scheduler的行为由配置目录下的sched_priv/sched_config文件进行控制Sort_by关键字控制调度算法可以选择的选项为 no_sort，shortest_job_fir

19、st，longest_job_first，smallest_memory_first，largest_memory_first，high_priority_first，low_priority_first，multi_sort，fair_share，large_walltime_first，short_walltime_first修改这个文件后重新启动scheduler即可。第22页/共53页2023/3/1823内内内内 容容容容任务管理系统概述PBS作业调度系统作业调度系统的使用第23页/共53页2023/3/1824PBSPBS的使用步骤的使用步骤的使用步骤的使用步骤1.准备：编写描述改

20、作业的脚本，包括作业名，需要的资源等。2.提交：使用qsub命令将该作业提交给PBS服务器3.排队：服务器将该任务排入适当的队列4.调度：服务器检查各工作节点的状态是否符合该作业的要求，并进行调度。5.执行：当条件满足时，作业被发给相应的执行服务器执行。程序运行时执行服务器会收集程序的标准输出和标准错误流，等程序结束时，将这些信息返回给用户。6.查询和调整：当作业在运行时，用户可以使用qstat进行状态查询。用户发现作业提交错误时，可以使用qdel删除正在运行的作业。7.查看结果：使用文本编辑软件vi或者系统命令cat,less等查看输出及错误信息显示。第24页/共53页2023/3/1825

21、PBS PBS 的基本命令的基本命令的基本命令的基本命令在PBS系统中，用户使用qsub 命令提交用户程序。用户运行程序的命令及PBS环境变量设置组成PBS作业脚本，作业脚本使用如下格式提交到PBS系统运行：zhaocsnode1$qsub 第25页/共53页2023/3/1826qsubqsub运行参数运行参数运行参数运行参数运运 行行 参参 数数说说 明明-a 向PBS系统指定作业运行的开始时间。作业运行时间格式为：CCYYMMDDhhmm.SS-A 使用不同的用户来提交作业，缺省使用当前用户名-o-e 该参数指定标准错误输出的位置，缺省的情况下，PBS系统把标准输出和标准错误输出放在用户

22、qsub命令提交作业的目录下。标准错误输出：.o标准错误输出：.e路径使用如下格式标准：:-N 指定提交的作业名-q 指定作业提交的目标队列，其中目标队列可以是目标队列、目标节点名或者是目标节点上的队列。如果目标队列是一个路由队列，那么服务器可能把作业路由到新的队列中。如果该参数没有指定，命令qsub会把作业脚本提交到缺省的队列中。-l 该参数指定作业脚本申请的PBS系统资源列表。申请资源列表使用如下格式：=,资源名=，.例如作业希望申请在双路节点上申请5个CPU资源的情况，则可以在脚本中如下：#PBS l nodes=2:ppn=2+:ppn=1第26页/共53页2023/3/1827PBS

23、 PBS 作业脚本作业脚本作业脚本作业脚本注释,以“#”开头PBS指令,以“#PBS”开头SHELL命令#PBS#PBS N vasp.HgN vasp.Hg#PBS#PBS l nodes=8:ppn=2l nodes=8:ppn=2echo This jobs is$PBS_JOBID$PBS_QUEUE echo This jobs is$PBS_JOBID$PBS_QUEUE cd$PBS_O_WORKDIRcd$PBS_O_WORKDIRmpirun-np 16-machinefile$PBS_NODEFILE./vaspmpirun-np 16-machinefile$PBS_NO

24、DEFILE./vasp第27页/共53页2023/3/1828PBSPBS的环境变量的环境变量的环境变量的环境变量变变 量量 名名说说 明明登陆SHELL继承来的变量包括$HOME，$LANG，$LOGNAME，$PATH，$MAIL，$SHELL和$TZ。$PBS_O_HOSTqsub提交的节点名称$PBS_O_QUEUEqsub提交的作业的最初队列名称$PBS_O_WORKDIRqsub提交的作业的绝对路径$PBS_JOBID作业被PBS系统指定的作业号$PBS_JOBNAME用户指定的作业名，可以在作业提交的时候用qsub N 指定，或者在PBS脚本中加入#PBS N。$PBS_NOD

25、EFILEPBS系统指定的作业运行的节点名。该变量在并行机和机群中使用。当在PBS脚本中用#PBS l nodes=2:ppn=2指定程序运行的节点数时，可以使用$PBS_NODEFILE在脚本中引用PBS系统指定的作业运行的节点名。比如：#PBS l nodes=2:ppn=2mpirun np 4 machinefile$PBS_NODEFILE$PBS_QUEUEPBS脚本在执行时的队列名第28页/共53页2023/3/1829PBS PBS 作业脚本作业脚本作业脚本作业脚本注释,以“#”开头PBS指令,以“#PBS”开头SHELL命令#PBS N vasp.Hg#PBS l nodes

26、=8:ppn=2#PBS q node1echo This jobs is$PBS_JOBID$PBS_QUEUE cd$PBS_O_WORKDIRmpirun-np 16-machinefile$PBS_NODEFILE./vasp第29页/共53页2023/3/1830PBS PBS 作业脚本举例作业脚本举例作业脚本举例作业脚本举例#这是一个串行作业脚本的例子这是一个串行作业脚本的例子#PBS N Loop.out#PBS l nodes=1:ppn=1cd/public/home/zhaocs/test/./a.out$HOME/result/a.result#这是一个并行作业脚本的例子

27、这是一个并行作业脚本的例子#PBS N vasp.Hg#PBS l nodes=8:ppn=2#PBS q node1echo This jobs is$PBS_JOBID$PBS_QUEUE cd$PBS_O_WORKDIRmpirun-np 16-machinefile$PBS_NODEFILE./vasp第30页/共53页2023/3/1831详细示例编辑PBS脚本内容如下：（注意，#PBS行不是注释，所有说明行均以#开始，即红色字体部分）#声明作业名为mpi#PBS-N mpi#申请资源数为10个节点，每个节点16个cpu#PBS-l nodes=10:ppn=16#将标准输出信息与标

28、准错误信息合并输出到文件中#PBS-j oe#指定作业提交到low队列#PBS q low#估计最大运算时间为1000小时，若没有设置这项，系统为自动按所在队列默认walltime处理#PBS-l walltime=1000:00:00第31页/共53页2023/3/1832#在作业结束时，给用户发邮件#PBS-m e#声明邮箱地址，如#PBS-M #进入作业调度目录cd$PBS_O_WORKDIR#计算申请的cpu数目NP=cat$PBS_NODEFILE|wc-l#设置计算所需要的环境变量，如使用GNU版OpenMPI运行程序source/public/software/mpi/openm

29、pi1.4-gnu.sh#程序运行部分，使用infiniband网运行此程序mpirun-np$NP-machinefile$PBS_NODEFILE-mca btl self,openib cpi-openmpi第32页/共53页2023/3/1833一个复杂的一个复杂的一个复杂的一个复杂的PBSPBS作业脚本作业脚本作业脚本作业脚本#!/bin/bash#PBS-N jobname#PBS-l nodes=4:ppn=2cat echo$PBS_NODEFILE$HOME/$PBS_JOBID.nodesfor node in cat$HOME/$PBS_JOBID.nodes do rs

30、h$node mkdir/tmp/$PBS_JOBID rsh$node cp-rf$PBS_O_WORKDIR/*/tmp/$PBS_JOBID/donecd/tmp/$PBS_JOBIDmpirun-np 8-machinefile$PBS_NODEFILE$HOME/bin/vaspcp-rf/tmp/$PBS_JOBID/*$PBS_O_WORKDIR/for node in cat$HOME/$PBS_JOBID.nodes do rsh$node rm-rf/tmp/$PBS_JOBID donerm$HOME/$PBS_JOBID.nodes第33页/共53页2023/3/183

31、4查询和取消作业查询和取消作业查询和取消作业查询和取消作业dawningnode1$qstat node1Job id Name User Time Use S Queue-93.node1 test.pbs zhaocs 0 R default95.node1 vasp.Hg vasp 0 E default111.node1 structure amber 0 Q defaultzhaocsnode1$qdel 93.node1第34页/共53页2023/3/1835查询作业运行的位置查询作业运行的位置查询作业运行的位置查询作业运行的位置zhaocsnode1$pbsnode-azhaoc

32、snode1$qstat fzhaocsnode1$qstat-r第35页/共53页2023/3/1836ansys单节点计算ansys110-np 4-i wing.inp跨节点计算：ansys110-dis-machines node22:4:node23:4-i wing.inp第36页/共53页2023/3/1837ansys.pbs#!/bin/bash#PBS-N ansys_wing#PBS-l nodes=1:ppn=8#PBS-j oerm host.list-rffor node in cat$PBS_NODEFILEdoecho-e MPI_REMSH=/usr/bin/

33、rsh-h$node-np 1/home/demo/fluent/bin/ansys_inc/v110/ansys/bin/ansysdis110-dis-mpi HPMPIdone host.listansys110-mpifile./host.list-i wing.inp第37页/共53页2023/3/1838创建ma-node22node23-需要注意最后有一个空行。fluent 3d t16 cnf=./ma p-g i fluent.jou第38页/共53页2023/3/1839fluent.pbs#!/bin/bash#PBS-N fluent_8cpu#PBS-l nodes=

34、2:ppn=4#PBS-j oeNPROCS=wc-l&m1_n2p8.out第39页/共53页2023/3/1840cfxcfx5solve-def Benchmark.def-par-dist-start-method“HP MPI distributed Parallel”node1*2,node2*2第40页/共53页2023/3/1841cfx.pbs#!/bin/bash#PBS-N CFX_8cpu#PBS-l nodes=4:ppn=2CFX_DEF_FILE=Benchmark.def#You dont need to modify the lines below#PeHos

35、tfile2MachineFile()cat$1|while read line;do#echo$line host=echo$line第41页/共53页2023/3/1842#add here code to map regular hostnames into ATM hostnames if -z$mList;then mList=$host*1 else mList=$mList,$host*1 fi echo$mList doneCFX_PBS_NODEFILE=/tmp/cfx_whoami_$PBS_JOBIDPeHostfile2MachineFile$PBS_NODEFILE

36、$CFX_PBS_NODEFILENPROCS=wc-l$PBS_NODEFILEcd$PBS_O_WORKDIR/public/software/ansys_inc/v110/CFX/bin/cfx5solve -def$CFX_DEF_FILE-par-dist tail-n1$CFX_PBS_NODEFILE-start-method HP MPI Distributed Parallel第42页/共53页2023/3/1843abaqus/public/software/ABAQUS/6.8-PF3/site/abaqus_v6.env-mp_mpi_implementation=HP

37、hpmpipath=driverUtils.locateFile(os.environ.get(ABA_PATH,),External/mpi/hpmpi-2.2.5.1/bin,mpirun)mp_mpirun_path=HP:hpmpipathmp_rsh_command=rsh-n-l%U%H%Cmp_host_list=node1,8,node2,8-abq68pf3-j example cpus=16第43页/共53页2023/3/1844abaqus.pbs#!/bin/sh#PBS-N ABAQUS_4cpu#PBS-l nodes=2:ppn=2#PBS-j oeINPUT_F

38、ILE=circuit.inpOUTPUT_FILE=abaqus.logABAQUS_EXEC=/public/software/abaqus/Commands/abaqusABAQUS_ENV=/public/software/abaqus/6.5-6/site/abaqus_v6.env#for abaqus/standardABAQUS_STANDARD_MEMORY=4096 mbABAQUS_PRE_MEMORY=4096 mbABAQUS_SCRATCH=/tmpABAQUS_MP_MODE=THREADS第44页/共53页2023/3/1845#for abaqus/expli

39、ctABAQUS_MP_MODE=MPI#You dont need to modify the lines below#GetNodeList()np=1 while read line;do host=$line if !-z$lasthost;then if$host=$lasthost;then np=expr$np+1第45页/共53页2023/3/1846 else if -z$mList;then mList=$lasthost,$np else mList=$mList,$lasthost,$np fi np=1 fi fi lasthost=$host done$1第46页/

40、共53页2023/3/1847 if -z$mList;then mList=$lasthost,$np else mList=$mList,$lasthost,$np fi echo$mListNODE_LIST=GetNodeList$PBS_NODEFILENPROCS=wc-l$PBS_NODEFILEcd$PBS_O_WORKDIR第47页/共53页2023/3/1848cp$ABAQUS_ENV abaqus_v6.envcat abaqus_v6.envstandard_memory=$ABAQUS_STANDARD_MEMORYpre_memory=$ABAQUS_PRE_ME

41、MORYscratch=$ABAQUS_SCRATCHmp_mode=$ABAQUS_MP_MODEmp_host_list=$NODE_LISTEOFecho$ABAQUS_EXEC int j=$INPUT_FILE cpus=$NPROCS&$OUTPUT_FILE$ABAQUS_EXEC int j=$INPUT_FILE cpus=$NPROCS&$OUTPUT_FILE第48页/共53页2023/3/1849feko.pbs#!/bin/bash#PBS-N feko_4cpu#PBS-l nodes=2:ppn=2#PBS-j oeNPROCS=wc-l$PBS_NODEFILE

42、cd$PBS_O_WORKDIRrunfeko horn.fek-np$NPROCS-machines-file$PBS_NODEFILE第49页/共53页2023/3/1850错误处理错误处理错误处理错误处理作业提交后处于排队状态 没有可用的节点，也就是节点资源被其他作业使用；节点处于忙状态;调度器失效;指定的节点失效，或者节点上的mom失效作业提交后异常结束 脚本文件使用的是windows格式 脚本中使用一些命令路径问题 脚本退出但是作业没有退出 用户使用的文件的权限问题处理方法的原则是查看作业的标准输入和标准错误输出的结果第50页/共53页2023/3/1851错误处理（续）错误处理（续

43、）错误处理（续）错误处理（续）如果环境配置错误，可能导致作业反复在等待状态和运行状态转换，可以通过“qdel 作业号”将该作业删除再重新配置环境。可能出现作业显示为运行状态，但是已经没有活动的进程，可通过“qsig SIGNULL 作业号”通知server作业已经退出。作业的输出无法传出，可能是以下原因造成：目标主机不被信任，并且用户没有.rhost文件指定了一个错误的路径名指定的目标目录不可写目标主机的用户.bash_rc执行时产生了输出。执行主机的PWS的spool目录没有使用正确的权限，这个目录必须使用1777权限（drwxrwxrwx）。第51页/共53页2023/3/1852 谢谢！第52页/共53页2023/3/1853谢谢您的观看！第53页/共53页