GPFS配置手册.pdf
江西省农信社 GPFS 安装手册目录目录1.江西省农信社 GPFS 规划.错误错误!未定义书签。未定义书签。江西省农信社 GPFS 集群规划.错误错误!未定义书签。未定义书签。集群 Quorum 方式.错误错误!未定义书签。未定义书签。NSD 磁盘组成.错误错误!未定义书签。未定义书签。文件系统基本信息.错误错误!未定义书签。未定义书签。GPFS 系统环境示意图.错误错误!未定义书签。未定义书签。2.GPFS 安装前准备.错误错误!未定义书签。未定义书签。安装介质及补丁准备.错误错误!未定义书签。未定义书签。Openssl 及 Openssh.错误错误!未定义书签。未定义书签。Linux 节点安装 ksh.错误错误!未定义书签。未定义书签。Linux 节点修改网络参数.错误错误!未定义书签。未定义书签。3.GPFS 安装配置.错误错误!未定义书签。未定义书签。配置 ssh 信任关系.错误错误!未定义书签。未定义书签。AIX 安装 GPFS 软件.错误错误!未定义书签。未定义书签。Linux 安装 GPFS 软件.错误错误!未定义书签。未定义书签。GPFS 集群配置.错误错误!未定义书签。未定义书签。4.GPFS 日常维护.错误错误!未定义书签。未定义书签。GPFS 启动.错误错误!未定义书签。未定义书签。GPFS 停止.错误错误!未定义书签。未定义书签。查看 GPFS 使用状况.错误错误!未定义书签。未定义书签。1.1.江西省农信社江西省农信社 GPFSGPFS 规划规划1.11.1江西省农信社江西省农信社 GPFSGPFS 集群规划集群规划操作系统 76 76 for Power for Power for Power for Power for Power for Power for Power集群角色Quorum-managerQuorum-managerclientclientclientclientclientclientclientIP 地址节点名 for Power for Power for Power for Power for Power for Power for Power for Power for Power for Power for Power for Power for Power for Power for Power for Power for Power for Power for Power for Power for Power for Powerclientclientclientclientclientclientclientclientclientclientclientclientclientclientclientclientclientclientclientclientclientclient for Power for Power for Power for Power for Power for Power for Power for Power for Power for Power for Power for Power for Power for Power for Power for Power for Power for Power for Powerclientclientclientclientclientclientclientclientclientclientclientclientclientclientclientclientclientclientclient1.21.2集群集群 QuorumQuorum 方式方式集群 Quorum 方式采用 Node Quorum+Tiebreaker disks,两个 AIX 节点加上一块专用的SAN磁盘,目前只有一个AIX节点,第二个AIX节点和SAN磁盘需要后续添加。1.31.3NSDNSD 磁盘组成磁盘组成NSD_NAMEFS_NAMENSDLISTSERVERSPV_NAMESIZEhdisk2500Gbjxrccb_nsd1gpfs1.41.4文件系统基本信息文件系统基本信息1.51.5GPFSGPFS 系统环境示意图系统环境示意图GPFS Server:GPFS Server:2 个 AIX 分区连接 V7000SAN Storage:SAN Storage:SVCGPFS Client:GPFS Client:48 个 Power Linux 分区GPFSGPFS 管理网络管理网络:千兆交换机2.2.GPFS GPFS 安装前准备安装前准备2.12.1安装介质及补丁准备安装介质及补丁准备安装包:GPFS 3.5.0补丁：GPFS-2.22.2OpensslOpenssl 及及 OpensshOpenssh确认 AIX 上 openssl 及 openssh 是否已安装,Linux 默认已经安装;lslpp-l|grep open2.32.3LinuxLinux 节点安装节点安装 kshksh2.42.4#rpm-ivhrpm-ivh节点修改网络节点修改网络参数参数修改/etc/文件,需修改的网络参数如下:#increase Linux TCP buffer limits=8388608=8388608#increase default and maximum Linux TCP buffer修改完毕后执行 sysctl-p/etc/让配置生效3.3.GPFSGPFS 安装配置安装配置3.13.1配置配置 sshssh 信任关系信任关系在节点上生成并配置 ssh 密钥对#ssh-keygen-t rsa#cd.ssh#lsid_rsa#cat authorized_keys#chmod 600 authorized_keys#echo StrictHostKeyChecking no config#chmod 600 config修改各节点的/etc/hosts 文件,加入对集群中各节点的别名和 ip 地址验证本机无需密码的 ssh 登录#ssh hostname将.ssh 目录复制到其他各节点#scp-r/.ssh -r/.ssh#scp-r/.ssh#scp-r/.ssh验证各节点间无密码的 ssh 登录3.23.2AIXAIX 安装安装 GPFSGPFS 软件软件目录下1）安装包放在/home/gpfsaix/iso2）切换/home/gpfsaix/iso 目录下,通过 smitty installp 安装 GPFS 软件3)安装补丁版本，需要升级到以上，补丁下载地址：&product=ibm/power/IBM+General+Parallel+File+System&release=&platform=AIX&function=all下载后上传到服务器后解压：gzip-d-c|tar-xvf-使用 smitty update_all 安装补丁4）安装后检查#lslpp-l|grep gpfs如果之前已经创建了 cluster，在所有 node 都 down 的状态下，加载 GPFS版本到最新版本：mmchconfig release=LATEST;如果是新装的 GPFS,则可以忽略此步。3.33.3LinuxLinux 安装安装 GPFSGPFS 软件软件1)上传安装介质安装文件位于/home/gpfsrpm/，补丁文件位于/home/gpfsrpm/updte；2)安装 GPFS 软件在安装介质所在目录下执行：#rpm-ivh gpfs*.rpm3)升级 GPFS 软件版本在补丁文件所在目录下执行：#rpm-Uvh gpfs*.rpm4)检查安装结果#rpm-qa|grep gpfs5)Building the GPFS portability layer#cd/usr/lpp/mmfs/src#make Autoconfig#make World#make InstallImages3.43.4GPFSGPFS 集群配置集群配置修改系统环境变量AIX 平台下修改/etc/environment 在 PATH 后增加/usr/lpp/mmfs/bin#vi/etc/environmentLinux平台下修改/root/.bashprofile,在PATH后增加/usr/lpp/mmfs/bin创建集群按照规划，本次集群中包含 1 个 AIX 节点和 48 个 Linux client；首先在1 个 AIX 节点平台创建 GPFS 集群创建集群定义文件#cd/home#mkdir gpfs#cd gpfs#vi jxrcc_cluster:quorum-managera)创建 GPFS 集群#mmcrclusterNjxrccb_clusterp-r/usr/bin/ssh-R/usr/bin/scp-C jxrccb_clusterA#mmcrcluster-Njxrccb_cluster-p-r/usr/bin/ssh-R/usr/bin/scp-C jxrccb_cluster-AWarning:Permanently added (RSA)to the list of known hosts.Tue Nov 19 20:01:38 CST 2013:6027-1664 mmcrcluster:Processingnode Command successfully completedmmcrcluster:6027-1254 Warning:Not all nodes have proper GPFSlicense designations.b)配置许可#mmchlicense server-accept-Nc)#mmchlicense server-accept-NThe following nodes will be designated as possessing GPFSserver licenses:Command successfully completed添加 Linux 节点通过如下命令依次添加 48 个 Linux 节点：#mmaddnode N mmchlicense server-accept-N#mmaddnode N mmchlicense server-accept-N 查看集群状态#mmlsclusterd)修改集群参数#mmchconfig prefetchThreads=1000 N#mmchconfig pagepool=4G N#mmchconfig failureDetectionTime=15#mmchconfig MaxMBps=4096e)启动集群#mmstartup-a启动后，查看集群状态#mmgetstate-a确保所有节点的状态为 Activea)创建 NSD 磁盘修改 fscsi 参数在所有直接访问 SAN 盘的节点上执行#lsdev|grep fscsi|awk print chdev-l,$1,-a dyntrk=yes-afc_err_recov=fast_fail|shb)识别外置存储磁盘在所有直接访问 SAN 盘的节点上执行#cfgmgrc)修改 hdisk 参数在所有直接访问 SAN 盘的节点上执行#lsdev-Ccdisk|grepMPIO|awkprintchdev-l,$1,-aalgorithm=round_robin-aqueue_depth=8-areserve_policy=no_reserve|shd)创建 NSD 描述文件#cd/gpfs#vihdisk2:jxrccb_nsd1:hdisk3:jxrccb_nsd2:备注文文件件格格式式：DiskName:ServerList:DiskUsage:FailureGroup:DesiredName:StorageDiskName:ServerList:DiskUsage:FailureGroup:DesiredName:StoragePoolPool在本集群中，将 AIX 节点定义为 NSD Server，如果 NSD 较多可以将每块盘的首选 NSD Server 设置为不同，以均衡 NSD Sever 的负载；e)生成 NSD 盘#mmcrnsd-Ff)查看 NSD 盘#mmlsnsd#mmlsnsd File system Disk name NSD servers-(free disk)jxrccb_nsd1(free disk)jxrccb_nsd2定义 Tiebreaker disks集群处于 Down 状态时才能定义；#mmshutdown-a#mmchconfig tiebreakerDisks=定义后可用如下命令查看；#mmlsconfig创建 GPFS 文件系统#mmcrfs gpfs-F -A yes-B 512K-T/gpfs#mmcrfs gpfs-F -A yes-B 512K-T/gpfsGPFS:6027-531Thefollowingdisksofgpfswillbeformatted on node ABSGPFS1:jxrccb_nsd1:size 2 KB jxrccb_nsd2:size 2 KBGPFS:6027-540 Formatting file system.GPFS:6027-535 Disks up to size TB can be added to storagepool system.Creating Inode FileCreating Allocation MapsCreating Log FilesClearing Inode Allocation MapClearing Block Allocation MapFormatting Allocation Map for storage pool systemGPFS:6027-572Completedcreationoffilesystem/dev/gpfs.通过 mmlsconfig 或 mmlsfs all 命令可以看到所创建的文件系统#mmlsconfig挂载集群文件系统#mmmount all-a挂载后查看集群文件系统的 mount 状态#mmlsmount allFile system gpfs is mounted on 49 nodes.修改文件系统 inode 最大值#mmchfs gpfs-inode-limit修改挂载文件系统的最大节点数#mmchfs gpfs n=128查看文件系统的属性#mmlsfs allGPFS 文件系统支持的最大 inode 数，可根据如下公式进行计算：maximum number of files=(total file system space)/(inode sizemaximum number of files=(total file system space)/(inode size+subblock size)+subblock size)备注:subblock size是创建文件系统时所指定 Block size的1/32；例如：按文件系统400G，inodesize为512bytes，Blocksize为512k来计算maximumnumberof files=(600*1024*1024*1024)/(512+524288/32)=4.4.GPFSGPFS 日常维护日常维护4.14.1GPFSGPFS 启动启动启动所有的节点：mmstartup a启动单个节点：例如启动节点4.24.2mmstartupmmstartup N N 停止停止GPFS 停止步骤：umount 挂载的 FS?停止所有的 nodeumount 挂载的 FS：umount 所有节点mmumount aumount 某一个节点：mmumount fsname N gpfswas2停止所有的节点：mmshutdown a停止某一个节点：mmshutdown N gpfswas24.34.3查看查看 GPFSGPFS 使用状况使用状况mmdf gpfs
