HACMP原理及应用简介.ppt

《HACMP原理及应用简介.ppt》由会员分享，可在线阅读，更多相关《HACMP原理及应用简介.ppt（80页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、HACMPHACMP原理及应用简介原理及应用简介主要内容主要内容Topic 1、几种常见的提高系统可靠性的技术Topic 2、HACMP的工作原理Topic 3、HACMP的管理Topic 4、HACMP应用案例Topic 5、HACPM troubleshootingAppendix、共享LVM的定义Topic 1:几种常见的几种常见的提高系统可用性的技术提高系统可用性的技术提高系统可靠性的相关技术提高系统可靠性的相关技术容错技术磁盘阵列技术热插拔技术集群技术灾难恢复技术容错技术容错技术 容错技术是指在硬件和软件出现故障时，仍能完成处理和运算，不降低系统性能，即利用冗余技术，使计算机具有容忍

2、故障的能力。可以通过硬件和软件方法实现。常见的容错技术：冗余CPU、内存、通信子系统、磁盘、电源等；自动故障检测故障部件、隔离和联机更换故障部件；磁盘阵列技术磁盘阵列技术 磁盘阵列（DISK ARRAY）是一个由硬盘控制器控制的多个硬盘的相互连接，使多个硬盘的读写同步，减少错误，提高效率和可靠性的技术；RAID（REDUNDANT Array of Inexpensive Disk）是磁盘阵列技术标准，也就是利用多余的磁盘对信息进行冗余保存，从而提高磁盘系统的可靠性。常见的等级有1、0+1、3、5等。不同等级的不同等级的RAID技术的比较技术的比较热插拔技术热插拔技术 热插拔技术（Hot-Sw

3、appable）以前主要用于磁盘阵列中，在有一个硬盘坏掉的情况下，服务器可以不用关机，直接抽出坏掉的硬盘，换上新的硬盘。现在有些厂家对于其他的部件，也可以采用热插拔技术。如控制卡、电源等。集群技术集群技术集群（Cluster）技术是利用HA（High Availability）双机热备份软件,通过避免系统的单点故障，来提高客户计算机系统及其应用的可靠性。集群技术已用于多种平台：UNIXOpen VMSNovellWindows NT灾难恢复技术灾难恢复技术必要性 数据的高度集中；自然灾害，如水灾、火灾、地震等；其他来自计算机系统以外的问题，如电力系统故障；灾难恢复技术的两大技术要素：瞬时复制技

4、术连续和周期性更新灾难恢复技术和集群技术的比较灾难恢复技术和集群技术的比较Topic 2 HACMP工作原理工作原理HACMP双机系统的工作原理双机系统的工作原理1.1.作为双机系统的两台服务器（主机作为双机系统的两台服务器（主机A A和和B B）同时运行）同时运行HACMPHACMP软件软件2.2.服务器除正常运行自己的应用外，同时又作为对方的服务器除正常运行自己的应用外，同时又作为对方的备份主机（节点关系为备份主机（节点关系为CascadingCascading）3.3.两台主机系统（两台主机系统（A A和和B B）在整个运行过程中，通过）在整个运行过程中，通过“心心跳线跳线”相互监测对方

5、的运行情况（包括系统的软硬件相互监测对方的运行情况（包括系统的软硬件运行、网络通讯和应用运行情况等）运行、网络通讯和应用运行情况等）HACMP双机系统的工作原理（续）双机系统的工作原理（续）4.4.一旦发现对方主机的运行不正常（出故障）时，故一旦发现对方主机的运行不正常（出故障）时，故障机上的应用就会立即停止运行，本机（故障机的障机上的应用就会立即停止运行，本机（故障机的备份机）就会立即在自己的机器上启动故障机上的备份机）就会立即在自己的机器上启动故障机上的应用，把故障机的应用及其资源包括用到的应用，把故障机的应用及其资源包括用到的IPIP地址地址和磁盘空间等）接管过来，和磁盘空间等）接管过来

6、，使故障机上的应用能使故障机上的应用能在本机继续运行在本机继续运行。HACMP双机系统的工作原理（续）双机系统的工作原理（续）5.5.应用和资源的接管过程由应用和资源的接管过程由HAHA软件自动完成，无软件自动完成，无需人工干预需人工干预6.当两台主机正常工作时，也可以根据需要将其当两台主机正常工作时，也可以根据需要将其中一台机上的应用人为切换到另一台机中一台机上的应用人为切换到另一台机(备份机备份机)上运行上运行HACMP特点特点三大特点：高可用性表现在可以隔离或减少机器、资源或设备失败带来的影响，防止单点故障：如CPU、内存、控制卡、I/O子系统、通讯子系统。HACMP(High Avai

7、lability Cluster Multi-Processing，高可容错、多处理系统集群)是基于UNIX平台处理关键事物、提供高可用性的软件。HACMP特点（续）特点（续）可管理性正常工作时，各个节点之间可以分担负载，即可以跑不同的应用。这样可以减少系统的管理费用；在一个节点上，可以管理其他节点的HA配置；高扩展性 支持的节点多达32个；可以方便地加入新的节点、用户或其他的资源；Application layerconsists of the high available application that use HACMP for AIX servicesHACMP for AIX la

8、yerprovides high available services to client applicationRSCT layer(HACMP/ES only)provides greatest scalability and coordination of subsystem for HACMP/ES clustersAIX layerprovides operation system servicesLVM layermanages disk space at the logical levelTCP/IP layermanages commuciation of the logica

9、l levelA model of an HACMP for AIX Cluster Node Minimizing Scheduled Down-Time with HACMPHACMP有关最小化DOWN机时间的几个特性：Dynamic reconfiguration(DARE)DARE resource migration Cluster Single Point of Control(C-SPOC)Dynamic adapter swap for replacing hot-pluggable adapter cardsCluster Events HACMP 是基于事件驱动的AIX环境

10、下的集群软件。事件是 Cluster Manager 能够意识到和处理的集群中状态的改变。cluster event 可以由 网卡、网络、节点的变化或集群的重新配置而激活。当Cluster Manager 检测到集群的状态的改变，它将执行相关脚本来处理该事件。常见的cluster events 如下：node_up and node_up_complete events(a node joining the cluster)node_down and node_down_complete events(a node leaving the cluster)network_down event(

11、a network has failed)network_up event(a network has connected)swap_adapter event(a network adapter failed and a new one has taken its place)Cluster Evnets（续）（续）C-SPOC Utility C-SPOC（Cluster Single Point of Control）工具可以让系统管理员在任何一节点完成对所有节点的管理任务。Maintain user and group accounts Maintain shared Logical

12、Volume Manager(LVM)components Control HACMP services on a cluster-wide basis.优点：减少管理开销；减少节点状态不一致性的可能性；高效管理逻辑卷和控制集群服务。消除的潜在的单点故障包括：Nodes Applications Networks and network adapters Disks and disk adaptersHACMP 用以下的方式来处理节点的失败：Disk takeover IP address takeover(with or without hardware address swapping)单

13、点故障单点故障Components of a HACMP ClusterNodeShared external disks devicesNetworks Public network,Private network,Serial network Ethernet,Token-Ring,FDDI,ATMNetwork Adapters Service network adapter,standby network adapterClientsCluster Topologycluster topology由以下 components 组成：The cluster definitionclust

14、er ID 和name 决定了一个cluster。每个 CLUSTER 的cluster ID and name 必须唯一。Cluster IDs 的范围：1-99999,cluster name 是最大31个字符的字符串。The cluster nodes The network adapters The network modules Serial,Target mode SCCI,Target mode SSA,Ethernet,Token-Ring,FDDI,SLIP,SP Switch,ATMCluster resource and resource groupHACMP中的资源由硬

15、件和软件组成：DisksVolume GroupsFile SystemNetwork AddressesApplication Server为了有效地利用HACMP的高可靠性，每种资源必须定义在resource group中，resource group可以使相关的资源联系成一个逻辑实体，这样易于配置和管理。Resource Group有三种不同的节点关系CascadingConcurrentRotatingNode RelationshipCluster Configuration 有两种类型的Cluster configuration:Standby configurations这是传统

16、的冗余硬件配置，其中，有一个或多个空闲的standby(备份）节点，等待着某个主节点离开集群。对应的节点关系为：Rotating、CascadingTakeover configurations这种配置中，每个节点都有应用在跑，承担集群中的部分负载，没有备份的节点。对应的节点关系为：Cascading、Concurrent。并发存取中各节点的关系并发存取中各节点的关系节点A和节点B同时跑相同的应用，拥有相同的资源，对资源有相同的优先级。采用采用Cascading方式时，方式时，IP地址的变化地址的变化 两个应用A、B分别绑定两个地址：svcA和svcB，正常运行时，应用A在节点A，应用B在节点

17、B。采用采用Cascading方式时，方式时，IP地址的变化（续）地址的变化（续）当节点A的网络出现故障时，应用A在节点B上重新启动，节点B的备份网卡接管了应用A的地址。现在，用户无论是访问应用A，还是应用B，实际上都是节点B提供的服务三个节点、两个应用中的三个节点、两个应用中的Cascading 资源组定义资源组定义节点C分别为应用A和应用B的备份，正常情况下，应用A跑在节点A上，应用B跑在节点B上。非并发存取硬盘的几种配置非并发存取硬盘的几种配置 Hot-Standby Rotating Standby Mutual Takeover Third-Party Takeover 硬盘接管前，

18、文件系统MOUNT在节点A，此时，节点B不能再MOUNT该文件系统，只有通过NFS访问它。非并发存取硬盘的接管过程非并发存取硬盘的接管过程 非并发存取硬盘的接管过程（续）非并发存取硬盘的接管过程（续）节点节点B接管硬盘后，接管硬盘后，相关的文件系统相关的文件系统mount在本地，在本地，可以通过可以通过NFS export 文件系统文件系统 优点：以较低的代价，完成从单机到HACMP的升级。不足：发生切换时，由于备用机的配置较低，可能影响应用的性能。Hot-standby configuration Mutual Takeover Configuration Cluster Manager可以

19、检测到网络的失败，但不能采取措施恢复不再相连的网络。相关措施：将节点接在两个交换机上，形成冗余链路。Network Failure Partitioned Cluster Partitioned Cluster（续）（续）集群中如果某组节点不能与其他组的节点通讯，那么这就是一个分区（partition)的集群。导致的问题导致的问题：争夺资源引起不可预测的问题。采取的对策：采取的对策：利用心跳线组成的逻辑环，来克服节点间由于TCP/IP连接的丢失而引发的数据冲突。Topic 3 Cluster managementCluster DaemonCluster Manager daemon:clst

20、rmgr（强制的）维护节点间的心跳线协议，监控节点及其接口的状态，当网络或节点的状态改变时，激活相关的脚本。Cluster SMUX Peer daemon:clsmuxpd（强制的）维护集群对象的状态信息，与snmpd相关联。Cluster Lock Manager daemon:cllockd（可选的）节点如果是Concurrent Access配置的一部分，则需要启动该进程。Monitoring the Cluster/usr/sbin/cluster/clstatHAView monitor HACMP through NetViewsmit show Cluster Services

21、 显示HACMP进程的状态 log fileCluster log file/var/adm/cluster.log/tmp/hacmp.out/usr/sbin/cluster/history/cluster.mmdd/tmp/cm.log/tmp/emuhacmp.log/tmp/cspoc.l.ogsystem error log Clverify 工具用来检查HACMP修改的AIX系统文件和集群的配置（含拓扑和资源）是否正确，来保证集群能正常工作。运行clverify 工具的三种方式：交互方式、命令行和smit。什么时候需要运行什么时候需要运行clverify？集群环境下，硬件和软件有

22、了改变Clverify Utility softwareverifies that the HACMP-specific modifications to AIX system files exist and are correct.It has one option,lpp.clusterallows you to verify the configuration agreement using the topology and config options:topologyverifies that all nodes agree on the cluster configuration.

23、This program has two options,check and sync:checktells you if the nodes are in agreement.syncsynchronizes the cluster topology,if necessary,so that all nodes agree.configverifies that networks are configured correctly,and that all nodes agree on the ownership and takeover of defined resources.This p

24、rogram has three options,networks,resources,or all:Clverify 检查内容检查内容Topic 4 HACMP应用实例应用实例环境：环境：两台RS/6000 S70 1台7133 磁盘阵列柜(16*36.4GB)AIX V4.3.3 HACMP V4.3 两个应用：计费（Sybase数据库）、WWW（Netscape Enterprise Server)IBM HACMPIBM HACMPIBM HACMPIBM HACMP双机系统结构图例双机系统结构图例双机系统结构图例双机系统结构图例 IBM主机主机(服务器服务器)A 安装安装Hacmp软

25、件软件 运行运行WWW服务服务 共享磁盘阵列共享磁盘阵列（存储子系统（存储子系统)存放存放sybase数据和数据和 WWW信息数据信息数据A-tty1 心跳线心跳线(串口线串口线)b-tty1 Service_ip:10.17.128.88 boot_ip:10.17.128.90 IBM主机主机(服务器服务器)B 安装安装Hacmp软件软件 运行运行SYBASE sStand_ip:192.168.3.2 Service Network Standby Network Service_ip:10.17.128.89 boot_ip:10.17.128.91 sStand_ip:192.168

26、.3.1HACMP软件包含的软件子集软件包含的软件子集 安装HACMP，需要的软件子集如下：cluster.base（每个做服务器的节点上必须安装的子集）cluster.cspoc（单点控制工具）cluster.adt（含 demo clients及其相关的文件）cluster.man.en_US.data（man pages)cluster.msg.en_US (messages)cluster.vsm (可视化系统管理子集）cluster.haview（安装在netview网管工作站上）cluster.taskguides（快速创建共享的卷组的指南）cluster.clvm（并发资源管理）

27、cluster.hc（Application Heart Beat Daemon,OPS需要）HACMP安装配置前需作的准备工作安装配置前需作的准备工作Step 1、划分清楚两台服务器主机各自要运行的应用划分清楚两台服务器主机各自要运行的应用 (如如A机运行机运行SYBASE，B机运行机运行WWW服务）服务）Step 2、给每个应用给每个应用(组组)分配分配Service_ip、Standby_ip、boot_ip（串口的心跳线不需要（串口的心跳线不需要IP)，如：，如：HACMP安装前的准备工作（续）安装前的准备工作（续）主机主机A（运行（运行SYBASE):Service_ip:10.17

28、.128.88 Boot_ip:10.17.128.90 Standby_ip:192.168.3.1 主机主机B（运行（运行WWW服务服务):Service_ip:10.17.128.89 Boot_ip:10.17.128.91Standby_ip:192.168.3.2HACMP安装前的准备工作（续）安装前的准备工作（续）Step 3、按照各主机的应用的要求，建立好各自的磁盘按照各主机的应用的要求，建立好各自的磁盘 组，并分配好磁盘空间组，并分配好磁盘空间Step 4、根据根据HACMP软件的要求，对服务器操作系统的软件的要求，对服务器操作系统的参数作必要的修改参数作必要的修改 HACM

29、P双机系统双机系统的安装及配置的安装及配置HACMP(High Availability Cluster Multi-Processing)的安装配置步骤如下：Step 1、在两台服务器上分别安装HACMP软件(smit)Step 2、分别配置两台服务器的Service、Standby和boot IP 地址，保证Service 网和Standby网能ping通(smit tcpip)Step 3、连接HACMP的心跳线（串口线），并保证该心 跳线畅通 IBM HACMP双机系统双机系统的安装及配置的安装及配置(续续)Step 4、确定HACMP的Cluster Name or ID、Nodes

30、 Name、Adapter Name等，并修改好下面一些系统文件：(1)/etc/hosts (2)/.rhosts (3)/usr/cluster/etc/clhosts IBM HACMP双机系统双机系统的安装及配置的安装及配置(续续)Step 5、配置HACMP TOPOLOGY(smit hacmp)(1)配置Cluster Name or ID smit hacmp Cluster Configration Cluster Topology Configrue Cluster (2)配置Cluster Nodes(Configrue Nodes)smit hacmp Cluster

31、Configration Cluster Topology Configrue Nodes IBM HACMP双机系统双机系统的安装及配置的安装及配置(续续)(3)配置Adapters smit hacmp Cluster Configration Cluster Topology Configrue Adapters (4)同步Cluster Topology，若出错，检查原因 smit hacmp Cluster Configration Cluster Topology Syncchronize Cluster Topology IBM HACMP双机系统双机系统的安装及配置的安装及配置

32、(续续)Step 6、配置HACMP RESOURCES(用smit hacmp命令)(1)配置Application Server(Name,Start,Stop Script)smit hacmp Cluster Configration Cluster Resources Define Application Servers (2)配置Resource Group smit hacmp Cluster Configration Cluster Resources Define Resource Group IBM HACMP双机系统双机系统的安装及配置的安装及配置(续续)Step 6、配

33、置HACMP RESOURCES(续)(3)Chnagine/Show Resource for a Resource Group smit hacmp Cluster Configration Cluster Resources Chnagine/Show Resource for a Resource Group (4)同步Cluster Resources(出错时，检查原因）smit hacmp Cluster Configration Cluster Resources Synchronize Cluster Resources IBM HACMP双机系统双机系统的安装及配置的安装及配

34、置(续续)Step 7、检查HACMP CONFIGURATION(用smit hacmp):smit hacmp Cluster Configration Cluster VerificationStep 8、HACMP的启动及关闭（用smit hacmp命令）（1）启动过程：smit hacmp Cluster Services Start Cluster Services IBM HACMP双机系统双机系统的安装及配置的安装及配置(续续)Step 8、HACMP的启动及关闭（续）（2）关闭过程：smit hacmp Cluster Services Stop Cluster Servic

35、esStep 9、HACMP功能的测试 在HACMP配置完成并检查没有错误后，即可 按8的方法启动HACMP，进行功能测试。包括应 用在同一台服务器的两个网卡能否切换，在两台 服务器间能否切换等。可用命令：#netstat-in 来看地址的切换情况安装HACMP及应用时必须注意的问题：1、boot-address和service-address 必须在同一个子网;2、有关应用的start script 和stop script在参与的节点中，必须在同一个目录下，要有可执行 权限，且不能放在外置的磁盘阵列上；3、在配置HACMP时，必须先在根目录下创建 .rhosts Topic 5 HACMP

36、 TroubleshootingHACMP Troubleshooting In general,troubleshooting an HACMP cluster involves:Becoming aware that a problem exists（控制台信息，用户的反映、错误日志）Determining the source of the problem Correcting the problem 发现问题后，立即保存当前的日志文件，如/tmp/hacmp.out、/tmp/cm.log 试着复制问题。用户反映的通常是应用级的问题，如果需要，可以用用户的数据文件重建问题。保持开放的思

37、维。不要过分猜测问题的原因。测试每种可能性，从测试结果得出结论。隔离问题，遵循的原则如下：从易到难；每次只做一次改变；不要忽视显而意见的问题。检查plugs,connectors,cables等等。完成检查后，记录测试和结果，以备用。排除故障的策略排除故障的策略config_too_long 这是HACMP中最常见的控制台信息。当clustmgr进程发现某个状态改变时，它将执相关的事件脚本（event script)。某些情况下，由于脚本的错误或cluster处于特殊的状态，将导致事件脚本被挂起来。过了缺省的360秒，clustmgr 进程将config_too_long写入/tmp/hacm

38、p.out文件。解决该问题的方法：1、如果是由于脚本错误引起的，修改该脚本，然后在命令行运行clruncmd，或运行 SMIT Cluster Recovery Aids 2、如果某个脚本的运行时间很长，超过了360秒，该信息的出现不意味着有问题，等待其执行。The cluster has been in reconfiguration too long;Something may be wrong.Highly Available Applications FailProblem高可靠性应用在IP地址接管之后，启动失败。原因是hostname没有设置。.Solution由于某些应用绑定的是h

39、ostname，在HACMP环境中，IP地址接管后，要启动该应用，在应用服务器的脚本中加入如下命令，修改接管节点的hostname:mkdev-t inet0chdev-l inet0-a hostname=nnn这里，nnn 就是接管节点新分配的hostname。Cluster Nodes Cannot CommunicateProblem如果将两个或多个节点连接在同一个网络上，可能会遇到 分区的集群（partitioned cluster），这时，集群中的节点不能相互通讯。在正常情况下，某节点的 service adapter失败后，Cluster Manager 将激活swap adap

40、ter event,使standby网卡替代service 网卡。如果没有standby 网卡，该节点将从集群中隔离出来，其他的节点也没法与其通讯。Solution确保网络的配置无单点故障。Cannot Find Filesystem at Boot TimeProblemAIX在启动的时候，根据/etc/filesystem 文件中“check=true”的属性，用fsck检查文件系统。如果不能检查某文件系统，AIX报告如下错误：:Filesystem Helper:0506-519 Device open failedSolution由HACMP控制的文件系统，出现该错误信息是很典型的，但

41、不意味着文件系统有错。通常情况下，文件系统所在的卷组在系统启动时，都不会激活。如果要去掉该错误信息，修改/etc/filesystems 文件，使共享文件系统的属性不包含“check=true”。“deadman switch”指的是当某节点的AIX 内核扩展时，如果cluster的状态没重设，可能导致其AIX 系统dump或 system panic。这时，另外集群中的另一节点将以有序的方式接管已经挂起来的节点的资源，避免争夺资源。可以通过调整系统性能的方法，来避免deadman switch的发生：1.Tune the system using I/O pacing.2.Increase

42、the syncd frequency.3.If needed,increase the amount of memory available for the communications subsystem.4.Change the Failure Detection Rate.Deadman Switch 在HACMP 集群环境中，如果有大的数据块要写到硬盘上，最好enable I/O Pacing。smit chgsys 设置high-water和low-water两个值，其初始值分别为33和24。1、Tuning the System Using I/O Pacing2、Extendi

43、ng the syncd Frequency 编辑/sbin/rc.boot文件，将 syncd frequency 从缺省的60秒提高到30、20或10秒。这样可以通过提高I/O的同步频率，缓解I/O traffic，来减少激活deadman switch的可能性。改善系统性能，避免Deadman Switch SMIT Change Show a Cluster Network Module，将 failure detection rate 设置为“Slow”,3、Increase Amount of Memory for Communications SubsystemAIX 中，相关的

44、参数为thewall，其缺省值为实际内存的25%，最大可以达到实际内存的50%相关命令：no-o thewall=xxxxx4、Changing the Failure Detection Rate改善系统性能，避免Deadman Switch（续）Appendix 共享共享LVM的定义的定义 Creating a new shared volume group Extending,reducing,changing,or removing an existing volume group Importing,mirroring,unmirroring,or synchronizing mir

45、rors of a volume group Creating a new shared logical volume Extending,reducing,changing,copying,or removing an existing logical volume(or acopy)Creating a new shared filesystem Extending,changing,or removing an existing filesystem.Adding,removing physical volumesLVM的日常维护工作的日常维护工作 共享卷组的维护工作共享卷组的维护工作

46、Creating a shared volume group Extending a shared volume group Importing a shared volume group Reducing a shared volume group Making a copy of a volume group Removing a copy of a volume group Mirroring a volume group Unmirroring a Volume group Removing a shared volume group Synchronizing volume grou

47、p mirrors.为并发存取定义为并发存取定义LVMCreating a Concurrent Access Volume Group on a Source NodeImport Volume Group Information on Destination NodesVary On the Concurrent Capable Volume Group in Non-concurrent ModeCreate Logical Volumes on Concurrent Capable Volume Group on Source NodeVary Off Volume Group on

48、Source NodeChange Volume Group to Remain Dormant at Startup on Destination Nodes Creating a Shared Volume Group on the Source NodeCreating a Shared File System on the Source NodeRenaming a jfslog and Logical Volumes on the Source Node(保持保持jfslog和逻辑卷的唯一性）和逻辑卷的唯一性）Adding Copies to Logical Volume on the Source Node（不适用于（不适用于RAID盘）盘）Testing a File SystemVarying Off a Volume Group on the Source NodeImporting a Volume Group onto the Destination NodeChanging a Volume Groups Startup StatusVarying Off the Volume Group on the Destination Nodes为非并发存取的硬盘定义为非并发存取的硬盘定义LVM 用用RAID盘的非并发存取的盘的非并发存取的LVM定义定义