实用好文｜某银行虚拟化建设之路(共9页).doc

《实用好文｜某银行虚拟化建设之路(共9页).doc》由会员分享，可在线阅读，更多相关《实用好文｜某银行虚拟化建设之路(共9页).doc（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、精选优质文档-倾情为你奉上实用好文某银行虚拟化建设之路 随着我国各行业的信息化建设， IT方面的投入每年都数额不菲。近几年很多企业都在控制成本，而在这些企业里 IT 有可能只是一个花钱的部门，由 IT 建设带来的利润无法直接体现。在一些新技术应用较为保守的领域，资源仍在不计成本的使用。我以前曾经历过，使用两台 IBM P595，两台 P590，两台 P55A，另加两台 HPDL580 部署一套规模不大的系统。在保证可用性的情况下，进行资源整合是非常有必要的。虚拟化的实施可以提高资源利用率，降低机房电力、空间的消耗，一个规范化的虚拟化环境，也可以提高系统管理的工作效率，是建设私有云的基础。Pow

2、er 的虚拟化技术已经产生了几十年，经过实践检验是一项比较稳定的技术。现在谈虚拟化，已经不算是关于新技术的话题，在此之前也已经有很多人介绍过虚拟化的背景及技术知识，本文就不再赘述。曾经在一次的论坛交流活动中，有位网友问我，为何敢于如此冒险使用该技术，我才意识到，还有很多的企业处在将一台物理机分两个、四个 LPAR，将 CPU、内存、板卡独占的时代。鉴于此，本文将介绍虚拟化技术在我公司的实施过程，供未实施且计划实施的同行参考。一、 背景在未实施虚拟化之前，我们面临着以下问题：1. 每套系统独占各自的资源，而每套系统的业务量又有差异，导致整体资源分配不均，资源使用率很低。2. 物理服务器数量庞大，

3、使用了大量的物理板卡，线缆连接繁杂，占用大量的网络交换机和光纤交换机端口。3. 业务需求增长迅速，每年服务器数量增加过快，数据中心的空间、电力容量消耗速度过快。4. 物理服务器数量庞大，硬件损坏概率较高，经常需要维护。5. 当有关键硬件损坏或微码需要升级时，很多情况下需将应用系统通过 PowerHA 切换到备机运行，需要对外发布维护通知并请求业务人员在凌晨配合做业务验证，工作开展困难。6. 从服务器资源需求提出到环境就绪交付，时间及其漫长，效率低下。在 IT 作为服务支撑部门的行业中，IT 部门不能快速实现业务部门的需求有可能就会错过盈利机会，降低整个企业的盈利能力。二、 目标及计划IT 架构

4、的改进，往往都是因不能满足业务发展的需要引起。为了解决上述问题， 我们经过技术预研， 与IBM专家及同行业的交流，最终希望搭建自己的私有云环境。虚拟化建设作为基础需要率先完成，整个过程结合我们的现状分步实施。1. 进行全面测试，了解虚拟化的可用性及稳定性，并制定相应的实施规范。2. 在生产环境中试点，对新购的服务器按虚拟化部署，一些不重要的新系统将在虚拟化环境中上线，通过实际运行情况及运维经验的总结完善架构规范并进行全面推广。3. 进行深化建设，实现 LPM 及 Remote Restart 等虚拟化的高级功能，实现管理自动化和资源自动化。4. 持续优化。三、虚拟化环境的搭建和推广通过一期的虚

5、拟化建设， 虚拟化架构基本可以按以下标准搭建：1. 相同型号的服务器，IO 设备的配置规范化管理，包括板卡的类型及在 CEC 或 IO 柜中的位置，统一要求，简化管理。2. 每台 POWER 服务器采用双 VIOS 的架构，保障冗余，单个VIOS 维护或故障时，不会影响 VIOC 的正常运行。3. 对于 CPU 的虚拟化采用 Shared Processor 的方式，分区之间可共享一个 CPU 池。4. 内存方面可使用传统的独占方式，如果在服务器 CPU 和内存的配比中，剩余 CPU 资源较多，而内存资源较紧张时，可启用AME 功能。5. 对于网络的虚拟化，VIOC 中的虚拟网络通过 VIOS

6、 中的SEA 访问外部网络。在 VIOS 层面 SEA 使用多块物理网卡绑定的etherchannel，可以提高可用性，增加带宽。每台服务器配置多个SEA，将管理 IP 和服务 IP 分开，管理 IP 用作进行系统的登录、备份、监控等，应用系统通过服务 IP 对外提供服务。在 VIOS 2.2.1.3版本以下，SEA 采用 Failover 的配置，在 VIOS 2.2.1.3 及以上版本中 SEA 采用 Loadsharing 配置，可以同时让两个 VIOS 分担VIOC 的网络 IO 流量，且互为冗余，提高物理网卡的使用率。SEALoadsharing 模式的工作情况可参考如下示意图。6.

7、 对于存储的虚拟化，客户端分区的 rootvg 采用 vSCSI 技术，通过 vSCSI MPIO 由两个 VIOS 来保障冗余，数据 VG 采用 NPIV技术，提供更好的性能，由两个 VIOS 来保障冗余。在虚拟化假设时，不要建设过渡型的部分虚拟化环境，比如使用虚拟网卡访问网络，使用物理光纤卡访问存储，这种架构无法实现 LPM 及 Remote Restart 等虚拟化高级功能，也不利于资源快速交付的实现，很有可能需要进行系统的再一次迁移。针对虚拟化环境还需要配套的虚拟化监控组件，例如 ITM forSystem P agent CEC, VIOS, HMC and Permium Agen

8、t 等。虚拟化环境搭建之后，新增的业务系统可以直接在其中部署，而对于存量系统则需要进行大量的迁移工作，在系统迁移过程中，我们需要重点考虑以下几个问题：1. 确定迁移方案。确定使用 mksysb 恢复 rootvg 还是重装操作系统，对于使用单独VG存储数据的情况， 如果使用的SAN存储，需要确定是采用importvg的方式导入还是用备份恢复的方法迁移。2. 考虑兼容性。包括 AIX 版本同 Power 型号的兼容性，AIX 版本同应用软件的兼容性，java 版本同 Power 型号的兼容性等。对于自主开发的应用程序，最好由测试部门进行专门的测试，有可能会需要要求开发人员配合进行应用程序的修改。

9、3. 考虑外部系统同待迁移系统的访问关系。例如网络层面的一些变化，对于一些使用非服务 IP 进行系统登录管理、监控、备份的应用系统，如果迁移时需要修改这些非服务 IP，则需要进行一段时间的访问数据包的抓取， 确保IP的更改不会造成无法访问的情况。确定系统间的访问关系，便于确定系统迁移的影响。4. 准备回退方案。通过虚拟化环境的搭建和推广，基本上完成了资源的整合，一台物理服务器通常运行几十个 LPAR，业务需求在增长，而机房的电力和空间的消耗反而在减少， 通过虚拟化的实施已经开始产生收益。四、虚拟化建设的深化通过虚拟化环境的推广，虽然提升了资源利用率，降低了能耗，但在管理水平方面还有待提高， 服

10、务交付能力还没有得到明显改善。对 POWER 服务器的管理，此时可能还是通过传统的 HMC 方式，对虚拟化环境下的部署有可能还主要采用人工的方式进行，比如通过使用 NIM 来进行 VIOS 和 VIOC 的安装配置，缺少统一的集中管理平台。针对这些问题，仍旧需要完成更深入的虚拟化建设。1. 建立统一的集中管理平台。由于 IBM 在 2012 年 4 月份才宣布加入 OpenStack 项目，因此我们当时使用 IBM System Director/VMControl 作为虚拟化的集中管理平台。目前来看，使用基于OpenStack 的 PowerVC 是一个更好的选择，将更有利于企业私有云的建设

11、。我们以 Director 的使用经验作为介绍，IBM Systems Director通过统一的 Web 用户界面把各种 IT 资源之间的关系和状态等信息用可视化的方式表现出来。用户可以通过 Web 界面管理底层硬件、操作系统和HMC等平台管理器， 可以统一管理Power服务器和存储设备。2. 资源池化。将单机虚拟化资源整合池化，提高资源分配的灵活性，方便实现资源的容量管理，方便实现 VIOS 和 VIOC 系统的自动化部署，方便镜像的统一管理和展现，提高资源部署效率与服务水平，池化后的资源池环境，具有多种高可用方案以保证业务的连续性。整个资源池基于 PowerVM 和 SVC，分别实现了服

12、务器和存储的虚拟化，资源池内的 CPU、内存、LAN 网络、SAN 网络可以统一调配。SVC 在资源池中主要为服务器 VIOC 客户端分区提供rootvg 的存储。为了实现 VIOC rootvg 的高度冗余，将利用 SVC的 vDISK Mirror 技术，Mirror 的两份拷贝分别分布在不同的 SVC存储池中，每个存储池分布在不同的物理存储上。通过 TPC 实现对存储的控制，以及对 SAN 交换机 ZONE 信息的收集，从而实现自动划盘、自动映射磁盘的功能。SMI-S Agent 可以提供 SAN 交换机的接口供 TPC 调用，通过对 SAN 交换机接口的调用，TPC 可以完成对 SAN

13、 交换机信息的收集。架构图3. 资源的快速部署。PowerVM 的实施是一项非常复杂的工作，特别是涉及到 SEA、VLAN、NPIV、LPM 等技术。搭建了集中管理平台，并多服务器和存储资源进行了统一纳管，在此基础上我们就可以使用工具来部署 PowerVM 环境并批量创建服务器分区。建议使用 IBM STG 开发的 PowerVM Provisioning Toolkit 来完成此项功能。关于 PowerVM Provisioning Toolkit，IBM 官方网站中有很详细的介绍，通过该工具，可以集中快速部署一到多台物理服务器，管理与配置多台 VIOS 服务器分区与 VIOC 分区，集中存

14、放主机部署信息到配置文件中，方便对配置信息的验证，方便复制以备以后的部署。使用 PowerVM Provisioning Toolkit 进行环境部署，主要包含三个步骤。首先，在 NIM server 上运行脚本，通过 NIM server 发送 HMC命令完成 VIOS 分区的创建，并完成 VIOS 系统的安装；然后，在VIOS 上运行相应脚本，完成 VIOS 网络、I/O 的配置，完成 VIOC 的磁盘映射等；最后，再次在 NIM Server 上运行相应脚本，通过 NIMserver发送HMC命令完成VIOC分区的创建， 并完成操作系统的安装。4. 虚拟化环境下的高可用方案。在我们部署的

15、虚拟化环境中，采用 LPM-PowerHA-Remote Restart 来保障系统的可用性。LPM 允许将正在运行的 AIX 分区及其 AIX 中正在运行的应用程序从一台物理服务器迁移到另一台物理服务器中，整个迁移操作包括处理器的状态、内存、虚拟设备及用户连接状态的迁移，不会中断应用程序对外提供服务。但是当前 LPM 对执行条件的要求较为苛刻，只有在源服务器启动且无故障状态下才能进行。在服务器正常运行时，我们可以使用LPM 功能进行资源分配的再均衡，以及减少计划维护时的服务中断时间。在不同的资源池之间采用 PowerHA 技术解决物理服务器故障时的系统可用性问题，因此，搭建 PowerHA

16、架构的不同资源池之间需要共享存储和网络资源。根据实施经验，当前 PowerHA 的配置以两个节点的环境居多，当资源池中出现物理机宕机，且 PowerHA 成功接管相应的资源组后，如果宕机的物理机不能及时修复，则系统存在单点运行风险，这时使用 Remote Restart 方案可以解决此问题。在资源池中的服务器出现故障或者宕机时，可以手工触发 Remote Restart 脚本对故障服务器上的分区进行手工迁移，Remote Restart 功能将在同一资源池中的其他物理服务器上重建、重启分区，也可以在 HMC 上运行一个监控脚本监控服务器的状态，一旦服务器状态故障，触发迁移脚本迁移所需要的分区到目标服务器中。在使用 PowerHA 和 RemoteRestart 高可用方案的资源池中，单个系统资源池的使用率不要超过50%，防止服务器出现故障时没有足够的资源使用的情况出现。5. 能耗监控。 在IBM Systems Director中使用AEM能源管理插件，负责数据中心内 IT 基础设施的能源监视和能源管理功能。通过 AEM建立相应的能耗管理体系可有效地降低和管理数据中心的电源消耗。(本文作者张自强来自招商银行，曾获得第七届 AIX 高手挑战赛全国总冠军)本文来源AIX中国长按下图二维码关注“AIX专家俱乐部”公众号，或直接搜索公众号名称专心-专注-专业