Hyper-V故障转移群集搭建方案(共46页).docx

精选优质文档-倾情为你奉上Windows（Hyper-V）群集构建要点目录专心-专注-专业1 执行概要Windows Cluster用于构筑高可用的操作系统平台，支撑有高可用性需求的应用。为达到这样的目的，需要早构建Windows群集时，严格按照微软提倡的最佳实践，以保证构建出的群集平台稳定，高效。本文档结合此前的安装手册，重点补充了微软对于构建群集的最佳实践的操作要点和建议。遵照此文档的建议构建Windows群集，将为高可用性应用的稳定运行提供更好的保证。2 群集部署前的准备2.1 硬件准备2.1.1 硬件选型必须使用Windows支持的硬件服务器，针对不同的Windows版本，服务器的支持型号可能会有差别。原则上讲，您希望用于构建Windows群集的服务器需要在微软的认证网站上找到硬件认证记录，符合这个要求的服务器才是微软推荐的用于构建群集的服务器（及配套系统-存储，网络等子系统）。网站地址为： 该网站的常用使用方法：可以以您希望使用的服务器型号为出发点，查询该型号服务器以及相关的存储/网络等子系统是否存在认证记录。注意，针对群集的构建，这里面所谓符合要求的认证记录指的是各个系统组合起来，作为一个整体获得了微软的认证，而不是作为单个元素分别获得认证。组成一个特定Windows群集的各结点服务器，应该保证硬件配置的一致性。（这些一致性包括硬件型号，配置，BIOS版本，软件版本，驱动版本，安装的应用程序版本，系统服务的配置等）。为确认这一点，可以使用系统配置对比软件或群集健康检查工具来做系统数据的收集和分析。2.1.2 硬件配置容量评估，应用负载的大小决定了硬件配置。针对服务器上运行的不同应用（微软），可以参考微软网站提供的容量评估工具，对硬件的选型和配置做合理的规划。举例如下：Web 服务器容量评估Hyper-V容量评估网卡数量与配置一般的，构建Windows群集的服务器应该至少配置2块网卡。一块用于对外提供服务，一块用于群集内部通信。如果是部署Hyper-V群集，则建议至少需要配置4块网卡，分别用于对外服务，宿主机管理，实时迁移和CSV，如果针对虚拟机对外服务的网络还有其他设计，则网卡数量将需要的更多。在保证驱动兼容性的前提下，可以在对外服务的网卡上启用teaming, 在内部通信的网卡上，不建议使用teaming，如果希望实现冗余，可以采用部署多条心跳线的方法。当前环境配置，2台准备构建hyper-v cluster的宿主机各具备4块网卡，除下表中描述的网卡用于管理目的外，还有另外3块网卡，分别用于连接存储，为虚拟机提供内网和外网连接。存储的配置无论是本地或是SAN的存储，均不建议使用RAID5，最好使用RAID10；对于SAN或iSCSI 存储，必须支持SCSI3指令集，否则群集无法构建。在配置群集之前，需要依次各个节点都可以连接并访问的存储系统。如果存在多块光纤卡或iSCSI卡，还需要使用MPIO软件，建议尽可能采用硬件厂商提供的最新版本MPIO软件。服务器的BIOS设置构建群集的服务器，建议启用DEP功能。关于DEP功能，请参考:若要安装和使用 Hyper-V 角色，需要具备以下条件：l 一个基于 x64 的处理器。基于 x64 版本的 Windows Server 2008中提供了 Hyper-V。 l 硬件协助的虚拟化。使用Intel 虚拟化技术的处理器中提供此功能。 l 硬件强制数据执行保护 (DEP) 必须可用且必须启用。必须启用 Intel XD 位（执行禁用位）或 AMD NX 位（无执行位）。（以HP服务器为例：）重启宿主机服务器，按F9进行Bios，依次选择“Advanced Options”->“Processor Options”，将“No-Execute Memory Protection”和“Intel Virtualization Technology”设置为“Enable”，使服务器硬件支持Hyper-V。对于强调高性能的服务器，可以考虑启用服务器的高性能设置。详情请参考：主板的firmware版本，建议及时升级到最新版本。新版本的Firmware通常有助于提升群集的性能和稳定性。2.2 软件准备操作系统准备原则上，构建群集，应该尽量选择最新版本的Windows操作系统。并安装最新的操作系统补丁。驱动程序准备应该为构建群集的硬件安装最新版本的驱动程序，以便提升群集的性能和稳定性。2.3 名字与IP地址规划需要为群集的构建规划若干个IP地址，包括Windows群集本身需要一个IP地址，运行在群集上的应用服务，每个实例也需要一个专用的IP地址。与上述IP对应的机器名也需要事先规划好。此处需要注意，如果一套群集上运行的虚拟应用实例超过了10个，则需要在AD中为群集的虚拟机器名额外授权，否则该对象无法在AD中为10个以上的应用实例注册名字对象。3 配置故障转移群集3.1 配置故障转移群集3.1.1 2008r2虚拟化高可用群集之一环境准备1服务器准备两台应用服务器安装完win2008R2SP1操作系统，建议安装最新的系统补丁，完成配置并加入规划好的域中。注意：将两台服务器的所有网卡的IPv6都关闭。心跳网卡不要配置默认网关和DNS服务器地址，在高级选项中做如下配置建议在操作系统的网卡配置中，将对外服务的网卡优先级调高，如下图：另外，需要注意，某些型号的网卡提供的RSS功能，可能存在兼容性问题，导致群集服务稳定性变差，必要的时候，需要考虑将该功能禁用：本地磁盘作为操作系统磁盘，要求150G以上空间。共享磁盘需要磁盘阵列的磁盘分为如下：类型盘符大小(G)备注APP_storageE1000G共享盘APP_QuorumQ1仲裁另外建议磁盘阵列应做RAID并配置热备盘3.1.2 2008r2虚拟化高可用群集之二创建及配置群集本篇分为1. 安装Hyper-V角色2. 创建群集3. 配置仲裁磁盘4. 配置群集共享磁盘1、 进入服务器管理器，执行角色添加。2、 选择Hyper-V角色：3、 选择对外通信的网卡作为Hyper-V系统的虚拟交换机：4、 安装Hyper-V：5、 安装完毕，重启服务器：6、 服务器重启之后，打开Hyper-V管理器：7、 系统确认Hyper-V安装成功：3.1.3 在每台宿主机上安装群集组件1、 在每台宿主机上都安装好Windows 2008故障转移群集组件, 通过服务器管理器安装故障转移群集功能；（安装之前需要提前禁用不需要的网卡）2、 选择故障转移群集3、 点击下一步。4、 点击安装按钮。下面开始正题（待所有节点hyper-v角色以及群集组件安装完毕，才执行下面的步骤）1.创建群集单击创建一个群集出现创建群集向导以创建一个新的故障转移群集选择要加入群集的虚拟化主机BJBJJAPP007与BJBJJAPP008这里会要求我们进行验证,直接选是,下一步报告出来了，可以点击“查看报告”来看看报告中发现了什么问题：注意：要求所有的测试都通过，如果哪个测试没有通过，一定要找出原因，修改好后重新验证，直到所有验证通过，才能进行下一步。这里输入群集对外的名称,输入规划好的群集名称,然后下面选择一个对外IP信息总揽,确认就进行下一步开始创建群集开始创建群集完成并自动进行下一步到这个界面了,创建OK 这里我们就可以看到群集管理界面了,我们要做的就是配置仲裁磁盘和添加群集共享磁盘。2.配置仲裁磁盘（基本上，仲裁磁盘会在群集实现过程中自动完成配置，无需管理员手工干预。）首先确认存储这里的磁盘,应该可以看到我们的共享磁盘,如果没有请手动选择添加磁盘群集存储已经确认添加存在于群集管理器中,那么我们就来设置仲裁磁盘,右键单击群集名称,更多操作-配置群集仲裁设置出现开始向导来配置仲裁磁盘,下一步继续这里会自动根据我们的群集节点数和磁盘数来自动选择的,基本上不需要修改,直接默认设置下一步即可这里开始选择仲裁磁盘,确认默认勾选的是比较小的那一个,1GB的共享磁盘即可单击下一步出现确认选项,下一步以开始配置仲裁磁盘设置配置成功完成3.配置群集共享磁盘仲裁已经配置完成,下面我们就该配置为群集的服务提供磁盘的群集磁盘,我们还是在群集名称上单击右键-选择启用群集共享同意协议并启用群集共享磁盘启动后在群集管理菜单下多了一个群集共享卷这个管理单元,我们要为他添加磁盘,单击右键选择添加存储以添加群集共享存储在这里选择我们剩下的唯一一个群集磁盘来作为群集共享卷的存储添加完成后可以看到如图的群集共享卷的路径和状态,其中黄色标注的就是我们可以使用来存储虚拟机的虚拟的一个映射路径4.配置hyper-V路径至群集共享卷然后我们在两台hyper服务器上设置虚拟硬盘和虚拟机配置文件的路径均为上图的c:clusterstoragevolume1这个路径3.1.4 2008r2虚拟化高可用群集之三创建虚拟机本篇将介绍在群集创建虚拟机及安装虚拟机分为创建虚拟机以及安装虚拟机两个步骤创建虚拟机在任意一台hyper虚拟化主机中创建均可,本实验选择c1来进行安装在C1上单击创建虚拟机为虚拟机输入一个名字,本例简单为主,直接命名2K8 然后这里输入内存4096MB 选择虚拟机的网络,这里就明白,为什么虚拟网络名要求一样了吧这里配置硬盘选项配置信息总揽单击完成来完成虚拟机的创建3.1.5 2008r2虚拟化高可用群集之四配置高可用虚拟机右击选择配置服务或应用程序出现配置高可用向导选择一个要配置的服务,本篇选择虚拟机即可然后向导会自动搜索群集中的虚拟机,这里注意一定要关闭虚拟机才能继续下一步并使之高可用确认选择的虚拟机开始创建高可用虚拟机,配置完成现在在服务里应该能看到虚拟机了,可以看到当前虚拟机位于何服务器,以及虚拟机状态也可以在这里进行管理虚拟机,启动以及连接到虚拟机控制台和关闭等操作,我们启动虚拟机如图启动后如图可以看到虚拟机已经联机,我们可以单击连接到虚拟机来管理虚拟机打开虚拟机如图所示,跟在hyper中使用连接到虚拟机功能差不多.经过本篇,总算环境都差不多,下篇我们可以测试虚拟机的高可用3.2 配置群集的实时迁移网络针对hyper-v群集，为避免虚拟机实时迁移时对带宽造成的占用影响其他应用，有必要确认或指定特定的网络用于传输实时迁移的数据，设置方法如下：1. 打开群集管理器，展开 Nodes.2. 在左侧的控制台树状结构中, 选择你想要配置实时迁移网络的虚拟机对象.3. 右键点击显示在中间窗格中的虚拟机资源, 点击 Properties.4. 点击 Network for live migration 配置页, 选择一个或多个用于实时迁移的群集网络.并可以根据需要调整这些网络的优先级.默认的优先级次序是:没有设置默认网关的网络; 用于CSV传输的网络，最后才是用于对外通信的网络.实时迁移将首先使用优先级最高的网络. 如果该网络不可用，则依次使用优先级较低的网络，直到成功为止.（如果运行Windows 2012 hyper-v群集，则参考下面的设置：）在群集管理器中，进入网络设置窗格，找到合适的网络条目，然后点击右侧的“实时迁移设置”确认，实时迁移时要使用的网络优先级符合你的要求下面来进行实时迁移的测试，首先打开一个ping 192.168.0.245 t窗口来持续不断的ping虚拟机实时迁移也就是将虚拟机不断线迁移到另一台物理机右击虚拟机选择实时迁移到另一节点选项来进行迁移整个过程是联机作业的等待虚拟机转换到另一台物理机上迁移完成,虚拟机换到新物理机上并且状态显示联机，连接虚拟机检查确认运行状态良好即表明迁移成功。3.3 配置Hyper-V群集的CSV网络（可选优化）当您的hyper-v群集服务器具备4块及以上的网卡时，可以考虑对CSV网络做额外的设置。关于CSV的重定向模式的一点解释：Cluster Shared Volumes是Windows2008 R2提供的新特性，它打破了之前版本中应用资源（虚拟机）与磁盘资源的依存关系，无论磁盘资源属主是谁，均会以本地模式显示在Cluster节点中. 而基于CSV磁盘上的应用则可以运行在任意群集节点上。 之所以能实现这个效果，是因为CSV管理存储访问的方式有别于常规的cluster磁盘访问。在CSV运行环境中，有一个节点被指派为 “协调节点”-任何一个节点均可担当此任. 当有应用（虚拟机）需要向CSV磁盘卷上写入数据时，该应用会向协调节点申请权限。如果该数据写入操作不改变文件系统架构，协调节点就会向应用发送磁盘可写区块的地址列表，使得虚拟机直接写入文件系统 (直接访问 LUN)。如果数据写入操作必须改变文件系统架构-例如，扩展/移动或变更文件属性等操作-则只能由协调节点向磁盘写入。协调节点通过这种方式确保NTFS文件系统的访问是受控的，以防止文件系统损坏。如前所述，如果某一节点拥有的虚拟机 (VHD) 文件位于 CSV卷上时，它可以直接对CSV执行磁盘 (I/O)，节点直接与存储通信。但是，如果该节点与存储之间联系中断，则它将无法直接与存储通信。为保证此类故障发生时继续保持通信，该节点会将磁盘I/O通过群集CSV网络以重定向方式发送给当前存储磁盘的属主节点。这种机制叫做 CSV redirected I/O mode。除了上述典型场景之外，还有一种常见场景，就是在通过宿主机执行虚拟机备份时，CSV相关磁盘会进入重定向模式。当CSV磁盘进入重定向模式时，用于CSV通信的网络可能需要承载繁重的网络流量。所以，尽可能为CSV通信配置一块专门的网卡。对虚拟机执行的例行备份会暂时地将CSV置入重定向模式，一旦备份结束，该模式会自动解除。通过cluster管理界面可以指定live migration网卡，但是不能指定CSV网卡 (只能通过powershell)。如果主机上网卡数量有限，那么live migration网卡和CSV网卡默认会使用同一块。Hyper-V Cluster的CSV网卡是可以通过powershell设定的-如果你物理主机有很多块网卡的话。也就是说，你可以指定一块做live migration,另一块做CSV专用：4 群集部署中的其他必要配置4.1 防毒软件针对群集的实时扫描的文件夹排除根据微软群集部署最佳实践，如果在群集节点上部署了防毒软件，需要注意对群集相关资源做防毒软件实时扫描的目录排除，以免防毒软件的扫描锁住群集服务的相关文件夹，影响群集服务的正常运行。需要排除的文件夹包括：1. %systemroot%/cluster2. 仲裁盘4.2 防毒软件针对hyper-v的实时扫描的文件夹排除根据微软hyper-v部署的最佳实践，需要在宿主机上针对hyper-v相关资源做病毒实时扫描的目录和进程排除，以免对hyper-v的运行造成影响。需要排除的资源如下：参考Default virtual machine configuration directory (C:ProgramDataMicrosoftWindowsHyper-V) Custom virtual machine configuration directoriesDefault virtual hard disk drive directory (C:UsersPublicDocumentsHyper-VVirtual Hard Disks)Custom virtual hard disk drive directoriesCustom replication data directories, if you are using Hyper-V Replica Snapshot directoriesVmms.exe (Note: This file may have to be configured as a process exclusion within the antivirus software.) Vmwp.exe (Note: This file may have to be configured as a process exclusion within the antivirus software.) Additionally, when you use Live Migration together with Cluster Shared Volumes, exclude the CSV path "C:Clusterstorage" and all its subdirectories.5 群集日常运维要点5.1 备份/恢复针对Windows群集，应该建立备份和灾难恢复流程5.2 群集节点的补丁/升级1. 安装过程应遵循补丁管理流程（安装之前确保当前系统已经备份且确认了备份的有效性；具备安装失败后回滚的方案等）；2. 对于构成Windows集群的若干节点，允许分期分批为各节点安装补丁更新，此期间集群可以正常运行；3. 为保证补丁更新或其他软件的正常安装，并保证该安装不对虚拟机构成影响，应在安装补丁之前将运行在该宿主机上的虚拟机迁移至集群中的其他节点上，安装完毕再将虚拟机迁移回来；4. 观察补丁安装是否对宿主机系统本身以及虚拟机的运行造成了影响；5. 各节点安装补丁的时间差应不超过2周；5.3 使用Hyper-V群集时，进行虚拟机实时迁移的时机如何确定1. 宿主机系统资源紧张，需要将某高可用性虚拟机系统无缝迁移到资源较充裕的宿主机节点上时；2. 宿主机执行例行维护，涉及到系统资源紧张或系统重启，可能对承载的虚拟机系统造成影响时；3. 虚拟机移动的目标宿主机必须具备能够承载当前虚拟机的系统资源，否则迁移将失败；5.4 其他日常运维工作的要点在群集平台部署后，应尽快部署基于SCOM2012的监控系统，并倒入针对操作系统/群集/应用的管理包，实时监控群集和应用的运行状况，尤其是可能出现的性能瓶颈。5.5 如何减小硬件维修对高可用性造成的影响5.5.1 单台服务器损坏构成集群的某一节点服务器损坏，将导致其负载的应用/虚拟机自动完成向其他可用节点的迁移，如果其他节点上的系统资源不足以负载这些应用/虚拟机，则迁移无法完成。1. 通过降低虚拟机的资源配置，保证一台宿主机资源能够承载另一节点上的所有虚拟机（针对两节点集群）， 或承载另一节点上1/2数量的虚拟机（针对三节点集群）；2. 在无法满足上面条件的情况下，需要筛选出优先级最高的虚拟机系统，针对这些系统设定较完备的迁移方案，保证其在宿主机故障时迁移至其他节点；优先级较低的虚拟机则不设定迁移方案，宿主机故障时不寻求迁移；5.6 如何评估未来新增应用是否适用于虚拟化部署新的应用是否应该使用虚拟平台部署，原则上取决于该系统正常运行时对系统资源的消耗情况。和对已经存在的系统做虚拟化评估一样，新的应用在上线前的测试阶段（运行在测试环境的物理机上），除功能测试之外，也应引入对性能数据的收集，分析和评估，经过一段时间的分析，基本确认虚拟化不会导致其应用系统出现性能瓶颈后，方可实施。5.7 如果主机节点出现性能瓶颈，应通过何种途径改善宿主机出现的性能瓶颈，源于其负载的虚拟机系统1) 磁盘/存储系统响应时间缓慢a) 优化存储-调整存储的RAID级别；b) 优化内存-加大虚拟机分配到的物理内存，尽量减小pagefile产生的I/O；c) 优化pagefile-将宿主机以及虚拟机的pagefile指向另外一个分离的存储系统，使其不占用当前主存储系统的I/O；d) 购置新的存储2) 内存资源紧张a) 症状：虚拟机性能瓶颈，可用内存较低，并导致虚拟机pagefile超过1000/秒；b) 处理方法：增加宿主机物理内存；3) CPU利用率过高 （针对Hyper-V群集）确认使用Hyper-V Hypervisor Logical Processor(_Total)% Total Run Time和Hyper-V Hypervisor Virtual Processor(_Total)% Total Run Time这两个计数器评估总体系统对处理器的使用率和虚拟机部分对处理器的使用率。如果Hyper-V Hypervisor Logical Processor(_Total)% Total Run Time数值较高，而Hyper-V Hypervisor Virtual Processor(_Total)% Total Run Time数值较低，则需要a) 扩充宿主机处理器资源，如升级或添加更多的CPU；b) 或者减小当前宿主机分配的虚拟处理器资源；c) 或者将消耗处理器资源较高的虚拟机转移到CPU负载相对较轻的宿主机节点上；如果Hyper-V Hypervisor Logical Processor(_Total)% Total Run Time数值较低，而Hyper-V Hypervisor Virtual Processor(_Total)% Total Run Time数值较高，则说明宿主机本身没有出现处理器性能瓶颈，可以给虚拟机分配更多地CPU资源。4) 网络瓶颈 （针对Hyper-V群集）首先，针对高可用系统，应该配置千兆以上速度的网卡；在多台虚拟机共享同一块物理网卡时，可能出现网络数据包队列过高的情况。此时，应定位出占用网络流量最大的虚拟机，为其提供专用网卡或将其迁移到网络负载不大的宿主机节点上去。5.8 如何提升主机节点的性能容量-扩容5.8.1 如何提升主机节点的性能容量-扩容关于扩展性能容量的方法，CPU，内存的部分可以参考前一部份针对性能瓶颈的讨论。针对存储系统的扩容，需要做SAN和宿主机操作系统两方面的配置。在存储系统扩容并完成配置后，直接通过Windows的磁盘管理器即可简便地为当前存在的磁盘扩容。扩容必须保证节点之间的同步性，配置更改必须包括同一群集中的所有节点。5.8.2 如何扩充群集主机节点为提升硬件投入产出比，可以构建多节点群集，Windows2008 R2可以支持16节点，Windows 2012可以支持64节点。对于已经构建好的群集，可以采用扩充节点的方法增加群集的服务器容量。直接使用群集管理器即可完成配置。扩充的前提条件：必须保证后来加入的节点与原有节点的配置一致性，如果不能保证节点间配置的一致性，就不能保证未来的高可用。此时，应该使用新的，配置一致的硬件，重新构建一套新的群集。构建时做好容量规划。