虚拟机日常维护手册.pdf

虚拟机日常维护手册 1 目的 为提高处理虚拟化服务器故障的能力，形成科学、有效、反应迅速的日常管理流程和应急处理机制，确保虚拟化平台的安全和稳定运行，最大限度地减小服务器故障对生产的影响，降低业务中断风险，特制定本手册。2 故障处理规范 硬件维护 平台服务器出现硬件告警需要停机维护，服务器责任人应立即通知相关人员，将业务虚机迁移到集群中其他服务器主机上，再将故障服务器切换至维护模式并从 HA 集群中移除，负责陪同硬件厂家现场更换至成功恢复。虚拟化平台故障 发生平台故障后，相关人员应及时查找、确定故障原因，进行先期处置。若故障在短时间内无法修复，相关人员应将业务迁移到备用平台环境中，保持业务系统的正常运行；将故障服务器脱离网络，进行故障排除工作，并及时联系相关人员或厂商协助解决。虚拟机软件系统故障 （1）日常做好虚拟机的定时备份和快照，系统崩溃后，应能够及时恢复虚拟机。（2）发生虚拟机系统故障后，相关人员应及时通知业务人员检查出现故障的原因并尽快排除。（3）如遇虚拟机系统需要启用备份系统进行恢复时，应在恢复后和业务管理员仔细检查业务是否恢复并做好恢复记录。虚拟化平台日常告警故障排除 当虚拟化平台出现告警信息，通过以下步骤排除：（1）确定故障原因。查看已触发的警报内容，确定故障前操作是否是引发该故障的原因，对合规操作引起的告警，进行消除。（2）对提示硬件产生的告警，应查看硬件状态信息，对确认是硬件的问题按硬件维护预案处理。（3）对提示因资源不足或性能引发的告警，因查看近期性能图表，找出原因，消除故障提示。（4）对于无法判断的故障，可导出系统日志发给厂家分析处理 3 虚拟化平台故障预防 虚拟机实时状态备份 在对虚拟机进行调整配制前，做快照，以防配置虚拟机后出现故障，如无问题，可删除虚拟机快照，另外也可利用快照最为一种备份的方式，定期做虚拟机快照，当出现问题时，可恢复到最近的快照状态。6 虚拟化平台故障恢复 虚拟化平台系统出现故障，先对问题进行定位，按前述预案处理，若故障依然存在，通过以下步骤恢复：（1）用快照进行虚拟机恢复。如果虚拟机中包括数据库和实时状态信息，要在恢复后进行必要的数据库文件恢复，并还原系统实时状态。（2）用 NBU 从备份系统中进行系统还原，还原后进行必要的状态信息检查（3）虚拟化操作系统恢复，通过重新安装虚拟化操作系统vsphere 还原底层平台，并重新部署到群集系统中。摘要：有时，VMware 管理员如走过场一样执行日常维护任务。他们做 X、检查 Y 然后把把 Z 的脉搏。但是很重要的一点是要弄明白这么做的目的。维护工作不仅仅是要维持系统在线，它同样保证您可以从现有投资中获得最大收益。虽然ESX、vSphere、vCenter 和 Workstation 都是成熟和稳定的虚拟化技术，但是它们依然需要进行日常维护。花费一些时间去了解您的架构，然后制定 VMware 维护计划以满足您的 SLA（service level agreement）级别并尽量减少工作压力。下面的纲要中包含了一些最佳实践，但是每个虚拟化架构各有不同，您需要选择最适合的方式。VMware 维护工作根据频率可以大致分解为：每天、每周和每月。VMware 日常维护工作 我每天要进行的维护工作如下：查看报警邮件。邮箱监控是一种持续的、被动的、而且一旦正确设置后不需花费很多精力的监控方式。当您逐渐熟悉系统架构后，还可以区分出警报的不同类型，识别哪些是紧急的需要立即处理，哪些是需要逐步去改变的。假设某个特定的数据库在每天的固定时间发送 CPU 占用率过高的警报，那么最好调节一下报警设置的条件和频率。不要忘了狼来了的故事，避免因为过多无关紧要的警报而忽略了那些关键问题。巡视服务器所在的房间。虽然我也设置了警报，但通过对主机所在的房间进行一次快速的巡视我可以马上判断出发生了什么，这非常有用，尤其是忽略了某个警报的时候可以补救。所有的风扇都在运行吗是否出现内存差错 SAN 系统中的磁盘驱动器正常吗通过观察硬件上的指示灯我可以获得基本的状态信息。我还会快速检查一下不间断电源的供电电压，以及现在的运行时间。知道了这些，一旦发生灾难，我可以知道有多少时间可用来关闭设备。除了这些快速观察外，我还经常使用 HP 公司在宿主机上集成的 Lights-Out 端口来检测硬件状态和温度，尤其在没有物理登陆宿主机或 SAN 的时候，这么做非常有必要。环视一圈 vCenter/VirtualCenter。我会执行所有还未完成的任务，瞥一眼 ESX 主机的性能然后感受一下各个组件是否正常。当您对系统每天的性能表现足够熟悉的时候，就很容易看出问题。相信我，无论系统看起来多么协调，在某些时候都会出现问题。这个过程如同您很熟悉自己在静止时的心跳，同时还需要通过跑步机或骑自行车来定期检验一下。VMware 每周维护工作 每周我会执行如下动作：备份 vCenter/VirtualCenter 数据库。我的现有系统变化不太频繁，因此一周执行一次数据库清理和管理服务器的全备份就可以了。如果您的系统处于不断地动态变化中，可以频率高一些。依然要强调那个老问题：如果您希望将来可以重建，拥有数据库的备份很重要。VMware 每月维护工作 每月我们进行如下的管理行为：清理存储。如果存在过期的快照，最好尽快清理掉。如果无法确定是否存在，可以通过VMware SiteSurvey 查看。检查服务协议。您是否已经升级了售后服务到了做新的预算来购买所需支持服务的时候了吗 预想将来要做的升级。目前为止，所有的工作都在围绕保持系统正常工作上。让我们向后一步，闭上眼睛不妨从相反的角度来考虑：您希望系统如何工作怎样可以改善业务然后找出一条正确的路来实现。这听起来像在做白日梦，不过或许这会成为您一天中最高效的一段时间。31、为主机应用 Host Profiles 提示 compliance 错误 故障状态：为主机应用 Host Profiles 失败，提示如下错误：state absent from host:device state needs to be set to on state doesnt match specification:device needs to be reset state absent from host:device Path Selection Policy needs to be set to VMW_PSP_FIXED state doesnt match specification:device Path Selection Policy needs to be set to default for claiming SATP 故障分析：这是由于 PSA 组件导致的；解决方案：1、右击 Host Profiles 后点击 Enable/Disable Profiles 配置选项；2、展开“Storage Configuration”选项，展开“Pluggable Storage Architecture”这个 uxanxiang；3、去掉“PSA Device Configuration”；4、展开“Native Muti-Pathing(NMP)”这个选项后，接着展开“PSP and SATP configuration for NMP devi”选项；5、去掉“PSP configuration for”这个选项后点击 OK 即可。33、分析、解决 IOPS 导致的虚拟机/存储性能下降和虚拟机磁盘延时较大的问题 故障状态：1、虚拟机性能较低；2、在执行备份时磁盘延时很厉害；3、虚拟磁盘 vmdk 延时较大；故障分析：这种问题基本都是由于虚拟机没有足够的 IO Per Second（IOPS），或者 IOPS 低于 30；解决方案：在解决问题前，首先要解决以下两个问题：问题 1：什么是 IOPS IOPS 全称为 Input/Output Per Second，它是衡量一个磁盘（虚拟磁盘和物理磁盘）、存储的基本也是十分重要的标准。不同的磁盘、存储有着不同的 IOPS。IOPS 的高低直接会影响着系统的性能。当前，VMware 虚拟化环境中最大的瓶颈也就在于这个 IOPS。针对数据密集型业务的数据库业务和流媒体业务，由于它们的 IOPS 很大，所以在虚拟化环境中部署它们一定要充分考量它们的负载，也就是 IOPS 大小，结合实际的存储性能来查看是否符合业务标准。问题 2：如何计算 IOPS 如何计算每台虚拟机的 IOPS 要想计算每个虚拟机的总的 IOPS 数量，首先就要确认磁盘类型以及它们的 IOPS 是多少。处于 RAID 阵列里面的每个盘的 IO 有利于增长整体存储的可用 IOPS。而位于这个存储上面的单台虚拟机的 IOPS，则可以通过将这个存储的总 IOPS 除掉虚拟机数量即可基本得到单台虚拟机的 IOPS。现实案例：假定有 6 颗 10000RPM 的磁盘，那么它们的总的可用 IOPS 大约为 150 x6=900。如果 LUN 上面运行的虚拟机数量为 50 个，则单台虚拟机的 IOPS 为 900/50=18 IOPS。如果以这个为标准，则意味着虚拟机的性能相对底下。如果想要满足虚拟机的基本 IOPS 需求，那么应该为900/30=30，也就是说同一个 Volume 里 IOPS 为 30（最低要求）虚拟机需要数量控制在 30台以下。备注：备份存储会消耗更多的 IOPS，同时也会给 Volume 带来更多额外的符合。如果是这样，则需要用额外手段解决备份时的额外资源消耗（可以通过 I/O meter 软件来测试 IOPS）34、丢失或锁定文档导致虚拟机无法 Power On 故障状态：1、虚拟机无法开启；2、尝试开启虚拟机时，看到类似如下错误信息：Unable to open Swap File；Unable to access a file since it is locked；Unable to access Virtual machine configuration；3、在/var/log/vmkernel 文件里可以看到类似如下信息：WARNING:World:VM xxxx:xxx:Failed to open swap file ock was not free WARNING:World:VM xxxx:xxx:Failed to initialize swap file 4、当尝试开启虚拟机的 console 控制台时，可能会收到如下错误信息：Error connecting to.vmx because the VMX is not started 5、在开启虚拟机时，卡在 95%位置无响应；6、从模板部署一台新的 VM 之后无法开启虚拟机；7、虚拟机在 vCenter Server 和 ESXi/ESX 主机之间报告控制台电源状态冲突；故障分析：导致这个问题的因素可能很多，但是众多问题中，都穿插或包含着文件损坏或文件被锁定等问题的可能。虚拟机常用的文件包括：*.vswp*.vmx*.log 解决方案：首先需要确认哪些文件处于锁定状态：1、利用 vSphere Client 登录 ESXi/ESX 主机、vCenter Server 主机；2、在 Datastore 里找到想要开启但是无法开启的虚拟机所在位置；3、尝试开启虚拟机，如果无法开启且 console 显示错误，先查阅日志文件的相关信息来确认问题；4、利用 SSH 或 COS 选用 root 权限登录到 ESXi/ESX 主机之后执行下面的命令查看虚拟机的完整路径：#vmware-cmd-l 系统将输出类似如下信息来显示注册到 ESXi/ESX 主机的虚拟机：/vmfs/volumes/.vmx 5、执行下列命令切入到这个虚拟机所在的目录：#cd/vmfs/voluems/6、然后查阅日志，在文件的尾部查看什么原因导致这个问题后再针对性的分析。准确定位并删除掉锁定文件 由于虚拟机可以在主机之间移动，如果虚拟机注册到的主机保持对文件的锁定状态，那么，这个锁定文件可以有效保障 ESXi/ESX 主机对虚拟机文件的控制权和有效保护虚拟系统。主机由 Service Console 接口的 MAC 来确定。lock 由 VMkernel 或 Service Console 负责维护；备注：ESXi 服务器没有 Service Console 所以，lock 由 VMkernel 单独负责维护；首先要确定 VMkernel 可能锁定的文件：1、执行下面的命令来报告锁定目录所在的 MAC 地址：#vmkfstools-D/vmfs/volumes/2、由于负责锁定.vmdk 文件的主机会将 MAC 地址写入到 vmkernel 日志里面，那么可以用下面的命令查阅：#tail/var/log/vmkernel 35、Storage vMotion 失败：looking for lines staring with CBTMotion 故障状态：1、执行 Storage vMotion 失败；2、系统提示如下错误信息：general system error occurred:Storage VMotion failed to copy one or more of the VMs disks.Please consult the VMs log for more details,looking for lines starting with CBTMotion-.复制代码 3、/var/log/vmware/文件里有类似如下信息：with error 7:Storage VMotion failed to copy one or more of the VMs disks.Please consult the VMs log for more details,looking for lines starting with CBTMotion.复制代码故障分析 可能由于虚拟机的硬件版本号过老导致；解决方案：关掉虚拟机后右击 uxniji 选择 Upgrade Virtual Machine Hardware 即可。36、添加 LUN 时提示 故障状态：系统能够扫描到 Devices LUN，但是在添加过程中却提示如下错误信息：，如图所示：故障分析：这样的问题一般都是由于 LUN 的尺寸过大导致，一般来说，VMware ESXi/ESX Server 标准支持最大的 LUN 尺寸为 2TB-512Byte，但是由于国内很多技术人员对这个-512Byte 并不太在意，所以习惯型的讲成 2TB，这就导致很多用户在使用时，直接分配了 2TB 的空间，这就可能导致了上述问题；解决方案：针对这样的问题，建议如下：1、如果已经分好了 2TB 的 LUN，建议调整为左右后再尝试添加；2、新 LUN 规划用户则请严格参照官方文档的参数设计，建议是左右为一个 LUN 生成Datastore 37、vCenter Converter 推送 Agent 出错：Converter Agent installer/uninstaller Failed 故障状态：1、利用 vCenter Converter 推送 Agent 到 Windows Server 2003 服务器上时，失败；2、系统提示类是如下错误信息：Agent installer/uninstaller failed on xxxxxxxxx.3、VMware vCenter Converter 的日志文件里面有类似如下错误提示：01.#6 2011-01-21 10:50:04080 info App agentManager,83 AgentManager Install Agent on 2011-01-21 10:51:04080 error App agentManager,95 AgentManager Install Agent failed:2011-01-21 11:18:03976 info App Reusing existing VIM connection to 2011-01-21 11:18:03976 error App Found dangling SSL error:0 error:00000001:lib(0):func(0):reason(1)05.#7 2011-01-21 11:19:02756 info App agentManager,83 AgentManager Install Agent on 2011-01-21 11:19:02756 error App agentManager,95 AgentManager Install Agent failed:7.#7 2011-01-21 11:19:03976 info App diagnosticManager,357 Generating log bundle.故障分析：以下几种情况可能导致这样的问题：1、445 端口没能打开；2、曾经手动安装过 Agent 后卸载；3、Windows 服务管理其中的 server 服务没有启动导致的 IPC$连接失败；4、防火墙阻绝；解决方案 1、确认 445 端口或 NetBIOS 协议能正常使用；2、建议在 Converter 时关闭防火墙；3、如果依然有问题，尝试用 Converter Standardalone 版本迁移或采用 ConverterCD 进行冷克隆。38、解决在 vSphere 里开启 HA 时，提示：Datastore Heartbeating 不足的问题 故障状态：为 ESXi+vCenter 配置 HA 时，提示如下信息：故障分析：这是由于 vSphere 里的 HA 部分已经重写，并且新增了 Datastore Heartbeating 用于网络Partition 心跳检测支持；解决方案：有 2 个选择，一个是加多存储用于心跳检测，这也是正确的选择，就不多讲，另一个就是忽略掉这个问题，方法如下：1、vSphere Client 登录到 vCenter Server 后，右击 HA Cluster，点击 Edit，然后找到高级选项设定：2、再如上图所示的内容中，添加下参数：备注：缺省情况下，这个参数的值是 false 的。39、通过 vSphere Client 登陆 ESXi 主机提示“正在更新”的问题 故障状态：通过 vSphere Client 登陆 VCenter 正常，登陆 ESXi 主机提示如下图：故障分析：需要通过来更新 Client 说明客户端存在问题，由于登陆 VCenter 不存在任何问题，所以基本确定版本的问题。查看 ESXi 版本和 vSphere Client，发现 Client 的版本低于 ESXi 版本。解决方案：由于 Client 所在网络无法上 Internet,所以无法更新 Client 客户端，可以通过安装高版本的Client 来解决此问题。40、红旗 32 位 Linux 进入系统时提示”udevu”无法继续进入系统的问题 故障状态：进入系统后，出现下图的界面，之后无法向下运行，必须按 Ctrl+C 才能继续向下运行 故障分析：由于系统安装时候是完整的，光盘镜像包是完整的，安装的时候不存在任何问题。考虑到物理机上不存在这种问题，怀疑虚拟机虚拟驱动的问题，安装新的 VMware-tools 问题依旧。虚拟机管理问题 早于 版本的 Linux 内核不报告处于关闭电源状态的每插槽内核数为 2 从 ESXi 开始，多核虚拟 CPU 支持允许处于关闭电源状态的每插槽内核数为 2。早于 版本的 Linux 内核仅正确报告处于打开电源状态的每插槽内核数为 2。例如，当您在.vmx 文件中设置numvcpus=6和=3时，一些 Linux 客户机操作系统可能无法报告任何物理标识信息。Linux 内核 及更高版本会正确报告 CPU 和内核拓扑。解决办法：无 将内存热添加到使用 Linux 64 位或 Windows 7、32 位客户机操作系统的虚拟机时，无法将现有虚拟内存增加到 3 GB 以上 下列情况适用于将内存热添加到使用 Linux 64 位或 Windows 7 32 位客户机操作系统的虚拟机。如果已打开电源的虚拟机的内存少于 3 GB，则内存热添加量不能超过 3 GB。如果虚拟机内存为 1 GB，则可以添加 2 GB。如果虚拟机内存为 2 GB，则可以添加 1 GB。如果虚拟机的内存为 3444 MB，则可以添加 128 MB。如果已打开电源的虚拟机的内存正好为 3 GB，则无法热添加任何内存。如果已打开电源的虚拟机的内存超过 3 GB，则可以将虚拟机内存增加到虚拟机打开电源时初始内存大小的 16 倍或增至硬件版本限制（以两者中较小者为准）。硬件版本 7 的限制是 255 GB，硬件版本 8 的限制是 1011 GB。如果在虚拟机电源打开时，内存从小于或等于 3 GB 增长到大于 3 GB，则 Linux 64 位和 32 位 Windows 7 客户机操作系统会冻结。此 vSphere 限制可确保您不会在客户机操作系统中触发该错误。解决办法：无。在硬件版本 7 虚拟机上进行 CPU 热添加时出错 硬件版本 8 虚拟机的多核虚拟 CPU 功能支持虚拟 CPU 热添加。对于每个插槽的内核数大于 1 的硬件版本 7 虚拟机，当您在 虚拟机属性 对话框中启用 CPU 热添加并尝试热添加虚拟 CPU 时，操作失败并显示以下错误消息：该虚拟机不支持 CPU 热插拔(CPU hot plug not supported for this virtual machine)。解决办法：要在硬件版本 7 虚拟机上使用 CPU 热添加功能，请关闭虚拟机电源并将每个插槽的内核数设置为 1。为达到最佳效果，请使用硬件版本 8 虚拟机。同时创建大量虚拟机会导致文件操作失败 同时创建大量驻留在同一目录下的虚拟机时，存储系统变得不堪重负，导致一些文件操作失败。会显示错误消息并且创建虚拟机操作失败。解决办法：以更小的批量（例如 64 个）创建其他虚拟机，或尝试在不同的数据存储中或同一数据存储的不同目录中创建虚拟机。在通过 vMotion 进行迁移过程中，从 ESXi 主机直通到虚拟机的 USB 设备可能断开连接 如果 USB 设备从 ESXi 主机直通到虚拟机并且该设备配置为在通过 vMotion 进行迁移过程中仍保持连接，则该设备可能会在 vMotion 操作过程中断开连接。如果 DRS 触发迁移，该设备也会断开连接。当设备断开连接时，它们会恢复至主机，不再连接到虚拟机。迁移连接了多个 USB 设备的虚拟机时，会更频繁地发生此问题，但连接了一个或少数设备时，只偶尔发生此问题。解决办法：将虚拟机迁移回与 USB 设备物理连接的 ESXI 主机，并将设备重新连接到虚拟机。在 vSphere 5 中，VMware 采取了积极主动的方法对虚拟机的性能指标进行监控。管理员能够通过命令行和图形用户界面查看所需要的所有信息，而且有一些工具能够帮助虚拟化管理员对虚拟环境进行监控。能够细粒度地查看现有配置和性能指标，同时基于相关的数据做出积极的决定，能够使虚拟环境流畅地运行。因此对工程师来说，了解平台内置的虚拟机性能监控工具是很重要的。虚拟机性能监控图表 为收集对象清单中所有对象的资源使用信息，vSphere 统计子系统进行了大范围的数据收集与分析。对象清单中的对象可能是与 vSphere 进行交互的物理组件或者是虚拟组件(也就是虚拟机、网络、主机、数据存储)。所有的性能数据在非常短的时间间隔内被收集、处理并归档到 vCenter Server 数据库中。管理员能够通过命令行监控工具或者是通过查看vSphere Client 或者是 vSphere Web Client 中的性能图表获取这些性能统计信息。为收集相关的统计信息，vCenter Server 以及 ESXi 主机使用了数据计数器：数据计数器是与一个特定的对象或设备相关的数据单元。为了实现更大程度上的可见性，每个数据计数器分别将不同的统计数据收集到性能指标组中。例如，磁盘性能指标组包括了不同的数据计数器用以收集有关磁盘读、写速率以及磁盘利用率的数据。这样一来，管理员就能够使用所有的数据计数器收集到的统计数据构建性能图表，对随时间变化而发生变化的性能数据进行分析。客户操作系统以及主机性能监控 对虚拟化管理员来说，最重要的任务之一就是保证物理主机以及客户操作系统的健康。VMware 使用微软的性能监控工具(PerfMon)，提供了使工程师能够查看客户操作系统各方面性能数据的性能计数器。使用非 Windows 虚拟机比如 Linux 的用户，可以部署内置的 vCenter性能监控工具对虚拟机进行监控。为实现更细粒度的监控，管理员能够借助第三方的性能监控工具，比如 Veeam 公司的性能监控工具 One 对 Windows 虚拟机以及 Linux 虚拟机的性能进行监控。VMware vSphere 5 能够根据虚拟机的状态或者是资源使用率动态分配可用的资源。vSphere 5 的这一特性使获取单个虚拟机或者应用资源使用率(尤其是 CPU 利用率)的准确信息变得困难。为应对这一挑战，VMware vSphere 5 现在提供了可供 PerfMon 工具使用的针对虚拟机的性能计数器类库，使应用管理员获取准确的虚拟机性能和资源使用统计信息成为了可能。这一特性的推出并没有引起太多的关注，但是当虚拟机安装了 VMware Tools 后这些性能计数器默认是加载的。vSphere Client 内部的主机监控工具允许你查看主机硬件组件的健康状况，包括的主机硬件组件如下：CPU;内存;风扇;温度;电压;功率;网络;电池;存储;线缆/互连;软件组件。