某智慧城市政务云平台项目建设最佳方案年月.docx

《某智慧城市政务云平台项目建设最佳方案年月.docx》由会员分享，可在线阅读，更多相关《某智慧城市政务云平台项目建设最佳方案年月.docx（206页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、智慧城市政务云平台项目建 设 方 案2022年05月项目建设应从S县政务云数据中心信息化发展方向以及发展现状出发，加 强综合协调和统筹规划，借助现代、前沿的信息化技术，形成集成能力强、运 作效率高和具有可持续发展能力的云数据中心多业务应用平台，真正为S县政 务提供找得着、用得好、有保证的信息化服务。具体建设思路如下： 统筹规划，分步建设资源共享、协同服务 因地制宜，突出重点基于云计算，创新服务模式本方案将云数据中心“IT基础设施”的“按需使用”以及“自动化管理和 调度”作为云计算的实践，形成可落地实施的、可持续发展的云计算平台，即 laaS云计算平台。业务背景电子政务建设集约化程度不高S县已建

2、成的各类信息系统有效支撑了现阶段政府管理和民生服务的需求。 但由于规划标准不一，难以支撑政府职能转变需求。亟需加强电子政务规划、建 设、运营的统筹协调，从部门独立建设、自成体系，向跨部门跨行业集约化的政 务云模式转变。1.1.3.1 信息资源共享度较低众多业务系统由于部门化管理，跨条块资源集成难、跨领域业务协同难、跨 部门信息共享难的“三跨难”问题仍然存在，极易导致部门间业务协同不便，产 生信息孤岛、绩效监测失控等弊端。1.1.3.2 突破信息话瓶颈建设当前各级政府推进信息化建设，面临资金更节约、政务需求更专业、信息安 全更可控的新要求，这些要求之间彼此制约，成为突出瓶颈。云计算是一种创新 的

3、服务交付和使用模式，以公开的标准和服务为基础，通过网络提供按需、弹性、 可靠、安全的服务。云服务是基于信息网络的新型计算模式和服务模式，它实现独立存储节点独立存储节点，用于独立承载分布式存储的节点，构建独立存储区域。适合 将计算和存储分离，搭建独立存储网络的场景。独立存储节点，使用独立的存储 网络接入设备，与计算业务物理或逻辑隔离。 部署独立存储节点，可节省计算节点的CPU、内存等资源；一般由几台和几千台服务器组成，生产环境至少部署3台以上，保证分布 式系统的正常部署和运行； 独立存储节点为【可选】节点，如果采用超融合节点，可使用计存存储超融 合节点上的数据磁盘作为分布式存储的存储池。部署存储

4、节点时，建议每个节点均配置相同介质类型的数据磁盘，如全SSD 存储节点、SATA存储节点等，将相同磁盘类型的节点组成一个存储集群，分别 作为普通存储和高性能存储资源池。如需对接商业存储设备，需将存储设备与存储节点相连，在存储节点上部署分布 式存储系统，将磁盘阵列作为存储资源池。4.2.1.3 基础监控节点基础监控节点是用于承载云平台基础硬件资源的监控服务，包括云平台接入 的所有网络设备、服务器、磁盘阵列等硬件设备的运行状态和性能指标进行监控 告警，同时也可对集群中MySQL、Redis、MongoDB等常用服务进行监控和告警。 基础监控节点为【可选】节点，一般部署2个节点即可，可采用一台物理服

5、务 器部署，也可将其中一个节点部署于一个虚拟机中，生产环境中，可根据需求选 择部署方案。4.2.1.4 物理网络架构为构建高可用、高可靠、高安全的企业专有云平台，私有云平台平台均采 用高可用冗余性设计。本文以标准网络拓扑图为基础进行物理网络架构描述，本 架构设计至少需要6台万兆交换机、2台千兆交换机、多台计算&存储节点服 务器。若有IPMI管理及网络设备管理等需求，可根据需求增加IPMI和 Management交换机并接入网络。私有云平台平台网络设计为核心、接入二层架构，接入交换机双上联到核心， 且按计算业务分集群划分。本架构设计从业务场景上提供公网服务，因此整体业 务架构分为内网区域和外网区

6、域两张网络，分别承载云平台内网通信和外网通信, 两张网络在网络设备层面物理隔离。同时标准架构中，通过将用户数据中心的物理网络与云平台【外网区域】物理连 接在一起，通过云平台提供的物理IP产品，实现平台虚拟机与物理网络进打通 的业务场景。4.2.1.5 架构规模标准的网络架构为单数据中心网络架构，即单数据中心可支撑900 1000 台规模的节点数量： 两台交换机堆叠在一起，称为一组交换机，如一组内网接入交换机或一组外 网接入交换机；通常一组接入交换机为96个业务接口，堆叠检测及备用占用3*2个接口， 可用业务端口为90个； 每个服务器节点使用两个网卡占用一组接入交换机的2个接口，即一组接 入交换

7、机可接入45台服务器；每增加一组交换机即可扩展45个节点，一组核心交换机至少可接入20组 接入交换机，即至少可支撑900个节点服务器。4.2.1.6 网络区域网络区域的设备通常包括内网核心交换机、外网核心交换机、内网接入交换 机、外网接入交换机。若服务器节点规模较小且暂不考虑扩容，可仅采用内/外 网接入交换机。 内网核心交换机：采用40GE的三层交换机堆叠作为一组内网核心，用于承载内网接入交换机的汇聚和管理；外网核心交换机：采用万兆三层交换机堆叠作为一组外网核心，用于承载外 网接入交换机的汇聚和管理； 内网接入交换机：采用万兆交换机堆叠作为一组内网接入，用于承载服务器内网接入；外网接入交换机：

8、采用千兆交换机堆叠作为一组外网接入，用于承载服务 器外网接入； 除Internet连接外，网络均为大二层环境，采用LLDP协议获取网络拓扑 信息，所有网络接入均为端口聚合，保证高可用；同时通过控制接口广播报 文流量，抑制网络广播风暴；, 外网核心交换机与Internet之间可以为二层聚合、三层聚合、L3 ECMP、 L3 A/S等互连模式，同时支持串联或旁挂防火墙、IDS、IPS及防DDOS等 安全设备； 云平台提供的网络功能均采用软件定义的方式实现，物理交换机仅作为网络 流量转发设备，即仅使用交换机部分通用能力，如堆叠、Vian、Trunk、LACP 及IPV6等，无需采用SDN交换机实现虚

9、拟网络的通信。若云平台虚拟机需要与数据中心的物理服务器进行通信，如标准架构图所示, 需要将物理网络与云平台外网交换机进行互联，通过云平台提供的【物理IP1 产品进行绑定并通信。标准网络架构中，通常推荐至少采用万兆及以上级别的交换机，保证平台节点内 网接入、虚拟资源通信及分布式存储的性能及可用性。由于外网接入带宽一般较 小，通常推荐采用千兆交换机作为外网接入设备。服务器区域服务器区域的设备通常包括计算存储超融合节点、独立计算节点、独立存储 节点、管理节点及基础监控节点。若直接使用计算节点的虚拟机作为管理节点, 即可省去物理管理节点服务器。 计算节点【必选】：采用X86/ARM架构服务器作为计算节

10、点或计算存储超 融合节点，用于运行虚拟机、虚拟网络分布式、存储服务及数据库缓存等服 务，承载整个云平台的资源核心实现及运行。- 采用2个GE网卡分别上联到两台外网接入交换机，并做双网卡 bond ,作为计算节点外网接入；采用2个10GE网卡分别上联到两台内网接入交换机，并做双网 卡bond，作为计算节点内网接入；- 若为超融合节点，则分布式存储使用所有计算节点上的数据磁盘，所 有计算节点上的数据磁盘组成统一分存储资源池，用于构建分布式存 储；若为独立计算节点，则分布式存储使用存储节点上的数据磁盘作为统 存储资源池，通过网络跨集群挂载。 独立存储节点【可选】：若计算存储需要分离部署，可采用X86

11、/ARM架构 且磁盘较多服务器作为独立存储节点，用于承载独立的分布式存储服务。- 存储节点与计算服务通过内网进行通信，仅需2个10GE网卡分别 上联到两台内网接入交换机，并做双网卡bond ,作为存储节点的 内网接入；如需将计算存储网络物理隔离，可采用独立存储接入交换机，存储节 点的网卡上联至存储接入交换机；- 分布式存储使用存储节点及超融合节点上的所有数据磁盘，三副本保 证数据安全；为保证分布式存储的性能及可用性，存储节点必须采用万兆以上速率 的网卡。 管理节点【可选工平台默认推荐使用平台虚拟机部署管理服务，如需物理 服务器承载并运行管理服务，可采用X86/ARM服务器作为云平台管理节点,

12、用于承载云平台管理填块及服务。- 采用2个GE网卡分别上联到两台外网接入交换机，并做双网卡 bond ,作为管理节点外网接入；采用2个10GE网卡分别上联到两台内网接入交换机，并做双网 卡bond，作为管理节点内网接入。基础监控节点【可选】：可采用x86服务器接入内网作为基础监控节点，用于监控云平台基础设施。以上网卡bond均采用mode=4模式，即IEEE 802.3ad动态链路聚合。4.2.1.8标准架构扩展在实际项目中，根据用户需求和所提供的环境，可对标准网络架构进行调整, 如项目较小规模(48节点内)或仅需一个简单的测试环境或等场景。(1)如需内外网物理隔离且考虑接入冗余，可采用2组共

13、4台接入交换机进 行业务部署。 2台堆叠用于服务器内网接入，2台堆叠用于服务器外网接入；每台服务器内外网分别使用2个接口绑定接入内外网接入交换机，可支持48台服务器节点冗余接入。(2)如需内外网物理隔离且不考虑接入冗余，可采用2台接入交换机进行 业务部署；1台用于服务器内网接入，1台用于服务器外网接入； 每台服务器分别使用1个接口接入内网接入交换机及外网接入交换机，支持48台服务器节点接入；(3)若内外网无需物理隔离且考虑接入冗余，可采用2台交换机堆叠，通过Vian隔离内外网，如下图所示:安全防护互联网40GE10GEGEVian 100Vian 10安全防护方案一：通过在交换机上划分Vian

14、 ,服务器分别使用2个接口绑定接入交换机内外网Vian接口，即每台服务器需2组bond （4个接口）实现内外 网业务通信，可支持24节点；方案二：通过在服务器操作系统内划分Vian （即子接口），服务器分别使用2个接口绑定接入交换机Trunk接口，即每台服务器仅需2个接口绑定实 现内外网业务通信，可支持48节点；（4）若内外网无需物理隔离且不考虑接入冗余，可采用1台交换机，通过 交换机Vian或服务器内划分Vian进行内外网隔离及接入。（5）若实际环境中需要采用独立的计算节点和独立的存储节点，并需要将计算 网络和存储网络进行物理隔离，可以为独立存储节点单独划分一对接入交换机上 联至内网核心交换

15、机，实现计算和存储网络进行分离。平台计算虚拟机可通过物 理网络挂载多个存储网络的存储集群，采用独立的存储网络设计可将存储节点及 分布式存储系统内部同步流量与虚拟机计算读写存储的流量进行分离，提高平台 整体的稳定性和性能。推荐配置（1）网络设备推荐配置业务内网核心交换机外网核心交换机内网接入交换机（必选）存储接入交换机外网接入交换机配置描述40G 板卡（16口）4, 6440GE48*10GE + 6*40GE48*10GE + 6*40GE48*10GE + 6*40GE48*GE + 4*10GE + 2*40GE交换机型号默认推荐华为CE系列，亦可根据配置选择其它品牌同等配置交换 机。（2

16、）服务器推荐配业务配置描述计算 Factor Form： 2UCPU： Intel Xeon Gold 6126 Processor 19.25M +SATA Cache, 2.60 GHz *2DIMM： DDR432GB2666MHz * 12OSHDD； 节点 SATA3SSD240GB6Gb/s *2DataH。： 5/4LASHDD4T86Gb/s7200RPM*6NIC: Intel 2 口 千兆+lnteT 2 口 万兆（不含SFP十多模模块）HDD Controller: 12Gb/sRAlDCard_1G Cac/）eSuperCapPSU: 550W白金版*2计算 Fact

17、or Form： 2UCPU： Intel Xeon Gold 6146 Processor 24.75M +SSD 节 Cache, 3.20 GHz *2DIMM： DDR432GB2666MHz * 12OSHDD； 点 SATA3SSD240GB6Gb/s *2DataHDD；SA7A3SSD960G86Gb/s*8Vbl7NIC: Intel 2 口 千兆+lntel 2 口 万兆（不含SFP+多模模块）vbr/HDD Controller: 12Gb/s/?4/DCard 1GCac/）eSuperCapPSU: 700W 白金版 *2管理节 Factor Form： 2UCPU：

18、 Intel Xeon Silver 4110 Processor 11M 点、（若 Cache, 2.10 GHz *2DIMM： DDR432GB2666MHz *20S HDD：有）SATA3SSD240GB6Gb/s *2 Data HDD： SATA3SSD 480G *6HDDController： 12Gb/s RAID Card + 1G Cache + SuperCapNIC： Intel 2 口千兆+Intel2 口万兆（不含SFP+多模模块）PSU： 2550W白金版 电源*2(3)独立存储节点推荐配置业务配置描述 独立存 Factor Form： 2UCPU： Inte

19、l Xeon Gold 4110 Processor 11M 储 Cache, 2.10 GHz *2DIMM： DDR416GB2666MHz * 6OSH。： SATA SATA3SSD240GB6Gb/s *2DataHDD； S/AL43HDDST86Gb/s7200RPM 节点 *12NIC: Intel 2 口千兆+lntel 2 口万兆（不含SFP十多模模）HDD Controller: 12GbHBA_CardPSU: 550W 白金版 *2 独立存 Factor Form： 2UCPU： Intel Xeon Gold 4110 Processor 11M 彳诸 SSD Ca

20、che, 2.10 GHz *2DIMM： DDR416GB2666MHz * 6OSHDD； 节点 SATA3SSD240GB6Gb/s *2DataHDD； U.2 NVMe 6.4TB *2NIC:Intel 2 口 千兆+lntel 2 47 万兆（不含SFP+ 多模模块）HDD Controller:12GbHBA_CardPSU: 800W 白金版 *242.22最低配置用于生产环境的最低主机和网络硬件配置，一般生产环境至少需要3台计 算节点和2台万兆接入交换机。(1)服务器最低配置配置 分类配置说明CPU CPU不低于8核心，且支持X86或ARM架构的硬件虚拟化特性br/通常建议

21、服务器配置相同型号的CPU内存单台服务器的内存不低于64G网卡 最少2块千兆以上网卡，建议使用2块万兆网卡br/如需外网访问, 建议内外网各2块网卡磁盘 至少2块系统盘做RAIDkbr/本地数据盘根据业务情况，可使用机械 硬盘SATA和SSD硬盘br/若业务对读写性能要求较高，建议采用SSD或NVMe类型的硬盘(2)(2)网络设备最低配置务网络设备描述内 至少12台普通二层交换机，做交换机堆叠，保证高可用网外如需外网接入，可与内网共用交换机，通过Vian进行逻辑隔离，详见标网准架构扩展机柜规划（示例）网络设备和服务器的物理机柜空间规划如下图所示:示例架构机柜空间规划方案12台对称部号 每个机柜

22、部署4台3台对称部署 每个机柜部署1台所有设备在机柜中对称部署，实现机柜级冗余，单机柜掉电或故障不影响云 平台业务。一个机柜可支撑15个节点，根据网络架构设计一组接入交换机支撑 45个节点，即一组接入交换机支撑3个机柜。3个机柜为1组，平均1组机 柜支撑45个节点、1组内网接入交换机、1组外网接入交换机、1台IPMI接入交换机。如上图项目案例中的设备包括8台业务交换机、4台运维管理交换机、21台服务器设备及3个机柜:一组内网核心交换机对称部署于2个机柜,即其中两个机柜各部署1台;一组内网接入交换机对称部署于2个机柜,即其中两个机柜各部署1台;一组外网核心交换机对称部署于2个机柜,即其中两个机柜

23、各部署1台;一组外网接入交换机对称部署于2个机柜,即其中两个机柜各部署1台;一组管理汇聚交换机对称部署于2个机柜,即其中两个机柜各部署1台;1台IPMI接入交换机和1台网络设备带外管理交换机部署于1个机柜;3台管理节对称部署于3个机柜，即每个机柜各部署1台；12台计算&SATA节点对称部署于3个机柜，即每个机柜各部署4台；6台计算&SSD节点对称部署于3个机柜，即每个机柜各部署2台。若服务器分集群部署云平台，建议不同集群的服务器对称部署于多个机柜中。4.3产品功能架构虚拟化核心私有云平台虚拟化核心具备计算虚拟化、智能调度、存储虚拟化、网络虚拟化 的基础能力，为专有云平台提供软件定义的计算、存储

24、、网络及资源管理等服务， 在保证资源服务性能、可用性及安全性的同时，提供统一资源调度及管理服务， 适应企业基础设施服务的多种应用场景。431.1计算虚拟化云计算技术是虚拟化技术的延伸，计算虚拟化是在硬件之上增加一个Hypervisor, 通过它虚拟出多个完全隔离的主机并可安装不同的操作系统，承载不同的应用程 序运行，最大程度上解决了一台物理机被一个系统或一个应用占用的问题，有效 的提高资源使用率。了业务应用软件与物理基础设施分离，避免了设施重复建设，拓宽了专业服务发 展空间。政府采购云服务，是降低行政成本，提高行政效力的有效途径，推进购 买云服务，能破解政府信息化建设高重复、高耗能、低效率的困

25、局。1.1.3.4 提高政府信息安全在云计算架构下，数据集中存储在云端，数据存储介质难以通过物理方法获 得，可有效降低数据泄露风险。云服务模式降低了对单台设备可靠性的要求，更 能体现国产设备性价比高的优势。政府采购云服务将极大的推进政府社会管理和 提供公共服务的水平，提升政府的效力和公信力。同时也是维护国家信息安全的 有力手段。目前各行业，尤其是政府机构，将逐步降低对国外厂商与产品的依赖， 夯实维护国家信息安全的基础。止匕外，云服务商会根据用户要求，对云端用户数 据进行统一管理。1.1.3.5 促进治理能力现代化当前我国推进国家治理体系和治理能力现代化的一个重要内涵是，促进政策 形成趋于量化、

26、精细化。云服务模式是大数据治国背景下的重要基础设施。云服 务模式具有政府信息中心无法比拟的专业优势，可搭建经济社会多领域数据融合 的平台，挖掘数据信息潜在相关关系和发展趋势，能促进政府科学判断和预测。1.1.3.6 支撑政务业务应用和发展从信息化系统的业务角度出发，基础设施的集中后，政府信息化的项目管理 单位，省去基础实施资源的规划、维护的工作与安全防护的责任。从信息数据的角度出发，云架构的网络与存储的集约化建设，为数据的汇聚、 交换、共享，提供了更为便捷的渠道与基础。从县内信息化系统的统筹管理与监管的角度出发，通过统一的云管平台可以 实现全县的设备的集中的信息化管理。避免原先的分散管理带来的

27、沟通成本，使 得区内信息化的统筹安排与调度成为可能。App1 App2 App3Bins/LibsBins/LibsBins/LibsHost Operating SystemInfrastructureQ s d2物理机App1App2App3Bins/LibsBins/LibsBins/LibsGuest OSGuest OSGuest OSHypervisorHost Operating SystemInfrastructure s d2)虚拟机如上图所示，物理机和虚拟机在应用部署及资源占用上有本质区别：物理机环境操作系统是直接安装在物理机上，通常一台物理机只支持安装一个操 作系统；-

28、所有的应用程序和服务均需部署在物理机操作系统上，共享底层硬件 资源；多个应用程序对底层操作系统的及组件要求不一致时，可能会导致应 用无法正常运行，需要将两个应用程序分虽部署至一台物理机上，在 非业务高峰时资源利用率较低。虚拟机环境在硬件底层及操作系统之上增加Hypervisor层，作为计算虚拟化的 引擎；- 虚拟化引擎支持将底层硬件虚拟为多个主机，即虚拟机；每个虚拟机都拥有独立的硬件设施，如CPU、内存、磁盘、网卡等；- 每个虚拟机可以独立安装并运行不同的操作系统（GuestOS）,相互完 全隔离，彼此不受影响；每个虚拟机操作系统与物理机的操作系统一致，拥有独立的组件及库 文件，可运行专属应用

29、服务；- 多个应用程序的虚拟机在完全隔离且彼此不影响的情况下运行在一 台物理机上，并共享物理机的资源，提高物理机的资源使用率及管理 效率。私有云平台计算虚拟化采用KVM和Qemu等Hypervisor组件及技术，将通 用裸金属架构的X86/ARM服务器资源进行抽象，以虚拟机的方式呈现给用户。 虚拟机将CPU、内存、I/O、磁盘等服务器物理资源转化为一组可统一管理、调 度和分配的逻辑资源，并基于虚拟机在物理机上构建多个同时运行、相互隔离的 虚拟机执行环境，可充分利用硬件辅助的完全虚拟化技术，实现高资源利用率的 同时满足应用更加灵活的资源动态分配需求，如快速部署、资源均衡部署、重置 系统、在线变更

30、配置及热迁移等特性，降低应用业务的运营成本，提升部署运维 的灵活性及业务响应的速度。私有云平台计算虚拟化通过KVM硬件辅助的全虚拟化技术实现，因此需 要CPU虚拟化特性的支持，即要求计算节点CPU支持虚拟化技术，如Intel VT和AMD V技术。KVM属于Linux Kernel的一个模块，虚拟化平台可通 过加载内核模块的方式启动KVM ,管理虚拟硬件的设备驱动，用于模拟CPU 和内存资源，同时需要加载QEMU模块模拟I/O设备。KVM虚机包括虚拟内 存、虚拟CPU和虚机I/O设备，其中KVM用于CPU和内存的虚拟化， QEMU用于I/O设备的虚拟化。虚拟机不直接感知物理CPU ,它的计算单

31、元会通过Hypervisor抽象的 vCPU和内存进行呈现，通过与GuestOS的结合共同构建虚拟机系统。I/O设 备的虚拟化是Hypervisor复用外设资源，通过软件模拟真实硬件进行呈现，为 GuestOS提供诸如网卡、磁盘、USB设备等外设。计算虚拟化是私有云平台企业专有云平台的服务器虚拟化组件，是整个云 平台架构的核心组件。在提供基础计算资源的同时，支持CPU超分、嵌套虚拟 化、RAW镜像文件、NUMA优化、GPU透传、虚拟机异常重启及集群平滑扩 容等特性。4.3.1.1.1 CPU 超分私有云平台支持平台物理CPU超分，即平台可虚拟化的vCPU数量可大于 PCPU数量，在分配给虚拟机

32、的CPU资源未全部使用时，共享未使用的部分给 其它虚拟机使用，进一步提高平台CPU资源使用率。以1台双路CPU的计算 节点服务器为例： 双路CPU即为2颗物理CPU ,每颗物理CPU为12核24线程；每颗CPU为24核，两颗CPU为48核，即可分配48 vCPU； 正常情况下，能提供的虚拟机vCPU为48C ；若平台管理员开启CPU超分，并设置超分比例为1:2 ,即代表可使用的vCPU 数量是实际CPU数量的2倍。服务器(48C )在开启2倍超分后，可实际创 建使用的vCPU为96 ,即可创建96C的虚拟机。支持平台管理员在设置并管理CPU超分比，并查看平台CPU的实际使用 量及vCPU的使用

33、量。由于开启超分后，可能存在多台虚拟机共用vCPU的情 况，为不大幅影响虚拟机的性能及可用性，通常建议尽量降低CPU超分比例, 甚至不建议开启CPU超分。如平台实际共48 vCPU ,经过超分后可创建96 vCPU的虚拟机，在虚拟 机业务峰值时可能会真正占满48 vCPU的性能，通过超分资源运行的虚拟机性 能会极速下降，甚至会影响虚拟机的正常运行。CPU超分比例需通过长期运行 运营的数据进行调整，与平台虚拟机上所运行的业务应用程序有强关联性，需要 长期考察平台在峰值业务时需要的CPU资源量进行灵活调整。4.3.1.1.2 嵌套虚拟化嵌套虚拟化是指在私有云平台平台的虚拟机基础之上继续搭建虚拟化环

34、境，允 许在虚拟机中暴露更多物理CPU的特性，适用于在虚拟机上快速搭建虚拟化测 试环境，如在私有云平台虚拟机上运行VMware Vsphere的虚拟化软件。支持平台管理员开启或关闭vCPU硬件虚拟化功能，开启后云平台的虚拟 机中可以在部署虚拟化环境，并将虚拟机之上在运行虚拟机；当关闭vCPU硬 件虚拟化功能后，云平台的虚拟机中将无法正常运行虚拟机。4.3.1.1.3 RAW镜像文件私有云平台平台使用RAW格式的镜像作为虚拟机的虚拟磁盘文件，即原始镜 像。RAW镜像会直接当作一个块设备提供给虚拟机使用，由宿主机文件系统管 理镜像文件的空洞，如创建一个100GB的RAW的镜像文件，实际占用空间很

35、小。当虚拟机的GuestOS读写磁盘时，会以CHS变量方式进行运算并寻址， 通过KVM驱动将值翻译成RAW镜像特有格式进行10操作。RAW镜像的优势在于启动虚拟机的效率较高，即启动虚拟机速度较快，相 比QCOW2格式镜像的虚拟机启动速度快25%,同时RAW镜像支持转换为 QCOW2格式。RAW镜像及运行的虚拟机块设备均会存储于统一分布式存储系统中，方便 虚拟机的迁移和故障恢复。4.3.1.1.4 NUMA 优化NUMA （非统一内存访问 Non Uniform Memory Access Architecture）是一种用于 多处理器的内存存储设计，内存访问时间取决于处理的内存位置。在NUMA

36、 下，处理器访问它自己在本地内存的速度比非本地内存效率更高。在物理服务器中，一个物理CPU插槽本身直连的内存叫本地内存，其它物 理CPU插槽直连的内存即为非本地内存。一个物理CPU访问非本地内存需经 过QPI总线，存在一定的时延，如果访问频繁，可能就会加大访问的时延，进 而影响部分需大量使用内存做缓存的业务，如Oracle数据库服务。NUMA优化是指尽量让物理CPU访问本地内存，降低访问内存缓存的时 延。私有云平台的虚拟化实现及迁移等技术已经过NUMA技术优化，将虚拟 机CPU对应的本地内存绑定在节点上，使其尽可能使物理CPU访问本地内存, 提高业务的访问时延。4.3.1.1.5 GPU 透传

37、私有云平台平台支持GPU设备透传能力，为平台用户提供GPU虚拟机服务， 让虚拟机拥有高性能计算和图形处理能力。GPU虚拟机在科学计算表现中比传统架构性能提高数十倍，可同时搭配SSD云硬盘，10性能亦在普通磁盘的数十 倍以上，可有效提升图形处理、科学计算等领域的计算处理效率，降低IT成本 投入。GPU虚拟机与标准虚拟机采用一致管理方式，包括内外网IP分配、弹性网卡、子网及安全组管理，并可对GPU虚拟机进行全生命周期管理，包括重置 密码，变更配置及监控等，使用方式与普通的虚拟机一致，支持多种操作系统, 如CentOS Ubuntu Windows等，在不增加额外管理的基础上，为租户提供例捷的GPU

38、计算服务。用户可以自定义需要的GPU、CPU、内存、硬盘数量，让企业以更具性价 比的方式享受GPU带来的高性能计算。为让GPU发挥最佳性能，平台对GPU、CPU及内存的组合定义如下:GPU CPU 内存8G, 16G16G,32G16G,32G16核32G,64G16核32G,64G32核64G,128G平台本身不限制GPU品牌及型号，即支持任意GPU设备透传，已测试并 兼容 GPU 型号为 Tesla VI00 和 Tesla K80。!平台默认不支持GPU虚拟化，如需GPU虚拟化能力，需购买GPU虚 拟化授权。4.3.1.1.6 VM异常重启虚拟机支持Windows Linux Ubunt

39、u等Guest操作系统，在日常运行中可能 因为系统或应用程序的原因出现死机、卡死等业务中断问题。在出现此类故障时, 虚拟机或物理机均不会自动重启使系统恢复，需要管理员或运维人员手动介入重 启，可能会影响业务连续性敏感的应用。私有云平台平台为用户提供虚拟机异常重启功能，支持对虚拟机的网络通 信状态、磁盘10、网络流量及虚拟机本身进程进行不断检测，判断虚拟机的操 作系统是否已进入卡死或异常状态。若卡死状态持续一定时间，可认为虚拟机发 生异常，系统将自动对虚拟机进行关机并重启操作，将虚拟机恢复至正常运行状oVM异常重启动能可帮助云平台资源管理者进行自动化运维，同时保证虚拟 机业务的持续可用性。4.3

40、.1.1.7 集群平滑扩容私有云平台平台支持平滑扩容集群内的计算节点，新增的节点不会影响已有节 点及虚拟资源的运行。通过平滑扩容云平台管理员可轻松解决平台因业务增长而 带来的资源扩展，包括硬件资源不足、高负载主机维护、新业务上线资源扩容等 场景。私有云平台集群扩容可保证节点扩展过程中业务不中断，虚拟资源均正常 运行，并提供简单快速的部署操作，支持自动化脚本一键部署上线。在扩容后平 台支持在线为节点添加磁盘功能，使管理员可在不影响平台稳定运行的情况下, 为平台横向及纵向的扩展资源。平滑扩容成功后，平台原有的虚拟资源会保持原始状态，待平台有新的虚拟 资源需要运行和部署时，智能调度平台会将新的虚拟资

41、源（如虚拟机）调度至平 滑扩容的节点；若平台有物理机发生故障，原物理机上的虚拟机会根据调度策略 迁移至新扩容的节点。支持平台管理员手动将一台虚拟机迁移至新扩容的节点, 用于平衡平台整体资源使用率。4.3.1.2智能调度智能调度是私有云平台平台虚拟机资源调度管理的核心，由【Schedule Manager 模块负责调度任务的控制和管理，支持反亲和性部署策略，用于决 策虚拟机运行在哪一台物理服务器上，同时管理虚拟机状态及迁移计划，保证虚 拟机可用性和可靠性。智能调度系统实时监测集群所有计算节点计算、存储、网络等负载信息，作 为虚拟机调度和管理的数据依据。当有新的虚拟资源需要部署时，调度系统会优 先

42、选择低负荷节点进行部署，确保整个集群节点的负载。如下图所示，新创建的 虚拟资源将会通过调度检测，自动部署至负载较低的Node3节点上。Compute Nodel负载正常Compute Node2故障节点Compute Node3负载正常调度系统在优先选择低负荷节点进行虚拟资源部署的同时，分别提供打散部 署、在线迁移、宕机迁移等能力，整体保证云平台的可靠性。私有云平台 云平 台使用分布式存储提供存储服务，如上图所示，虚拟机均运行于分布式存储池之 上，且分布式存储池可跨多台物理机构建统一分布式存储资源池。虚拟机的系统 盘、镜像文件及挂载的硬盘均存储于统一分布式存储池中，每台计算节点均可通 过分布式

43、存储池中的虚拟机的系统盘文件及配置信息注册一个相同的虚拟机进 程，可作用于在线迁移或宕机迁移任务。4.3.1.2.1 打散部署打散部署一一即虚拟资源反亲和部署策略，指将运行相同应用服务的虚拟资源根 据调度策略打散且均衡的分布在底层集群物理服务器上，保障硬件或软件故障等 异常情况下服务的高可用性。私有云平台云平台默认支持虚拟机打散部署策略，即一个用户的虚拟机在 创建时，会优先选择健壮的节点进行部署，同时会保证一个用户的虚拟机尽量打 散部署至底层集群的节点上，保证业务健壮性；同时平台支持手动进行打散标记， 用户可通过【业务组】区分不同业务的虚拟资源，同一业务组的虚拟机会根据智 能调度策略均衡分布在

44、集群物理服务器，确保业务服务的高可用性。 当用户将两台虚拟机标识为同一个业务组，即代表两台虚拟机部署相同或相 关联的业务应用服务；平台调度策略会根据业务组标识，将两台虚拟机分别部署在不同的计算节点 上，即尽量保证两台虚拟机不会部署在同一台服务器节点； 若相同业务的两台虚拟机部署至同一台物理机，当物理机故障时，两台虚拟 机均会发生故障，并会同时进行【宕机迁移工会影响业务应用正常提供服 务；若相同业务的两台虚拟机部署至不同的物理机，当其中一台物理机故障时， 仅会有一台虚拟机宕机并迁移，不会影响业务应用正常提供服务；如智能调度图中的VM1和VM5同属一个业务组，系统自动将VM1部署至 Nodel ,

45、 VM5部署至Node3 ,当Nodel节点故障时，VM5会继续提供服务， VM1将自动迁移至健康且负载正常的计算节点，详见 宕机迁移o在线迁移在线迁移（虚拟机热迁移）是计划内的迁移操作，即虚拟机不停机的情况下，在 不同的物理机之间进行在线跨机迁移。首先是在目标物理机注册一个相同配置的 虚拟机进程,然后进行虚拟机内存数据同步，最终快速切换业务到目标新虚拟机。 整个迁移切换过程非常短暂，几乎不影响或中断用户运行在虚拟机中的业务，适 用于云平台资源动态调整、物理机停机维护、优化服务器能源消耗等场景，进一 步增强云平台可靠性。由于采用分布式统一存储，虚拟机在线迁移时只迁移【计算】的运行位置， 不涉及

46、存储（系统盘、镜像、云硬盘）位置迁移。迁移时仅需通过统一存储内的 源虚拟机配置文件在目的主机上注册一个相同配置且状态置为暂停的虚拟机进 程，然后反复迁移源虚拟机的内存至目的虚拟机，待虚拟机内存同步一致后，关 闭源虚拟机并激活目标虚拟机进程，最后进行网络切换并成功接管源虚拟机业务。整个迁移任务仅在激活目标虚拟机及网络切换时业务处于短暂中断，由于激 活和切换所用时间很短，少于TCP超时重传时间，因此源虚拟机业务几乎无感知。同时由于无需迁移虚拟机磁盘及镜像位置,虚机挂载的云盘迁移后不受影响, 可为用户提供无感知且携带存储数据的迁移服务。具体迁移过程如下：1.注册目标虚拟机调度系统使用统一分布式存储内

47、的源虚拟机配置文件在目标主机上 注册一个相同配置的虚拟机进程；- 注册的虚拟机进程为不可提供服务的暂停【paused】状态，并通过监 听一个TCP端口接收迁移数据；注册目标虚拟机的阶段为瞬间完成，通常耗时为几毫秒，此时源虚拟 机处于正常提供业务的状态。2 .迁移源虚拟机内存在目标虚拟机注册完成的同时，调度系统会立即将源虚拟机的全量内 存数据迁移至目标虚拟机；- 为保证数据迁移的一致性，迁移过程中源虚拟机的内存更新也需要进 行同步，因此调度系统通过多次迭代将源虚拟机产生的新内存数据迁 移至目标端，耗时与物理机的网络带宽、性能及虚拟机的内存大小有 关；内存迁移时源虚拟机正常提供业务，待内存数据反复迭代迁移完成时 立即暂停源虚拟机进程，避免产生新的内存数据；- 源虚拟机进程暂停后，会再进行一次内存数据的同步，保证源端和目 标端的数据一致性。3 .接管源虚拟机服务完成内存同步的收尾工作，调度系统会关闭源虚拟机并激活目标虚拟 机的进程，实现虚拟机平滑运行；- 虚拟机从源主机迁移至目标主机，系统会将虚拟机的网络切换至目标 主机（下发流表），通过目标主机的