第2章 虚拟化实现技术架构2ppt课件.ppt

在此输入您的封面副标题第2章 虚拟化实现技术架构2第2章 虚拟化实现技术架构虚拟化技术第1节 处理器虚拟化实现技术第2节 内存虚拟化实现技术第3节 I/O设备虚拟化实现技术第4节 网络虚拟化技术第5节 主流虚拟方案及特点目录处理器虚拟化是VMM中最重要的部分，因为访问内存或者I/O的指令本身就是敏感指令，所以内存虚拟化和I/O虚拟化都依赖于处理器虚拟化。在x86体系结构中，处理器有四个运行级别，分别是Ring0，Ring1，Ring2和Ring3。其中，Ring0级别拥有最高的权限，可以执行任何指令而没有限制。运行级别从Ring0到Ring3依次递减。操作系统内核态代码运行在Ring0级别，因为它需要直接控制和修改CPU状态，而类似于这样的操作需要在Ring0级别的特权指令才能完成，而应用程序一般运行在Ring3级别。CPU虚拟化虚拟化虚拟虚拟CPU的正确运行是要保证虚拟机指令正确运行，现有的实现技术的正确运行是要保证虚拟机指令正确运行，现有的实现技术包括模拟执行和监控执行包括模拟执行和监控执行调度问题是指调度问题是指VMM决定当前哪个虚拟决定当前哪个虚拟CPU在物理在物理CPU上运行，要保上运行，要保证隔离性、公平性和性能。证隔离性、公平性和性能。物理CPU虚拟CPU抽象客户操作系统物理CPU虚拟CPU抽象物理CPU虚拟CPU抽象12CPU虚拟化实现技术虚拟化实现技术Intel VT可以让一个CPU工作起来像多个CPU在并行运行，从而使得在一部电脑内同时运行多个操作系统成为可能AMD SVM在处理器上提供了硬件资源，允许单个机器高效地运行多个操作系统，并维护安全和资源相互隔离。硬件虚拟化使用vCPU（Virtual CPU）描述符来描述虚拟CPU。2.1.1 Intel VT-XRing3Ring0VMCS1VMCSnVMCS2Ring3Ring3Ring3Ring0Ring0Ring0Vmlaunch/VmrcsumeVMX非根操作模式VM ExitVMX根操作模式VM 1VM 2VM nVT-x的基本思想客户机运行时所处的模式，客户机运行时所处的模式，在此模式下，所有敏感指在此模式下，所有敏感指令的行为都被重新定义，令的行为都被重新定义，使得它们能不经过虚拟化使得它们能不经过虚拟化就直接运行或者通过就直接运行或者通过“陷陷入再模式入再模式”的方式来处理。的方式来处理。VMM运行时所处的模式，运行时所处的模式，在根模式下，所有指令在根模式下，所有指令的行为和传统的的行为和传统的IA32一一样，因此，原来的软件样，因此，原来的软件都可以正常运行。都可以正常运行。2.1.2 vCPU类似于操作系统中的进程描述符，其本质是一个结构体，其组成部分如下：vCPU描述符vCPU标识信息虚拟寄存器信息vCPU状态信息额外寄存器其他信息用于标识vCPU的一些属性，如vCPU的ID号、vCPU属于哪个客户机等。虚拟的寄存器资源，在使用Intel VT-x的情况下，这些内容包含在VMCS中，在使用AMD SVM的情况下，这些内容包含在VMCB中。类似于进程的状态信息，标识该vCPU当前所处的状态，主要供调度器使用。主要指未包含在VMCS/VMCB中的一些寄存器或CPU部件。例如，浮点寄存器和虚拟的LAPIC等。用于VMM进行优化或存储额外信息的字段，例如，存放该vCPU私有数据的指针。n 硬件虚拟化使用vCPU（Virtual CPU）描述符来描述虚拟CPU。 vCPU可以划分为两个部分当VMM创建客户机时，首先要为客户机创建vCPU，整个客户机的运行实际上可以看做是VMM调度不同的vCPU运行。一个是以VMCS为主，由硬件来使用和更新的部分，这主要是虚拟寄存器；一个是除VMCS之外，由VMM来使用和更新的部分，主要指VMCS以外的部分。vCPU的基本操作（1）vCPU的创建（2）vCPU的运行（3）vCPU的推出（4）vCPU的再运行2.1.3 AMD SVM2.2 内存虚拟化实现技术内存虚拟化实现技术内存虚拟化技术把物理内存统一管理，包装成多个虚拟的物理内存提供给若干虚内存虚拟化技术把物理内存统一管理，包装成多个虚拟的物理内存提供给若干虚拟机使用，每个虚拟机拥有各自独立的内存空间。拟机使用，每个虚拟机拥有各自独立的内存空间。虚拟内存的管理包括3种地址机器地址虚拟地址VMMGuestOS影子页表影子页表宿主机物理内存空间宿主机物理地址客户机物理内存空间虚拟内存空间客户机物理地址虚拟地址客户机操作系统内的页表客户机物理地址与宿主机物理地址映射表影子页表影子页表的作用通过“影子页表”的方式将两次转换合并为一次转换的方式解决内存虚拟化两次转换的问题影子页表影子页表-MMU的虚拟化的虚拟化VMM在物理MMU中载入的是影子页表。其原理如下图所示硬件硬件页表基地址寄存器页目录项页目录页表页表项宿主机物理页页目录项页表客户机物理页页表项页目录虚拟页表基地址寄存器客户机操作系统内的页表影子页表VMM客户机操作系统页表与影子页表影子页表的建立与维护影子页表的建立与维护VMM对客户机对客户机操作系统操作系统INVLPG指令指令的截获与处理的截获与处理VMM对客户对客户机操作系统修机操作系统修改客户机改客户机CR3寄存器的截获寄存器的截获与处理与处理VMM对因客户机对因客户机页表和影子页表页表和影子页表不一致而触发的不一致而触发的缺页异常的截获缺页异常的截获与处理与处理影子页表的建立与维护过程交织在一起，贯穿于VMM针对客户机操作系统修改客户机页表和刷新TLB所做的操作中，只要包括三种：VMM对客户机对客户机操作系统操作系统INVLPG指令指令的截获与处理的截获与处理VMM对客户对客户机操作系统修机操作系统修改客户机改客户机CR3寄存器的截获寄存器的截获与处理与处理VMM对因客户机对因客户机页表和影子页表页表和影子页表不一致而触发的不一致而触发的缺页异常的截获缺页异常的截获与处理与处理影子页表的建立与维护影子页表的建立与维护影子页表和客户机页表之间并不是时刻同步的，只有在需要的时候才进行同步。影子页表可以看做是客户机页表巨大的TLB，称之为虚拟TLB。客户机上的缺页异常影子页表初始化时的缺页异常VMM将宿主机物理页换出到硬盘上引发的缺页异常缺页异常的分类缺页异常的分类影子页表的缺点影子页表的缺点 影子页表解决了传统的IA32架构下的内存虚拟化问题，但是也有缺点：实现非常复杂，需要考虑各种各样的页表同步情况影子页表的内存开销也很大，需要为每个客户机进程对应的页表都维护一个“影子页表”122.2.1 Intel EPTIntel EPT是Intel VT-x提供的内存虚拟化支持技术。EPT页表存在于VMM内核空间中，由VMM来维护。EPT 页表的基地址是由VMCS“VM-Execution”控制域的Extended Page Table Pointer字段指定的，它包含了EPT页表的宿主机系统物理地址。EPT是一个多级页表，各级页表的表项格式相同，Intel EPT是Intel VT-x提供的内存虚拟化支持技术。EPT页表存在于VMM内核空间中，由V M M 来 维 护 。 E P T 页 表 的 基 地 址 是 由VMCS“VM-Execution”控制域的Extended Page Table Pointer字段指定的，它包含了EPT页表的宿主机系统物理地址。EPT是一个多级页表，各级页表的表项格式相同2.2.1 Intel EPT2.2.1 Intel EPT是Intel VT-x提供的内存虚拟化支持技术，其基本原理如下图所示在原有的CR3页表地址映射的基础上，EPT引入EPT页表来实现另一次映射。这里假设客户机页表和EPT页表都是4级页表，CPU完成一次地址转换的基本过程如右。2.2.2 AMD NPT传统的分页技术下的地址转化是直接将逻辑地址空间上的线性地址转换为物理地址空间上的物理地址。传统分页技术下的地址转换嵌套分页技术下的地址转换AMD NPT转换步骤转换步骤客户机和宿主机都有自己的CR3寄存器，分别记为gCR3（guest CR3）和nCR3（nested CR3）。真正的 CR3由VMM所控制和使用。gPT（guest Page Table，客户机页表）负责将客户机线性地址转换为客户机物理地址。客户机页表存在于客户机物理内存中，并由gCR3索引。nPT（guest Page Table，客户机页表）负责将客户机物理地址转换为系统物理地址。嵌套页表存在于系统物理内存中，并由nCR3引索。最常用到的客户机线性地址到系统物理地址的映射关系在TLB中缓存。gCR3和客户机页表中存放的都是客户机物理地址，所以，在访问客户机页表钱需要将客户机物理地址转换为系统物理地址。2.3 I/O虚拟化实现技术虚拟化实现技术I/O设备虚拟化同样是由VMM进行管理的全虚拟化半虚拟化软件模拟I/O设备虚拟化技术把真实的设备统一管理起来，包装成多个虚拟设备给若干个虚设备虚拟化技术把真实的设备统一管理起来，包装成多个虚拟设备给若干个虚拟机使用，响应每个虚拟机的设备访问请求和拟机使用，响应每个虚拟机的设备访问请求和I/O请求。请求。I/O设备虚拟化实现技术设备虚拟化实现技术I/O设备虚拟化面临以下两个基本问题让客户机直接访问到设备真实的I/O地址空间让设备的DMA操作直接访问到客户机的内存空间2.3.1 Intel VT-d在启用VT-d的平台上，设备所有的DMA传输都会被DMA重映射硬件截获在（a）中，是没有VT-d的平台，此时设备的DMA可以访问整个物理内存。在（b）中，是启用VT-d的情况，此时，设备只能访问指定的物理内存DMA重映射技术是VT-d技术提供的最关键的功能之一，在进行DMA操作时，设备需要做的就是向（从）驱动程序告知的“物理地址”复制（读取）数据。然而，在虚拟机环境下，客户机使用的是GPA，那么客户机驱动操作设备也用GPA。但是设备在进行DMA操作时，需要使用MPA（Memory Physical Address，内存物理地址），于是I/O虚拟化的关键问题就是如何在操作DMA时将GPA转换成MPA。VT-d技术提供了DMA重映射技术就是来解决这个在进行DMA操作时将GPA转换成MPA的问题。PCI总线结构通过设备标示符（BDF）可以索引到任何一条总线上的任何一个设备，而VT-d中的DMA总线传输中也包含一个BDF用于标识DMA操作发起者。除了BDF外，VT-d还提供了两种数据结构来描述PCI架构，分别是根条目(Root Entry)和上下文条目(Content Entry)。下面，将分别介绍一下这两种数据结构。(1)根条目根条目根条目用于描述PCI总线，每条总线对应一个根条目。由于PCI架构支持最多256条总线，故最多可以有256个根条目。这些根条目一起构成一张表，称为根条目表(Root Entry Table)。有了根条目表，系统中每一条总线都会被描述到。P：存在位。P为0时，条目无效，来自该条目所代表总线的所有DMA传输被屏蔽。P为1时，该条目有效。CTP(Context Table Point，上下文表指针)：指向上下文条目表。(2)上下文条目上下文条目上下文条目用于描述某个具体的PCI设备，这里的PCI设备是指逻辑设备(BDF中function字段)。一条PCI总线上最多有256个设备，故有256个上下文条目，它们一起组成上下文条目表(Context Entry Table)通过上下文条目表，可描述某条PCI总线上的所有设备。P：存在位。为0时条目无效，来自该条目所代表设备的所有DMA传输被屏蔽。为1时，表示该条目有效。T：类型，表示ASR字段所指数据结构的类型。目前，VT-d技术中该字段为0，表示多级页表。DID(Domsin ID,域标识符)：DID可以看作用于唯一标识该客户机的标识符。I/O页表是DMA重映射硬件进行地址转换的核心通过I/O页表中GPA到MPA的映射，DMA重映射硬件将DMA传输中的GPA转换成MPA，从而使设备能够直接访问指定客户机的内存区域。 IOMMUAMD的IOMMU（输入、输出内存管理单元）技术提供了I/O虚拟化的解决方案，管理由设备发起的内存访问。系统主内存IOMMUMMU设备CPU物理地址设备地址虚拟地址IOMMU技术示意图AMD的IOMMU设计提供DMA地址转换、对设备读取和写入的权限检查功能。将地将地址转译与访问保护相址转译与访问保护相结合结合，是IOMMU的重要特色。特点特点可以实现独立的I/O功能实现更强的安全隔离更完善的QoS更高的传输效率原理原理SR-IOV目前支持在一块PCIe网卡上虚拟化出256个通道2.3.3 SR-IOVSR-IOV（Single Root I/O Virtualization）是PCI-SIG推出的一项标准，它将单个PCIe设备对上层软件虚拟化为多个独立的PCIe设备。PFPF是一个完整的PCIe设备，包含 全 面 的 管 理 、 配 置 功 能 ，Hypervisor往往通过PF来实现对网卡所有I/O资源的管理和配置VFVF是一个简化的PCIe设备，仅仅包含了I/O功能，不能通过VF管理物理网卡。SR-IOV虚拟出的通道有两种：PF（Physical Function）和VF（Virtual Function）。所有的VF都是通过PF衍生而来的，一块SR-IOV网卡最多可以生成256个VFSR-IOV在SR-IOV的基础上，再结合Intel VT-d或AMD IOMMU技术，可以实现VM和VF的一对一映射，进而跳过Hypervior的软件交换机使VM直接访问VF硬件资源。这样既能提高访问效率，又能提高网卡的利用率。2.4 网络虚拟化实现技术在传统的数据中心中，每个网口对应唯一一个物理机；引入云计算模式后，利用虚拟化技术一台物理网卡可能会承载多个虚拟网卡。物理网卡与虚拟网卡之间的关系有以下三种情况：一对一，一个物理网卡对应对一个虚拟网卡，是下面一对多情况的一种特例。一对多，一个物理网卡对应多个虚拟网卡，是当前网络虚拟化中运用最广泛的一种。多对一，多个物理网对应一个虚拟网卡，即常说的 bonding，用作负载均衡。Bridge网桥是Linux系统上用来做TCP/IP二层协议交换的设备，与现实世界中的交换机功能相似。Bridge设备实例可以和Linux上其他网络设备实例连接，既attach一个从设备，类似于现实世界中的交换机和一个用户终端之间连接一根网线。当有数据到达时，Bridge会根据报文中的MAC地址信息进行广播、转发、丢弃等处理。网桥br0桥接vnet0与eth0网桥br0桥接vnet0、vnet1与eth0TUN设备是一种虚拟网络设备，通过此设备，程序可以方便得模拟网络行为。传统物理网络设备的工作原理如下图所示。TUN设备的工作原理如下图所示。MACVLAN技术提出一种将一块以太网卡虚拟 成 多 块 以 太 网 卡 的 极 简 单 的 方 案 ，MACVLAN设备的工作原理如图所示。MACVLAN会根据收到数据包的目的MAC地址判断这个数据包需要交给哪个虚拟网卡。MACVLAN实现网卡虚拟化。MACVTAP是对MACVLAN的改进，综合了M A C V L A N 与 TA P 设 备 的 特 性 ， 使 用MACVLAN的方式收发数据包，但是收到的数据包不交给network stack处理，而是生成一个/dev/tapX文件，将数据写入到这个文件中去，其工作原理如图所示。常见5种虚拟化方案：KVM、Xen、VMware、Hyper-V、VirtualBox。2.5.1 KVM 虚拟化方案虚拟化方案特点特点虚拟化模块集成到Linux内核中，效率更高支持全虚拟化和半虚拟化 一个开源的系统虚拟化模块，需要硬件支持（如Intel-VT技术或者AMD-V技术）的全虚拟化方案。KVM本身是不执行任何硬件模拟的，需要用户空间程序通过/dev/kvm接口设置一个客户机的虚拟地址空间，向它提供模拟的I/O，并将它视频显示映射回宿主机的显示屏。这个用户空间程序为QEMU。硬件系统处理器内存输入输出设备内核空间KVM模块Linux（host）QEMU用户空间虚拟机1虚拟机硬件处理器内存输入输出设备虚拟机2虚拟机硬件处理器内存输入输出设备Linux上的用户空间、内核空间和虚拟机KVM的功能的功能KVM 的功能特性内存管理内存管理存储存储设备驱动设备驱动程序程序性能和可性能和可伸缩性伸缩性内存管理内存管理KVM继承了Linux系统管理内存的诸多特性，比如分配给虚拟机使用的内存可以被交换至交换空间、能够使用大内存页以实现更好的性能，以及对NUMA的支持能够让虚拟机高效访问更大的内存空间等。此外，KVM还借助于KSM（Kernel Same Page Merging）这个内核特性实现了内存页面共享。KSM通过扫描每个虚拟机的内存查找各虚拟机间相同的内存页，并将这些内存页合并为一个被各相关虚拟机共享的单独页面。在某虚拟机试图修改此页面中的数据时，KSM会重新为其提供一个新的页面副本。实践中，运行于同一台物理主机上的具有相同GuestOS的虚拟机之间出现相同内存页面的概率是很的，比如共享库、内核或其它内存对象等都有可能表现为相同的内存页，因此，KSM技术可以降低内存占用进而提高整体性能。虚拟机1存储存储KVM 支持NFS、GFS等共享文件系统上的虚拟机镜像KVM 的原生磁盘格式为QCOW2，它支持快照，允许多级快照、压缩和加密。由于KVM是Linux内核的一部分，它可以利用所有领先存储供应商都支持的一种成熟且可靠的存储基础架构，它的存储堆栈在生产部署方面具有良好的记录设备驱动设备驱动KVM准虚拟化的驱动程序使用VirtIO标准，它是一个与虚拟机管理程序独立的、构建设备驱动程序的接口，允许为多个虚拟机管理程序使用一组相同的设备驱动程序，能够实现更出色的虚拟机交互性。KVM支持混合虚拟化，其中准虚拟化的驱动程序安装在客户机操作系统中，允许虚拟机使用优化的I/O接口而不使用模拟的设备，从而为网络和块设备提供高性能的 I/O性能和可伸缩性性能和可伸缩性KVM 的扩展性也非常良好，客户机和宿主机都可以支持非常多的CPU 数量和非常大量的内存。KVM 虚拟化性能在很多方面（如计算能力、网络带宽等）已经可以达到非虚拟化原生环境的95% 以上的性能。前景前景 VM仍然可以改进虚拟网络的支持、虚拟存储支持、增强的安全性、高可用性、容错性、电源管理、HPC支持、虚拟CPU可伸缩性、跨供应商兼容性、可移植性等方面 随着libvirt、virt-manager等工具和OpenStack等云计算平台的逐渐完善，KVM管理工具在易用性方面的劣势已经逐渐被克服； 现在KVM开发者社区比较活跃，也有不少大公司的工程师参与开发，我们有理由相信很多功能都会在不远的将来得到完善。nXen是一款半虚拟化的虚拟机监视器，通过一种叫是一款半虚拟化的虚拟机监视器，通过一种叫做准虚拟化的技术获得高性能。做准虚拟化的技术获得高性能。nXen需要修改操作系统内核，因此不能直接让当前需要修改操作系统内核，因此不能直接让当前的的Linux内核在内核在Xen系统管理程序中运行。除非它系统管理程序中运行。除非它已经移植到了已经移植到了Xen架构。如果当前系统可以使用新架构。如果当前系统可以使用新的已经移植到的已经移植到Xen架构的架构的Linux内核，那就可以不内核，那就可以不加修改地运行现有的系统。加修改地运行现有的系统。2.5.2 Xen 虚拟化方案虚拟化方案Xen的特点的特点开放源代码可移植性强开发者可以将其移植到其他平台，也可以将其修改用于项目研究等。独特的类虚拟化支持，提供阶级与物理机的性能。由于操作系统需要进行显式地修改才能在Xen上运行，因此，Xen的易用性比较差。uXen可以安装在系统上，也可以直接安装到裸机上。l Xen支持多种硬件平台，包括支持多种硬件平台，包括x86_32、x86_64、IA64和和PowerPC架构。由于架构。由于Xen是开源的，也被开发者移植到其他架构（如是开源的，也被开发者移植到其他架构（如ARM）上。上。Xen虚拟机可以在不停止的情况下在多个物理主机之间实时迁移。虚拟机在最终目的地开始执行之前，会有一次60-300秒的非常短暂的暂停以执行最终的同步化，给人无缝迁移的感觉。XEN管理程序硬件Xen上面运行的虚拟机，既支持准虚拟化，也支持全虚拟化，可以运行几乎所有可以在X86 物理平台上运行的操作系统。此外，最新的Xen 还支持ARM 平台的虚拟化。Xen的功能的功能Xen服务器构建于开源的Xen虚拟机管理程序之上，结合使用半虚拟化和硬件协助的虚拟化。操作系统与虚拟化平台之间的这种协作支持开发一个较简单的虚拟机管理程序来提供高度优化的性能。Xen提供了复杂的工作负载平衡功能，可捕获CPU、内存、磁盘I/O和网络I/O数据，它提供了两种优化模式：一种针对性能，另一种针对密度。Xen的功能的功能Xen服务器利用一种名为Citrix Storage Link独特的存储集成功能。使用Citrix Storage Link，系统管理员可直接利用来自HP、Dell Equal Logic、NetApp、EMC等公司的存储产品。Xen服务器包含多核处理器支持、实时迁移、物理服务器到虚拟机转换（P2V）和虚拟到虚拟转换（V2V）工具、集中化的多服务器管理、实时性能监控，以及对 Windows 和Linux 客户机的良好性能。Xen的功能的功能Xen作为一个开发最早的虚拟化方案，对各种虚拟化功能的支持相对完善。Xen虚拟机监控程序，是一个专门为虚拟机开发的微内核，所以其资源管理和调度策略完全是针对虚拟机的特性而开发的。作为一个独立维护的微内核，Xen的功能明确，开发社区构成比较简单，所以更容易接纳专门针对虚拟化所做的功能和优化。Xen的前景的前景Xen 比较难于配置和使用，部署会占用相对较大的空间，Xen 微内核直接运行于真实物理硬件之上，开发和调试都比基于操作系统的虚拟化困难。Xen 最大的困难在于Linux 内核社区的抵制，导致Xen 相关的内核改动一直不能顺利进入内核源代码，从而无法及时得到内核最新开发成果的支持，这与KVM 形成了鲜明的对比。Xen的前景的前景2.5.3 VMware 虚拟化方案虚拟化方案VMware的网络虚拟化技术主要是通过VMware vSphere中的vNetwork网络元素实现的，其虚拟网络架构如图所示。VMware的虚拟化包括数据中心虚拟化，桌面虚拟化和虚拟化的企业级应用。（1）VMware的数据中心虚拟化可以利用服务器虚拟化和整合，将数据中心转变成灵活的云计算基础架构，使之成为具有运行要求最严苛的应用所需的性能和可靠性。（2）VMware的桌面虚拟化可延展桌面和应用虚拟化的强大优势，使IT部门能以终端用户期望的速度和业务所需的效率来提供和保护用户需要的所有Windows资源。（3）虚拟化的企业级应用，例如可以虚拟化Microsoft Exchange并超越本机性能，同时让基础架构实现5到10倍的整合率。2.5.4 Hyper-V 虚拟化方案Hyper-V是微软提出的一种系统管理程序虚拟化技术，它的主要作用是管理、调度虚拟机的创建和运行，并提供硬件资源的虚拟化。Hyper-V采用微内核的架构，兼顾了安全性和性能的要求。Hyper-V底层的Hypervisor运行在最高的特权级别下，微软将其称为ring 1（而Intel则将其称为root mode），而虚拟机的操作系统内核和驱动运行在ring 0，应用程序运行在ring 3下，这种架构就不需要采用复杂的BT（二进制特权指令翻译）技术，可以进一步提高安全性。2.5.4 Hyper-V 虚拟化方案2.5.5 Virtual Box虚拟化方案虚拟化方案VirtualBox简单易用，是一款免费的开源虚拟机软件，可在Linux、Mac和Windows主机中运行，并支持在其中安装Windows (NT 4.0、2000、XP、Server 2003、Vista、Win7、Win8、Win8.1)、DOS、Windows 3.x、Linux (2.4 和 2.6)、OpenBSD等系列的客户操作系统。VirtualBox支持克隆虚拟机，将64位主机的内存限制提高到了1TB，支持Direct3D，支持SATA硬盘的热插拔等。VirtualBox既支持纯软件虚拟化，也支持Intel VT-x与 AMD AMD-V硬件虚拟化技术。