集团公司云计算平台建设方案.pdf

声计等集团公司云计算平台技术方案目录第1章 总 述.5第2章集团公司数据中心网络建设需求.62.1传统架构存在的问题.62.2集团公司数据中心目标架构.72.3集团公司数据中心设计目标.102.4集团公司数据中心技术需求.102.4.1整合能力.112.4.2虚拟化能力.122.4.3自动化能力.122.4.4绿色数据中心要求.13第3章集团公司数据中心技术实现.143.1整合能力.143.1.1 一体化交换技术.143.1.2无丢弃以太网技术.153.1.3性能支撑能力.173.1.4智能服务的整合能力.183.2 虚拟化能力.193.2.1虚拟交换技术.193.2.2网络服务虚拟化.223.2.3服务器虚拟化.223.3 自动化.243.4 绿色数据中心.25第4章集团公司云计算平台网络设计.264.1总体网络结构.264.1.1层次化结构的优势.264.1.2标准的网络分层结构.274.1.3集团公司云计算平台数据中心网络结构.284.2 数据中心核心层设计.294.3 数据中心分布层设计.314.3.1数据中心分布层虚拟交换机.314.3.2数据中心分布层智能服务机箱.324.4 数据中心接入层设计.34第5章应用服务控制与负载均衡设计.395.1功能介绍.395.1.1基本功能.395.1.2应用特点.415.2应用优化和负载均衡设计.475.2.1智能服务机箱设计.475.2.2应用负载均衡的设计.505.2.3安全功能的设计.5 55.2.4 S S L 分流设计.5 85.2.5扩展性设计.5 95.2.6 高可用性设计.6 1第6章 网络安全设计.666.1网络安全部署思路.6 66.1.1网络安全整体架构.6 66.1.2网络平台建设所必须考虑的安全问题.6 86.2 网络设备级安全.6 96.2.1防蠕虫病毒的等D o s攻击.6 96.2.2防 V L A N 的脆弱性配置.7 06.2.3防止D H C P 相关攻击.7 26.3 网络级安全.7 36.3.1安全域的划分.7 36.3.2 防火墙部署设计.7 46.3.3防火墙策略设计.7 76.3.4防火墙性能和扩展性设计.7 86.4 网络的智能主动防御.8 06.4.1网络准入控制.8 16.4.2桌面安全管理.8 26.4.3 智能的监控、分析和威胁响应系统.8 56.4.4 分布式威胁抑制系统.9 1第 7章服务质量保证设计.947.1 服务质量保证设计分类.9 47.2 数据中心服务质量设计.9 47.2.1带宽及设备吞吐量设计.9 47.2.2 低延迟设计.9 77.2.3无丢弃设计.9 9第 8章网络管理和业务调度自动化.1028.1 M A R S 安全管理自动化.1 0 28.2 V F R A M E 业务部署自动化.1 0 3第 9章 服 务 器（U C S）组件及高可用性.1049.1 思科统一计算系统（U C S）简介.1 0 49.2 云计算的基础思科U C S MA N A GE R简介.1 0 79.3 云计算的扩展一一数据中心的横向扩展.1 1 29.4 云计算的安全一一纯硬件级的容错.1 1 4第 1 0 章两种数据中心技术方案的综合对比.1191 0.1技术方案对比.1 1 91 0.1.1传统技术领域对比.1 1 91 0.1.2 下一代数据中心技术能力比较.1 2 11 0.2 技术服务对比.1 2 41 0.3 商务对比.12510.4 总结.126第 11章 附录：新一代数据中心产品介绍.12711.1 Cisco NEXUS 7000系 列 10插槽交换机介绍.12711.2 Cisco NEXUS 5000/2000 系列交换机介绍.12911.3 Cisco NX-OS数据中心级操作系统简介.135第1章总述为了进一步提升客户满意度，为用户提供更多增值服务，增强用户的产品忠诚度，需要为集团公司包括电视机的客户在内提供多样增值应用服务，首期考虑提供视频点播服务，未来可提供电子商务等多样化应用。考虑到潜在客户数较大，需要有一个健壮、有弹性和符合未来趋势变化的新一代系统架构。集团公司电视机销售量20年保持国内市场第一，尤其是网络电视稳居第一，潜在用户数在数十万以上，为此，需要在绵阳建设一个可以充分面对未来应用和用户发展的新一代数据中心，同时在用户集中的城市的运营商托管服务器，充分利用流量分发和站点自动选择等技术，确保应用的最优化。这也是一些大型网站采用的方案。第2章集团公司数据中心网络建设需求2.1传统架构存在的问题集团公司现有数据中心网络采用传统以太网技术构建，随着各类业务应用对I T需求的深入发展，业务部门对资源的需求正以几何级数增长,传统的I T基础架构方式给管理员和未来业务的扩展带来巨大挑战。具体而言存在如下问题：维护管理难：在传统构架的网络中进行业务扩容、迁移或增加新的服务功能越来越困难，每一次变更都将牵涉相互关联的、不同时期按不同初衷建设的多种物理设施，涉及多个不同领域、不同服务方向，工作繁琐、维护困难，而且容易出现漏洞和差错。比如数据中心新增加一个业务类型，需要调整新的应用访问控制需求，此时管理员不仅要了解新业务的逻辑访问策略，还要精通物理的防火墙实体的部署、连接、安装，要考虑是增加新的防火墙端口、还是需要添置新的防火墙设备，要考虑如何以及何处接入，有没有相应的接口，如何跳线，以及随之而来 的V L A N、路由等等，如果网络中还有诸如地址转换、7层交换等等服务与之相关联，那将是非常繁杂的任务。当这样的I T资源需求在短期内累积，将极易在使得系统维护的质量和稳定性下降，同时反过来减慢新业务的部署，进而阻碍公司业务的推进和发展。资源利用率低：传统架构方式对底层资源的投入与在上层业务所收到的效果很难得到同比发展，最普遍的现象就是忙的设备不堪重负，闲的设备资源储备过多，二者相互之间又无法借用和共用。这是由于对底层网络建设是以功能单元为中心进行建设的，并不考虑上层业务对底层资源调用的优化，这使得对网络的投入往往无法取得同样的业务应用效果的改善，反而浪费了较多的资源和维护成本。服务策略不一致：传统架构最严重的问题是这种以孤立的设备功能为中心的设计思路无法真正从整个系统角度制订统一的服务策略，比如安全策略、高可用性策略、业务优化策略等等，造成跨平台策略的不一致性，从而难以将所投入的产品能力形成合力为上层业务提供强大的服务支撑。因此，按传统底层基础设施所提供的服务能力已无法适应当前业务急剧扩展所需的资源要求，本次数据中心建设必须从根本上改变传统思路,遵照一种崭新的体系结构思路来构造新的数据中心I T 基础架构。2.2集团公司数据中心目标架构面向服务的设计思想已经成为W e b 2.0 下解决来自业务变更、业务急剧发展所带来的资源和成本压力的最佳途径。从业务层面上主流的I T 厂商如I B M、B E A 等就提出了摒弃传统的“面向组件(C o m p o n e n t)”的开发方式，而转向“面向服务”的开发方式，即应用软件应当看起来是由相互独立、松耦合的服务构成，而不是对接口要求严格、变更复杂、复用性差的紧耦合组件构成，这样可以以最小的变动、最佳的需求沟通方式来适应不断变化的业务需求增长。鉴于此，集团公司数据中心业务应用正在朝“面向服务的架构S e r v i c e O r i e n t e dA r c h i t e c t u r e (S O A)”转型。与业务的S O A 相适应，集团公司提出支撑业务运行的底层基础设施也应当向“面向服务”的设计思想转变，构造“面向服务的数据中心(S e r v i c e O r i e n t e d D a t a C e n t e r,S O D C)0传统组网观念是根据功能需求的变化实现对应的硬件功能盒子堆砌而构建企业网络的，这非常类似于传统软件开发的组件堆砌，被已经证明为是一种较低效率的资源调用方式，而如果能够将整个网络的构建看成是由封装完好、相互耦合松散、但能够被标准化和统一调度的“服务”组成，那么业务层面的变更、物理资源的复用都将是轻而易举的事情。S O D C 就是要求当S O A 架构下业务的变更，导致软件部分的服务模块的组合变化时，松耦合的网络服务也能根据应用的变化自动实现重组以适配业务变更所带来的资源要求的变化，而尽可能少的减少复杂硬件的相关性，从运行维护、资源复用效率和策略一致性上彻底解决传统设计带来的顽疾。具体而言S O D C 应形成这样的资源调用方式:底层资源对于上层应用就象由服务构成的“资源池”，需要什么服务就自动的会由网络调用相关物理资源来实现，管理员和业务用户不需要或几乎可以看不见物理设备的相互架构关系以及具体存在方式。S O D C的框架原型应如下所示：应用层交互服务层应用网络服务基础架构服务2条嗯麻爱在图中，隔在物理架构和用户之间的“交互服务层”实现了向上提供服务、向下屏蔽复杂的物理结构的作用，使得网络使用者看到的网络不是由复杂的基础物理功能实体构成的，而是一个个智能服务一一安全服务、移动服务、计算服务、存储服务等等，至于这些服务是由哪些实际存在的物理资源所提供，管理员和上层业务都无需关心，交互服务层解决了一切资源的调度和高效复用问题。S O D C和S O A构成的数据中心I T架构必将是整个数据中心未来发展的趋势，虽然实现真正理想的S O D C和S O A融合的架构将是一个长期的历程，但在向该融合框架迈进的每一步实际上都将会形成对网络灵活性、网络维护、资源利用效率、投资效益等等方面的巨大改善。因此集团公司本次数据中心的网络建设，要求尽可能的遵循如上所述的新一代面向服务的数据中心设计框架。2.3 集团公司数据中心设计目标在基于S O D C的设计框架下，集团公司新一代数据中心应实现如下设计目标：简化管理：使上层业务的变更作用于物理设施的复杂度降低，能够最低限度的减少了物理资源的直接调度，使维护管理的难度和成本大大降低。高效复用：使得物理资源可以按需调度，物理资源得以最大限度的重用，减少建设成本，提高使用效率。即能够实现总硬件资源占用量降低了，而每个业务得到的服务反而更有充分的资源保证了。策略一致：降低具体设备个体的策略复杂性，最大程度的在设备层面以上建立统一、抽象的服务，每一个被充分抽象的服务都按找上层调用的目标进行统一的规范和策略化，这样整个I T将可以达到理想的服务规则和策略的一致性。2.4 集团公司数据中心技术需求S O D C架构是一种资源调度的全新方式，资源被调用方式是面向服务而非象以前一样面向复杂的物理底层设施进行设计的，而其中交互服务层是基于服务调用的关键环节。交互服务层的形成是由网络智能化进一步发展而实现的，它是底层的物理网络通过其内在的智能服务功能，使得其上的业务层面看不到底层复杂的结构，不用关心资源的物理调度，从而最大化的实现资源的共享和复用。要形成S O D C 要求的交互服务层，必须对网络提出以下要求：2.4.1 整合能力S O D C 要求将数据中心所需的各种资源实现基于网络的整合，这是后续上层业务能看到底层网络提供各类S O D C 服务的基础。整合的概念不是简单的功能增多，虽然整合化的一个体现是很多独立设备的功能被以特殊硬件的方式整合到网络设备中，但其真正的核心思想是将资源尽可能集中化以便于跨平台的调用，而物理存在方式则可自由的根据需要而定。数据中心网络所必须提供的资源包括：智能业务网络所必须的智能功能，比如服务质量保证、安全访问控制、设备智能管理等等；数据中心的三大资源网络：高性能计算网络；存储交换网络；数据应用网络。这两类资源的整合将是检验新一代数据中心网络S O D C 能力的重要标准。2.4.2虚拟化能力虚拟化其实就是把已整合的资源以一种与物理位置、物理存在、物理状态等无关的方式进行调用，是从物理资源到服务形态的质变过程。虚拟化是实现物理资源复用、降低管理维护复杂度、提高设备利用率的关键，同时也是为未来自动实现资源协调和配置打下基础。新一代数据中心网络要求能够提供多种方式的虚拟化能力，不仅仅是传统的网络虚拟化（比如V L A N、V P N等），还必须做到：交 换虚拟化智 能服务虚拟化 服务器虚拟化2.4.3自动化能力自动化是S O D C架构中上层自动优化的实现服务调用必须条件。在高度整合化和虚拟化的基础上，服务的部署完全不需要物理上的动作,资源在虚拟化平台上可以与物理设施无关的进行分配和整合，这样我们只需要将一定的业务策略输入给智能网络的策略服务器，一切的工作都可以按系统自身最优化的方式进行计算、评估、决策和调配实现。这部分需要做到两方面的自动化：网络管理的自动化业务部署的自动化2.4.4 绿色数据中心要求当前的能源日趋紧张，能源的价格也飞扬直上；绿 地(G r e e nF i e l d)是我们每个人都关心的议题。如何最大限度的利用能源、降低功耗，以最有效率方式实现高性能、高稳定性的服务是新一代的数据中心必须考虑的问题。第3章集团公司数据中心技术实现根据以上新一代数据中心网络的技术要求，必须对传统数据中心所使用的常规以太网技术进行革新，数据中心级以太网(Da t a C en t erEt h er n et,简称DC E)技术由此诞生。DC E之前也被一些厂商称为汇聚型增强以太网技术(C o n v er gedEn h a n ced Et h er n et,简称C EE),是兼容传统以太网协议并按新一代数据中心的传输要求，对其进行全面革新的一系列标准和技术的总称。因此，为达到集团公司的新一代数据中心的建设目标，必须摒弃传统以太网技术，而采用新一代的DC E(C EE)技术进行组网。具体而言，本次集团公司数据中心所采用的DC E技术，可以达到以下的技术目标。3.1 整合能力3.1.1 一体化交换技术DC E技术的重要目标是实现传统数据中心最大程度的资源整合，从而实现面向服务的数据中心S O DC的最终目标。在传统数据中心中存在三种网络：使用光纤存储交换机的存储交换网络(Fi b er C h a n n elS A N),便于实现C P U、内存资源并行化处理的高性能计算网络(多采用高带宽低延迟的In fi n i B a n d技 术)，以及传统的数据局域网。DC E技术将这三种网络实现在统一的传输平台上，即DC E将使用一种交换技术同时实现远程存储、远程并行计算处理和传统数据网络功能。这样才能最大化的实现三种资源的整合，从而便于实现跨平台的资源调度和虚拟化服务，提高投资的有效性，同时还降低了管理成本。集团公司业务的特点不需要超级计算功能，因此本次项目要实现存储网络和传统数据网络的双网合一，使用DC E技术实现二者的一体化交换。当前在以太网上融合传统局域网和存储网络唯一成熟技术标准是Fi b er C h a n n el O v er Et h er n et技 术(FC o E),它已在标准上给出了如何把存储网(S A N)的数据帧封装在以太网帧内进行转发的相关技术协议。由于该项技术的简单性、高效率、经济性，目前已经形成相对成熟的包括存储厂商、网络设备厂商、主机厂商、网卡厂商的生态链。具体的协议发布可参见FC o E的相关W eb S i t es o(h t t p:w w w.f c o e.c o m h t t p:w w w.t i l,o r g/f c o e )|Normal ethernet frame,ethertype=FCoE-1 Same as a physical FC frameJopgHE*畜PBO 工山00L 1.gpea H。LLFC PayloadU.。山|Control information:version,ordered sets(SOF,EOF本次数据中心建设将做好F C o E的基础设施准备，并将在下一阶段完成基于F C o E技术的双网融合。3.1.2无丢弃以太网技术为保证一体化交换的实现，D C E改变了传统以太网无连接、无保障的Be s t E f f o r t传输行为，即保证主机在通过以太网进行磁盘读写等操作、高性能计算所要求的远程内存访问、并行处理等操作，不会发生任何不可预料的传输失败，达到真正的“无丢包”以太网目标。D C E在网络中以硬件及软件的形式实现了以下技术：基于优先级类别的流控(Pr i o r i t y F l o w C o n t r o l)通过基于I E E E 8 0 2.I p类别通道的PA U S E功能来提供基于数据流类别的流量控制带宽管理I E E E 8 0 2.I Q a z标准定义基于I E E E 8 0 2.I p流量类别的带宽管理以及这些流量的优先级别定义拥塞管理I E E E 8 0 2.I Q a u标准定义如何管理网络中的拥塞(BC N/Q C N)基于优先级类别的流控在D C E的理念中是非常重要的一环，通过它和拥塞管理的相互合作，我们可以构造出“不丢包的以太网”架构；这对今天的我们来说，它的诱惑无疑是不可阻挡的。不丢包的以太网络提供一个安全的平台，它让我们把一些以前无法安心放置到数据网络上的重要应用能安心的应用到这个D C E的数据平台。带宽管理在以太网络中提供类似于类似帧中继(F r a m e R e l a y)的带宽控制能力，它可以确保一些重要的业务应用能获得必须的网络带宽；同时保证网络链路带宽利用的最大化。拥塞管理可以提供在以太网络中的各种拥塞发现和定位能力，这在非连接的网络中无疑是一个巨大的挑战；可以说在目前的所有非连接的网络中，这是一个崭新的应用；目前的研究方向主要集中在后向拥塞管理(BC N)和量化拥塞管理(Q C N)这两个方面。3.1.3 性能支撑能力为保证实现一体化交换和资源整合，DCE还必须对传统以太网的性能和可扩展性的进行革新。首先为保证三网合一后的带宽资源，万兆以太网技术只是DCE核心层带宽的起点。而正在发展中的4 0 G/1 0 0 G 以太网才是DCE技术将来的主流带宽。因此，要保证我们今天采购的设备能有5 年以上的生命周期，就必须考虑硬件的可扩展能力。这也就是说从投资保护和工程维护的角度出发，我们需要一个1 0 0 G 平台的硬体设备，即每个设备的槽位至少要支持1 0 0 G 的流量(全双工每槽位2 0 0 G b p s),只有这样才能维持该设备5 年的生命周期。同时从经济性的角度来考虑，如果能达到4 0 0 G 的平台是最理想的。另外存储网络和高性能计算所要求的通过网络实现的远程磁盘读写、内存同步的性能需求，DCE设备必须提供比传统以太网设备低几个数量级的端口间转发延迟。DCE要求的核心层的三层转发延迟应可达 到3 0 us以下，接入层的二层转发延迟应可在34 us以下。这都是传统以太网技术无法实现的性能指标要求。3.1.4智能服务的整合能力众所周知，应用的复杂度是在不断的提升，同时伴随着网络的融合，应用对网络的交互可以预见的是网络的复杂度也将不断的提升。这也印证我们的判断：应用对网络的控制将逐步增强，网络同时也在为应用而优化。因此构建一个单业务的简单L 2转发网络并不是网络设备的设计方向；全业务的设备和多业务融合的网络才是我们所需要的环境。那么我们需要什么样的全业务呢，很明显Da ta Ce n te r Eth e rn e t是一个必备的项目，同时我们至少还需要其它的基本业务属性来保障一个多业务网络的运行，如：服务质量保证 Q o S 访问列表控制 A C L 虚拟交换机的实现 V i r t u a l S w i t c h 网络流量分析 N e t f l o w C P U抗攻击保护 C o P P 远程无人值守管理C M P 嵌入式事件管理 E E M当然，所有这些业务的实现都是在不影响转发性能的前提条件下的。失去这个大前提，多业务的实现就变得毫无意义。所以设计一个好的产品就必须顾全多业务、融合网络这个大前提。如何使这些复杂的业务处理能够在高达100G甚至是400G的线路卡上获得线速处理的性能是考验一个硬件平台的重要技术指标。最终的胜出者无疑就是能够用最小的代价来换取最大业务实现和性能的设备平台。3.2 虚拟化能力DCE对网络虚拟化不仅仅是传统意义上的VLAN和 VPN,为实现SODC的交互服务层资源调度方式，DCE还能够做到以下的虚拟化能力。3.2.1 虚拟交换技术虚拟交换技术可以实现当我们使用交换机资源时，我们可以不用关心交换服务的物理存在方式，它可能是由一台交换机提供，也可能是两台交换机设备，甚至可以是一个交换机中的几个虚拟交换机之一。思科的D C E 技术就提供了将两个物理交换机虚拟为一台交换机的虚拟交换系统（V S S）技术，以及将一个交换机虚拟化为多个交换机的虚拟设 备（V D C）技术。（一）虚拟交换系统（V S S）V S S 技术可将网络的双核心虚拟化为单台设备，比如使用的C i s c o65 09 的9 插槽设备将完全被虚拟化成为单台1 8 槽机箱的虚拟交换机。虚拟交换机性能倍增、管理复杂度反而减半。具体有如下优势：单一管理界面：管理界面完全为单台设备管理方式，管理和维护工作量减轻一半；性能翻倍：虚拟交换系统具备两台叠加的性能，与其它交换机通过跨物理机箱的双千兆以太网或双万兆以太网捆绑技术，远比依靠路由或生成树的负载均衡更均匀，带宽和核心吞吐量均做到真正的翻倍。协议简单：虚拟交换系统与其它设备间的动态路由协议完全是单台设备与其它设备的协议关系，需维护的路由邻居关系数以二次方根下降，在本系统中可达45 倍下降，工作量和部署难度大大降低；虚拟交换系统同时作为单台设备参与生成树计算关系，生成树计算和维护量以二次方根下降，在本系统中可达45 倍下降，工作量和部署难度大大降低。冗余可靠：虚拟交换系统形成虚拟单机箱、物理双引擎的跨机箱冗余引擎系统，下连接入交换机原来需要用动态路由或生成树实现冗余切换的，在 VSS下全都可以用简单的链路捆绑实现负载均衡和冗余，无论是链路还是引擎，冗余切换比传统方式更加迅捷平滑，保持上层业务稳定运行。以前两个单引擎机箱的其中一台更换引擎，一定会导致数据的丢失，而虚拟交换系统里任意一台更换引擎，数据可以保证0 丢失。（二）虚拟设备系统（V D C）VDC技术则可以实现将一台交换机划分为多个虚拟的子交换机，每个交换机拥有独立的配置界面，独立的生成树、路由、SNMP、VRRP等协议进程，甚至独立的资源分配（内存、TCAM、转发表等等）。它与VSS配合，将在实现更加灵活的、与物理设备无关的跨平台资源分配能力，为数据中心这种底层设施资源消耗型网络提供更经济高效的组网方式，也为管理和运营智能化自动化创造条件。物理设备虚拟成若干个逻辑上的独立设备的图示:VDC 1VDC2VDC3VDC 4InfrastructureKernelLayer 2 Protocols3.2.2网络服务虚拟化在服务资源整合以及设备虚拟化的基础之上，D C E要求每个虚拟化的网络应用区都有自己的业务服务设施，比如自己的防火墙、I D S、负载均衡器、S S L加速、网络服务，这些如果都是物理上独占式分配的，将是高成本、低效率且难于维护管理的。D C E网络在提供这些网络智能服务时都可以以虚拟化的方式实现各类服务的资源调用，思科的D C E网络中就可以实现虚拟防火墙、虚 拟I D S,虚拟负载均衡器、虚 拟S S L V P N网络等等，从而实现网络智能服务的虚拟化。3.2.3服务器虚拟化服务器虚拟化可以使上层业务应用仅仅根据自己所需的计算资源占用要求来对C P U、内存、I/O和应用资源等实现自由调度，而无须考虑该应用所在的物理关联和位置。当前商用化最为成功的服务器虚拟化解决方案是V M W a r e 的V M o t i o n 系列，微软的V i r t u a l S e r ve r 和许多其它第三方厂商（如 I n t e l、AM D 等）也正在加入，使得服务器虚拟化的解决方案将越来越完善和普及。然而人们越来越意识到服务器虚拟化的系统解决方案中除了应用、主机、操作系统的角色外，网络将是一个更为至关重要的角色。网络将把各个自由联系成为一个整体，网络将是实现自由虚拟化的桥梁。服务器虚拟化需要D C E 能够提供以下能力：资源的整合：业务应用运行所依赖的物理计算环境都需要网络实现连接，然而在传统网络中，传输数据的数据网、互 连 C P U和内存的计算网、互连存储的存储网都是孤立的，这就无法真正实现与物理无关的服务器资源调度，因此实现真正意义上彻底的服务器虚拟化，前面提到的D C E 三网一体化交换架构是必须的条件。网络的虚拟机意识：传统网络是不具备虚拟机意识的，即在网络上传递的信息是无法区别它是来自于哪个虚拟机，也无法在网络上根据虚拟机来提供相应的网络服务，当虚拟机迁移，也没有相应的网络跟踪手段保证服务的全局一致性。不过这些都是 D C E 正在解决的问题，一些D C E 的领导厂商，比如思科，已经在推出的商用化D C E 产品中提供了相应的虚拟机标识机制，并且思科已经联合V M wa r e 等厂商将这些协议提交I E E E 实现标准化。虚拟机迁移的网络环境：服务器虚拟化是依靠虚拟机的迁移技术实现与物理资源无关的资源共享和复用的。虚拟机迁移需要一个二层环境，这导致迁移范围被局限在传统的V L AN 内。我们知道W e b 2.0、云计算等概念都需要无处不在的数据中心，那么如何实现二层网络的跨地域延展呢？传统的L2 MPLS技术太复杂，于 是 IEEE和 IETF正在制定二层多路径(即二层延展)的新标准，D C E 的领导厂商思科公司也提出了一种新的协议标准C i s c o Ov e r t h e To p V i r t u a l i z a t i o n(OTV)来解决跨城域或广域网的二层延展性问题，从而为服务器虚拟化提供可扩展的网络支撑。3.3自动化自动化是SODC 架构中上层自动优化的实现服务调用必须条件。在高度整合化和虚拟化的基础上，服务的部署完全不需要物理上的动作,资源在虚拟化平台上可以与物理设施无关的进行分配和整合，这样我们只需要将一定的业务策略输入给智能网络的策略服务器，一切的工作都可以按系统自身最优化的方式进行计算、评估、决策和调配实现。现在商用的DC E自动化解决方案包括管理自动化和业务部署自动化。集团公司数据中心将在后续的建设中逐步完善自动化管理和自动化业务部署，但需要在本期通过DC E技术的实施打下未来自动化部署的坚实基础。3.4 绿色数据中心DC E技术的整合化、虚拟化和自动化本身就是在达到同样业务能力的要求下实现高效率利用硬件资源、减少总硬件投入、节约维护管理成本等方面的最佳途径，这本身也是绿色数据中心的必要条件。另外DC E产品必须在硬件实现上实现低功耗、高效率，包括 利 用 最 新 半 导 体 工 艺（越小纳米的芯片要比大纳米的芯片省电）降 低 逻 辑 电 路 的 复 杂 度（在接入层使用二层设备往往要比三层设备省电）减少通用集成电路的空转（使用定制化的专业设计的芯片往往比通用芯片省电）等等由此可见，对于一台网络设备，在业务能力相当的前提条件下，越小的功耗就代表越先进的技术。在 D C E 设备一般可以做到维持三层的全业务万兆吞吐功耗小于2 5 W、二层的万兆吞吐功耗小于1 3 W0第4章集团公司云计算平台网络设计4.1总体网络结构本次集团公司数据中心网络的建设将采用新一代的D C E 技术，并使用D C E 技术的代表厂商C i s c o 公司的N e xu s 系列产品。网络结构将采用大型数据中心典型的层次化、模块化组网结构。（插入总体图）4.1.1层次化结构的优势采用层次化结构有如下好处：节约成本：园区网络意味着巨大的业务投资正确设计的园区网络可以提高业务效率和降低运营成本。便于扩展：一个模块化的或者层次化的网络由很多更加便于复制、改造和扩展的模块所构成，在添加或者移除一个模块时，并不需要重新设计整个网络。每个模块可以在不影响其他模块或者网络核心的情况下投入使用或者停止使用。加强故障隔离能力：通过将网络分为多个可管理的小型组件，企业可以大幅度简化故障定位和排障处理时效。4.1.2标准的网络分层结构层次化结构包括三个功能部分，即接入层、分布层和核心层，各层次定位分别如下：核心层：是企业数据交换网络的骨干，本层的设计目的是实现快速的数据交换，并且提供高可靠性和快速的路由收敛。分布层：也称为汇聚层。主要汇聚来自接入层的流量和执行策略，当第三层协议被用于这一层时可以获得路由负载均衡，快速收敛和可扩展性等好处。分布层还是网络智能服务的实施点,包括安全控制、应用优化等智能功能都在此实施。接入层：负责提供服务器、用户终端、存储设施等等的网络第一级接入功能，另外网络智能服务的初始分类，比如安全标识、Qo S分类将也是这一层的基本功能。4.1.3集团公司云计算平台数据中心网络结构根据业界企业网络最佳设计实践参考，在边缘节点端口较少的小型网络中，可以考虑将核心层与分布层合并，小型网络的网络规模主要由接入层交换机决定。但对于集团公司而言，结合集团公司的业务现状及发展趋势，我们可以看到未来几年内业务处于一个高速成长期,必须在本期网络架构中充分考虑未来的可扩展性。所以集团公司企业内部核心网络层次结构必须具有以上严格清晰的划分，即具有清晰的核心层、会聚分布层、接入层等分层结构，才能保证网络的稳定性、健壮性和可扩展性，以适应业务的发展。集团公司的业务应用特点又决定了核心层将相对接入的网络模块较少，只有楼层汇聚接入、数据中心汇聚接入、广域网接入等三块，如果采用单独的大容量物理核心设备将造成浪费，而如果采用低端核心设备则会对业务相对繁忙的数据中心汇聚形成瓶颈，也影响网络整体的稳定性。鉴于此，我们采用超大规模核心层设备C i s c o N e x u s 7 0 0 0作为核心，但虚拟化为两套交换机，一套用于全网核心，一套用于数据中心汇聚。这样做的优势如下：逻辑上仍然是清晰的两套设备，完全保持了前述网络分层结构的优势。在性能上实现了网络核心和数据中心汇聚交换机资源的共享和复用，非常好的解决了核心层数据量和数据中心数据量可能存在较大差异的问题。以较低的投入升级了数据中心汇聚交换机的能力（相当于可以与核心层复用4Tbps以上的交换能力），适于下一阶段要进行的数据中心双网融合的资源需求。减少了设备数量，降低了设备投入成本、功耗开销和维护管理的复杂度。集团公司新一代数据中心整体网络结构如下图所示:较心层7010Catalyst 6500 1Services Chassis柜顶cus 20(ServersFEXFEXFEXFEX4.2 数据中心核心层设计本次我们采用能扩展到15Tbps以上的Cisco Nexus 7000系列大型 DCE交换机，每台Nexus7000划分为两个VDC（虚拟交换机），一个虚拟交换机作为集团公司数据中心核心，另一个虚拟交换机作为数据中心的分布汇聚层交换机。我们选择的是1 0 插槽N e x u s 7 0 1 0,以双机双冗余方式部署在网络核心。每台当前支持的最大交换容量为4 T b p s,最大万兆端口容量为2 5 6 个，每插槽交换能力为2 3 0 G b p s (未来可扩展到5 0 0 G b p s 以上)，可以在未来扩展4 0 G/1 0 0 G 以太网。本次每台N 7 0 1 0 暂配3 2 个万兆端口，4 8 个千兆端口，这些端口都可在物理上划分为属于全网核心的虚拟交换机和属于数据中心汇聚的虚拟交换机，每个虚拟交换机从软件进程到配置界面都各自独立，但可以共享和复用总的交换机资源。每个虚拟交换机都支持v P C 技 术(V i r t u a l P o r t-C h a n n e l),即可以实现跨交换机的端口捆绑，这样在下级交换机上连属于不同机箱的虚拟交换机时，可以把分别连向不同机箱的万兆链路用与I E E E8 0 2.3 a d 兼容的技术实现以太网链路捆绑，提高冗余能力和链路互连带宽的同时，大大简化网络维护。核心层虚拟交换机与其它设备互连都采用路由端口和三层交换方式，因此采用v P C 进行链路捆绑时使用三层端口链路捆绑技术。如图所示：4.3数据中心分布层设计4.3.1数据中心分布层虚拟交换机数据中心的分布汇聚层交换机是采用上述N e x u s 7 0 1 0 内单独划分处理的虚拟交换机实现。虚拟交换机之间通过外部互连，并同样采用v P C 的三层端口链路捆绑技术。分布汇聚层虚拟交换机与下面的接入层采用二层端口的v P C 跨机箱捆绑技术互连，如下图所示。4.3.2 数据中心分布层智能服务机箱数据中心的网络智能服务由设计在分布层的智能服务机箱提供（M u l t i-S e r v i c e s C h a s s i s）0单独的服务机箱可以不破坏高性能的一体化交换架构形成的数据中心主干，有选择的对三网合一的数据中心流量提供按需的网络智能服务。比如本地存储流量没有必要在传输过程中经过数据应用类防火墙的检查（存储网内有自己的安全访问控制机制），这样的设计比较容易实现类似的F C o E 流量的无干扰直达。智能服务机箱采用C i s c o C a t a l y s t 6500交换机，暂配置720G引擎和18 个万兆端口，内置防火墙模块（F W S M）、应用控制模块（A C E）,提供应用级安全访问控制和应用优化、负载均衡功能。智能服务机箱采用双机冗余结构，利用C a t a l y s t 6500的V S S 虚拟交换机功能，两个独立的机箱完全可以看成为一个逻辑机箱，再通过共4个万兆上连至2 个 N 7000上的分布汇聚层虚拟交换机上。V S S技术形成了一个具有1.44T b p s 能力的智能服务机箱，再通过N 7000的v P C 技术，则形成了智能服务机箱和N 7000之间全双工高达8 0G b p s的互连带宽。由于N 7000和 6500V S S 上都预留了足够的万兆端口，这个捆绑带宽值根据未来智能服务处理性能的需要还可以成倍的平滑升级。物理和逻辑的连接示意图如下面所示。物理结构图 逻辑结构图在一期实施中，智能服务机箱内智能服务器硬件模块的部署密度不高一一每个机箱内防火墙模块、负载均衡模块各一块，这样每个机箱内使用引擎加速技术的防火墙模块最大迸发吞吐量32G b p s,负载均衡模块最大四层吞吐能力16G b p s （而且不是所有都需要负载均衡），完全满足当前业务需求，因此可以在实施中简化配置，改双机箱V S S结构为一主一备机箱方式，在以后随业务需求上涨，业务模块增多，再完善为双机箱负载均衡的V S S模式。由于服务机箱内的防火墙模块和应用控制优化模块都支持虚拟化技术，因此还可以利用智能服务虚拟化实现基于每个数据中心业务组的定制服务策略和功能，使每个业务应用使用所需资源时不必过度关注其物理存在方式，从而实现与物理无关的跨平台智能服务调用（S O D C的交互服务调用)，极大的提高资源利用效率，减少了物理设施维护的复杂度。这部分将在后面智能服务的详细设计中加以阐明。4.4数据中心接入层设计使用Cisco Nexus 5000和 2000系列DCE接入交换机,可以实现数据中心接入层的分级设计。本次建议集团公司使用的是具有将近1.2Tbps交换能力、初始配置有40个万兆以太网端口的Nexus 5020交换机，以及具备48个10/100/1000M以太网端口、4 个万兆上连端口的Nexus 2148T。Nexus2000是 5000系列的交换矩阵延展器，通过部署在柜顶(Top of theRack,ToR)的2148T,可以将本地接入的高密度服务器上连到5020,4 个上连万兆端口可以提供48个千兆端口中至少40个端口的全线性转发能力，通过连接多台2148T,5020可以将1.2T的惊人交换能力延展到多个机柜，实现高性能、高密度、低延迟的DCE服务器群接入能力。而且作为5020的延展设备，2148T无需自身进行复杂配置，所有管理和配置都可在其上游的5020上完成，大大简化了多机柜、高