公司数据中心网络设计方案.doc

《公司数据中心网络设计方案.doc》由会员分享，可在线阅读，更多相关《公司数据中心网络设计方案.doc（21页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、公司数据中心网络设计方案1.1 总体网络结构本次XXX公司数据中心网络的建设将采用新一代的DCE技术，并使用DCE技术的代表厂商Cisco公司的Nexus系列产品。网络结构将采用大型数据中心典型的层次化、模块化组网结构。1.1.1 层次化结构的优势采用层次化结构有如下好处：l 节约成本：园区网络意味着巨大的业务投资正确设计的园区网络可以提高业务效率和降低运营成本。l 便于扩展：一个模块化的或者层次化的网络由很多更加便于复制、改造和扩展的模块所构成，在添加或者移除一个模块时，并不需要重新设计整个网络。每个模块可以在不影响其他模块或者网络核心的情况下投入使用或者停止使用。l 加强故障隔离能力：通过

2、将网络分为多个可管理的小型组件，企业可以大幅度简化故障定位和排障处理时效。1.1.2 标准的网络分层结构层次化结构包括三个功能部分，即接入层、分布层和核心层，各层次定位分别如下：l 核心层：是企业数据交换网络的骨干，本层的设计目的是实现快速的数据交换，并且提供高可靠性和快速的路由收敛。l 分布层：也称为汇聚层。主要汇聚来自接入层的流量和执行策略，当第三层协议被用于这一层时可以获得路由负载均衡，快速收敛和可扩展性等好处。分布层还是网络智能服务的实施点，包括安全控制、应用优化等智能功能都在此实施。l 接入层：负责提供服务器、用户终端、存储设施等等的网络第一级接入功能，另外网络智能服务的初始分类，比

3、如安全标识、QoS分类将也是这一层的基本功能。1.1.3 XXX公司的网络结构根据业界企业网络最佳设计实践参考，在边缘节点端口较少的小型网络中，可以考虑将核心层与分布层合并，小型网络的网络规模主要由接入层交换机决定。但对于XXX公司而言，结合XXX公司的业务现状及发展趋势，我们可以看到未来几年内业务处于一个高速成长期，必须在本期网络架构中充分考虑未来的可扩展性。所以XXX公司企业内部核心网络层次结构必须具有以上严格清晰的划分，即具有清晰的核心层、会聚分布层、接入层等分层结构，才能保证网络的稳定性、健壮性和可扩展性，以适应业务的发展。XXX公司的业务应用特点又决定了核心层将相对接入的网络模块较少

4、，只有楼层汇聚接入、数据中心汇聚接入、广域网接入等三块，如果采用单独的大容量物理核心设备将造成浪费，而如果采用低端核心设备则会对业务相对繁忙的数据中心汇聚形成瓶颈，也影响网络整体的稳定性。鉴于此，我们采用超大规模核心层设备Cisco Nexus 7000作为核心，但虚拟化为两套交换机，一套用于全网核心，一套用于数据中心汇聚。这样做的优势如下：l 逻辑上仍然是清晰的两套设备，完全保持了前述网络分层结构的优势。l 在性能上实现了网络核心和数据中心汇聚交换机资源的共享和复用，非常好的解决了核心层数据量和数据中心数据量可能存在较大差异的问题。l 以较低的投入升级了数据中心汇聚交换机的能力（相当于可以与

5、核心层复用4Tbps以上的交换能力），适于下一阶段要进行的数据中心双网融合的资源需求。l 减少了设备数量，降低了设备投入成本、功耗开销和维护管理的复杂度。XXX公司新一代数据中心整体网络结构如下图所示：1.2 全网核心层设计本次我们采用能扩展到15Tbps以上的Cisco Nexus 7000系列大型DCE交换机，每台Nexus7000划分为两个VDC（虚拟交换机），一个虚拟交换机作为XXX公司全网核心，另一个虚拟交换机作为数据中心的分布汇聚层交换机。我们选择的是10插槽Nexus7010，以双机双冗余方式部署在网络核心。每台当前支持的最大交换容量为4Tbps，最大万兆端口容量为256个，每插

6、槽交换能力为230Gbps（未来可扩展到500Gbps以上），可以在未来扩展40G/100G以太网。本次每台N7010实配32个万兆端口，48个千兆端口，这些端口都可在物理上划分为属于全网核心的虚拟交换机和属于数据中心汇聚的虚拟交换机，每个虚拟交换机从软件进程到配置界面都各自独立，但可以共享和复用总的交换机资源。每个虚拟交换机都支持vPC技术（Virtual Port-Channel），即可以实现跨交换机的端口捆绑，这样在下级交换机上连属于不同机箱的虚拟交换机时，可以把分别连向不同机箱的万兆链路用与IEEE 802.3ad兼容的技术实现以太网链路捆绑，提高冗余能力和链路互连带宽的同时，大大简化

7、网络维护。核心层虚拟交换机与其它设备互连都采用路由端口和三层交换方式，因此采用vPC进行链路捆绑时使用三层端口链路捆绑技术。如图所示：1.3 数据中心分布层设计1.3.1 数据中心分布层虚拟交换机数据中心的分布汇聚层交换机是采用上述Nexus 7010内单独划分处理的虚拟交换机实现。虚拟交换机之间通过外部互连，并同样采用vPC的三层端口链路捆绑技术。分布汇聚层虚拟交换机与下面的接入层采用二层端口的vPC跨机箱捆绑技术互连，如下图所示。1.3.2 数据中心分布层智能服务机箱数据中心的网络智能服务由设计在分布层的智能服务机箱提供（Multi-Services Chassis）。单独的服务机箱可以不

8、破坏高性能的一体化交换架构形成的数据中心主干，有选择的对三网合一的数据中心流量提供按需的网络智能服务。比如本地存储流量没有必要在传输过程中经过数据应用类防火墙的检查（存储网内有自己的安全访问控制机制），这样的设计比较容易实现类似的FCoE流量的无干扰直达。智能服务机箱采用Cisco Catalyst 6500交换机，配置720G引擎和18个万兆端口，内置防火墙模块（FWSM）、应用控制模块（ACE）， 提供应用级安全访问控制和应用优化、负载均衡功能。智能服务机箱采用双机冗余结构，利用Catalyst 6500的VSS虚拟交换机功能，两个独立的机箱完全可以看成为一个逻辑机箱，再通过共4个万兆上连

9、至2个N7000上的分布汇聚层虚拟交换机上。VSS技术形成了一个具有1.44Tbps能力的智能服务机箱，再通过N7000的vPC技术，则形成了智能服务机箱和N7000之间全双工高达80Gbps的互连带宽。由于N7000和6500VSS上都预留了足够的万兆端口，这个捆绑带宽值根据未来智能服务处理性能的需要还可以成倍的平滑升级。物理和逻辑的连接示意图如下面所示。 物理结构图 逻辑结构图在一期实施中，智能服务机箱内智能服务器硬件模块的部署密度不高每个机箱内防火墙模块、负载均衡模块各一块，这样每个机箱内使用引擎加速技术的防火墙模块最大迸发吞吐量32Gbps，负载均衡模块最大四层吞吐能力16Gbps（而

10、且不是所有都需要负载均衡），完全满足当前业务需求，因此可以在实施中简化配置，改双机箱VSS结构为一主一备机箱方式，在以后随业务需求上涨，业务模块增多，再完善为双机箱负载均衡的VSS模式。由于服务机箱内的防火墙模块和应用控制优化模块都支持虚拟化技术，因此还可以利用智能服务虚拟化实现基于每个数据中心业务组的定制服务策略和功能，使每个业务应用使用所需资源时不必过度关注其物理存在方式，从而实现与物理无关的跨平台智能服务调用（SODC的交互服务调用），极大的提高资源利用效率，减少了物理设施维护的复杂度。这部分将在后面智能服务的详细设计中加以阐明。1.4 数据中心接入层设计使用Cisco Nexus 50

11、00和2000系列DCE接入交换机，可以实现数据中心接入层的分级设计。本次建议XXX公司使用的是具有将近1.2Tbps交换能力、初始配置有40个万兆以太网端口的Nexus 5020交换机，以及具备48个10/100/1000M以太网端口、4个万兆上连端口的Nexus 2148T。Nexus 2000是5000系列的交换矩阵延展器，通过部署在柜顶（Top of the Rack，ToR）的2148T，可以将本地接入的高密度服务器上连到5020，4个上连万兆端口可以提供48个千兆端口中至少40个端口的全线性转发能力，通过连接多台2148T，5020可以将1.2T的惊人交换能力延展到多个机柜，实现高

12、性能、高密度、低延迟的DCE服务器群接入能力。而且作为5020的延展设备，2148T无需自身进行复杂配置，所有管理和配置都可在其上游的5020上完成，大大简化了多机柜、高密度服务器接入设备的管理复杂度。Nexus 5000和2000都是按柜顶（Top of the Rack，ToR）交换机的尺寸设计，12U的高度内紧凑的集成了高密度的DCE端口，但同时提供可热插拔的冗余风扇组和冗余电源系统，其可靠性远非其它传统以太网中固定接口小交换机所可比。Nexus 5000是业界第一款商用化FCoE交换机，其所有万兆以太网端口都支持FCoE。同时Nexus 5000支持扩展16个14G Fiber Cha

13、nnel端口或8个18G Fiber Channel端口，完全支持Fiber Channel SAN交换机的完整功能特性。也即传统需要以太网卡、FC存储卡（HBA）、InfiniBand卡的主机，只需要一张FCoE的以太网卡（CNA）就可以实现三种网络的接入，用户在操作系统上也可以看见虚拟化的以太网卡、HBA卡和InfiniBand卡，而它们共享万兆的高带宽，Nexus 5000还可通过Fiber Channel接口连接传统的SAN网络，实现SAN/LAN的整合，通过这种整合和虚拟化实现资源的自由调度和最大化利用，同时成倍减少的网卡数节约了功耗，提高了可靠性，降低了维护成本。XXX公司的20个

14、主机、服务器机柜将分为两列，每列选两个列中柜（Middle of the Row），柜内部署Nexus 5020，而每列其它8个普通机柜在柜顶（ToR）放置Nexus 2148T。物理部署类似下图所示：普通的机柜内放置千兆端口服务器，每机柜可容纳具有冗余网卡的千兆服务器高达20个。每列的两个列中柜（MoR）内可放置具备万兆以太网卡的高性能服务器、万兆FCoE卡的新型服务器、具备Fiber Channel卡（HBA）的服务器和SAN交换机，甚至将来可以扩展具备FCoE接口的盘阵。提供两种实际物理接线的方法：方法1：交叉冗余链接每两个普通机柜的设备都与另一个机柜的Nexus 2148T冗余交叉上连

15、，每个普通机柜柜顶（ToR）的Nexus 2148T又通过4个万兆交叉上连至本列的两个列中柜（MoR）内的Nexus 5020，每列两个列中柜（MoR）内的Nexus 5020冗余互连，并且再交叉上连至Nexus 7000的虚拟交换机上。物理连接类似下图所示：方法2：以Nexus 5000为单位的冗余和负载均衡这种方法保证对于每个Nexus 2000而言只连接一个Nexus 5000，避免跨越Nexus 5000的负载均衡，也即避免负载均衡时偶发的在两个Nexus 5000互连的链路上产生流量。这种方法的优点是负载均衡效果更好，避免两个Nexus 5000之间可能产生的拥塞（虽然可能性比较小）

16、，而且网络结构简单，易于管理。但缺点是冗余能力不如方法1，由于方法1让每一个Nexus 2000交错连接，所以可以容忍2000、5000同时出现故障。由于2000、5000同出故障的概率极低，而方案2更容易实施，管理复杂度更小，所以一期施工推荐使用方法2。在服务器的分配应尽量遵循相互业务紧密、访问量大或需要相互进行虚拟机迁移和调度的物理服务器应放置在同一柜列（Row）的原则，即共用一对Nexus 5000。上图每个机柜的20台服务器可以完全实现双网卡的Load Balance Teaming方式下的线性网络接入，即每台服务器2G带宽（4G吞吐量）的网络接入能力。在一期实施中，为简化服务器端设计

17、，可以服务器网卡可以先采用Active/Standby的Teaming方式。1.5 数据中心地址路由设计1.5.1 核心层XXX公司数据中心核心层与分布汇聚层之间采用路由端口，实现三层交换，建议使用OSPF路由协议。1.5.2 分布汇聚层和接入层分布汇聚层和接入层之间使用交换端口，实现二层交换。如前所述，当前的主流虚拟机软件，如VMware、Virtual Server等都需要在二层交换下实现虚拟机迁移，因此在数据中心接入层使用二层交换将方便虚拟机的迁移和调度。当前由于Cisco独特的VSS虚拟交换机技术和vPC跨设备端口捆绑技术的使用，可以实现在二层结构下完全没有环路，从根本上解决了生成树算

18、法收敛慢、不稳定、故障多的问题，也使得在一个数据中心内二层结构下的可扩展性与三层结构没有根本的区别。如下图所示，只要经过适当设计，本项目接入层的二层部分将没有环路，快速生成树算法将只用于在误操作等极端情况下的防范手段。当IEEE的改进生成树协议或者IETF的二层路由协议技术成熟，或者直接使用思科当前就可以提供的OTV技术，二层结构还可以扩展到城域和广域网中去，扩大服务器虚拟化的调度范围，向云计算的理想迈进。分布汇聚层的智能服务机箱相关的地址和逻辑设计将在后面专项的智能服务介绍中详细阐述。1.5.3 VLAN/VSAN和地址规划接入层内的Nexus 5000和2000将可以把主机服务器和存储设备一并接入统一交换，其中数据网络部分实现传统的VLAN设计，而存储网络则支持VSAN。在DCE的一体化交换架构下，数据网络部分的逻辑结构设计（地址和路由）与分层设计的传统网络完全兼容，因此用户现有的主机、服务器在割接到新数据中心时无需变更地址，实现平滑过度。