华为FusionStorage技术建议书模板(分布式存储~).doc

#*华为华为FusionStorageFusionStorage分布式存储技术建议书分布式存储技术建议书Huawei Technologies Co., Ltd.华为技术有限公司All rights reserved版权所有 侵权必究#*Revision record 修订记录/在提供给客户前需删除本页“修订记录”。 本文档只是供内部参考使用，禁止将本文档原封不动发给客户或代理商。请结合实际项目需要进行必要增删调整。DateDate日期日期RevisionRevision VersionVersion修订修订版本版本ChangeChange DescriptionDescription修改描述修改描述AuthorAuthor作者作者2014/9/12V1.0初稿完成卢平 002322532014/11/18V1.1评审修改曾祥勇 00159952 秦祖福 00172507 卢平 00232253#*Table of Contents 目 录Revision record 修订记录.2Table of Contents 目 录 .31项目概述.51.1项目背景.51.2项目需求.51.3功能需求.62项目技术方案 .62.1FusionStorage总体架构.62.2FusionStorage优点概述.92.3FusionStorage应用场景.102.3.1FusionStorage与FusionSphere融合场景 .112.3.2FusionStorage与VMware融合场景 .122.3.3FusionStorage与OpenStack融合场景.133FusionStorage应用中典型硬件平台 .153.1FusionStorage在机架式服务器上使用.153.2FusionStorage在刀片式服务器上使用.194FusionStorage应用中网络设计方案 .204.1总体组网方案.204.2在机架式服务器上使用组网方案.224.2.1单柜10GE组网.224.2.2单柜IB存储组网 .234.3在刀片服务器上使用组网方案.244.3.1虚拟化10GE 刀片服务器组网.244.3.2虚拟化IB+SSD组网.255服务器数量规划.265.1FusionStorage按容量和性能计算服务器数量 .266FusionStorage产品特性介绍.276.1性能卓越.276.2高可靠.326.3弹性扩展.366.4管理简便.38#*6.5兼容性.407FusionStorage典型应用案例.437.1浙江电信选择FusionStorage建设存储资源池 .437.2华为公司计算云-单资源池5K VM.457.3FusionStorage帮助江苏移动CRM系统建设高性能数据库平台.467.4华为携手沃达丰打造分布式数据中心.487.5华为FusionStorage助力深圳海关加速大数据分析.497.6FusionStorage：汇港资讯高效证券交易数据发布云平台建设.517.7华为FusionStorage助力BME高效交付股票交易系统 .528系统软硬件配置清单及说明.538.1软件配置.538.2硬件配置.539缩略语.55#*1 项目概述1.1 项目背景XXX单位准备采用虚拟化与云计算技术来构建IT系统，提升IT系统的资源利用率，但是传统SAN在企业基础设施池化、云化中面临的主要问题：存储资源弹性问题：存储资源弹性问题：多业务负载、资源的动态需求变化 存储扩展的问题：存储扩展的问题：共享、扩展面临了诸多的瓶颈和问题（机头、前后端网络、CPU/Cache与HDD不同步问题） 形态和实施的成本、复杂性问题：形态和实施的成本、复杂性问题：独立的存储网络，建设成本高、实施复杂（初始实施、扩减容等）容错和可靠性问题：容错和可靠性问题：大规模集群中容忍的故障域问题（跨机柜、跨机房），硬盘重建时间长问题 针对上述问题，建议使用FusionStorage 分布式存储产品解决上述问题，为满足业务平台日益增长的存储需求，为业务平台提供高安全性、高可靠性、高可用性和开放性的存储服务。FusionStorage分布式存储系统基于分布式处理技术、虚拟化技术和集群技术实现，作为云计算资源池存储资源池的一部分，为计算资源池提供高速、可靠、安全的块存储服务。1.2 项目需求XXX单位，对存储需求如下，需要根据具体的项目进行修改：序号序号项目项目需求描述需求描述备注备注1存储容量要求30T 有效存储容量，SAS磁盘请根据实际需求刷新2性能要求TPMC不小于600万，并发用户量为1000请根据实际需求刷新#*1.3 功能需求XXX单位，对功能需求如下，需要根据具体的项目进行修改：1、无性能下降智能精简配置2、基于快照的高性能链接克隆3、高性能增量快照技术4、高可靠-多重数据安全保障机制5、高性能、低时延-支持全SSD 存储6、高性能、低时延-支持Infiniband网络互联7、FusionStorage - 全分布式平滑扩展2 项目技术方案2.1 FusionStorage 总体架构分布式存储FusionStorage是华为公司设计,完全自主产权的分布式存储架构.作为一种存储与计算高度融合的存储软件，通过突破性的架构和设计，达到高性能、高可靠、高性价比。它具有一致的、可预测的性能及可扩展性，具有高弹性和自愈能力，具有计算存储高度融合。FusionStorage采用分布式集群控制技术和分布式Hash数据路由技术，提供分布式存储功能特性。FusionStorage功能架构图如下所示：FusionStorage功能模块:#*SAS/SATAX86 CPU硬件设存储引集群状态控制数据一致性管理存储服备份分布式Cache分布式链接克隆存储驱SCSI驱动/iSCSI数据路由管理并行数据重建集群故障自愈分布式快照分布式精简配置 容灾10GE/InfiniBandE9000计算、存储融合刀片式服务器 PCI-E SSD存储管理统一告警系统监控容量管理卷管理QOS管理存储接口层：通过SCSI驱动接口向操作系统、数据库提供卷设备。存储服务层：提供各种存储高级特性，如快照、链接克隆、精简配置、分布式cache、容灾备份等。存储引擎层：FusionStorage存储基本功能，包括管理状态控制、分布式数据路由、强一致性复制技术、集群故障自愈与并行数据重建子系统等。存储管理层：实现FusionStorage软件的安装部署、自动化配置、在线升级、告警、监控和日志等OM功能，同时对用户提供Portal界面。FusionStorage系统软件架构：MDCMDCMDCOSDOSDVBSVBSOSDOSDOSDOSDOSDOSDOSDVBSVBS元元数数据据集集群群RSM(Replicated State Machine) data layerStateless interface layerDriver状态视图状态视图SCSI数数据据复复制制存存储储集集群群无无状状态态机机头头FusionStorage通过分布式架构把分散的、低速的SATA/SAS机械硬盘组织成一个高效的虚拟化SAN存储池设备，提供比SAN设备更高的IO能力，把性能发挥到极致。FusionStorage分布式存储系统包含三个子系统：#*无状态机头无状态机头无状态机头对外提供本地SCSI接口或者ISCSI服务接口，可以部署在存储节点，也可以灵活部署在计算节点。系统启动时，无状态机头会从元数据集群获取最新的数据分布视图。在IO过程中，无状态机头会将数据均衡的分发到各个存储节点。无状态机头提供多种接口支持，其中包括本地SCSI，ISCSI。本地SCSI支持主流的linux操作系统，其他操作系统可以通过ISCSI接口提供块存储服务。存储集群存储集群在IO读写过程中，存储集群接收到无状态机头分发的IO请求，会根据副本策略，将IO分发到其他服务器或者机柜上的存储节点；同时存储节点会将每台服务器上的缓存设备划分成读写缓冲区，IO直接写到cache中就向主节点返回。当缓冲区达到一定的水位后，存储节点会自动将缓冲区的数据刷到主存设备（机械硬盘/SSD）上。分布式机头FusionStorage采用无状态的分布式软件机头，机头部署在各个服务器上，无集中式机头的性能瓶颈。单个服务器上软件机头只占用较少的CPU资源，提供比集中式机头更高的IOPS。分布式缓存FusionStorage实现了计算和存储的融合，缓存和带宽都均匀分布到各个服务器节点上。FusionStorage支持将服务器SSD卡用作读、写缓存，对于数据的写操作，系统数据首先写到SSD的写缓存中，所有副本（三个副本）写缓存成功后，IO立即返回。同时IO也会将数据缓存均匀分布到各个节点上，所有服务器的缓存总容量远大于采用外置独立存储的方案。即使采用大容量低成本的SATA硬盘，FusionStorage仍然可以发挥很高的IO性能，整体性能提升13倍，同时提供更大的有效容量。FusionStorage支持PCIe SSD用作数据缓存，除具备通常的写缓存外，增加热点数据统计和缓存功能，加上其大容量的优势，进一步提升了系统性能。由于分布式缓存带来的性能优势，IO时延,IOPS都能很好的满足数据库的应用，FusionStorage系统可以支持业界主流的数据库，支持OLAP,OLTP等主流业务。#*集群元数据管理集群元数据管理FusionStorage分布式存储软件的元数据服务采用集群管理方式，不会出现单点故障，一个节点或者一块硬盘故障自动从集群内隔离出来，不影响整个系统业务的使用。多数据副本FusionStorage存储系统中没有使用传统的RAID模式来保证数据的可靠性，而是采用了多副本备份机制，即同一份数据可以复制保存多个副本。在数据存储前，对数据进行分片，分片后的数据按照一定的规则保存集群节点上。如下图所示，对于服务器Server1的 磁盘Disk1上的数据块P1，它的数据备份为服务器Server2的磁盘Disk2上P1，P1和P1构成了同一个数据块的两个副本。2.2 FusionStorage 优点概述高高 IOPS,IOPS,低时延：应用大容量低时延：应用大容量 CacheCache 技术，提升技术，提升 IOPSIOPS；卷被切片分割打散到整个资源池所有硬盘中，条带化宽度增加，单卷可获得的性能大幅提升；访问均衡，无热点,资源池中各节点的利用率相同；无需预先设置固定RAID组，大资源池适应应用负载的动态变化；应用程序通过Cache直达存储，时延更低； 无级扩容、超大容量：分布式系统，无管理机头瓶颈，容量几乎不受限制；无级扩容、超大容量：分布式系统，无管理机头瓶颈，容量几乎不受限制；无级扩容：分布式机头(每server服务器相当于一个机头)，无性能瓶颈，可无级扩容 非烟囱式扩展：存储与计算同步平滑扩展。即插即用式扩容：扩容后系统自动调整负载平衡，真正实现无级平滑扩容。管理简单：结构简单带来管理简单；管理简单：结构简单带来管理简单；免于低层配置管理：仅需要做应用层面的管理，免去大量低层配置管理事务。零性能管理的成本：自动负载均衡，无热点，故障自愈，无需进行人工性能优化。#*数据重建快：并行重建速快；数据重建快：并行重建速快；数据分布可以跨服务器或跨机柜，不会因某个服务器、机柜故障导致数据不可访问。数据分片在资源池内打散，硬盘故障后，可在全资源池范围内自动并行重建，仅重建实际数据，无需热备盘； 重建1TB数据时间 站点业务峰值写I/O带宽容灾镜像卷最大规格8T镜像卷最大规格4096个镜像#*6.3 弹性扩展FusionStorage采用的分布式集群架构，天然支持无性能损耗的弹性扩展。DHT 数据路由FusionStorage采用DHT（Distribute Hash Table，分布式哈希表）路由数据算法。每个存储节点负责存储一小部分数据，基于DHT实现整个系统的寻址和存储。DHT算法具有以下特点：均衡性(Balance)：数据能够尽可能分布到所有的节点中，这样可以使得所有节点负载均衡。单调性(Monotonicity)：当有新节点加入系统中时，系统重新做数据分配，原来的数据存储位置不需要很大的调整。FusionStorage存储路由采用分布式哈希算法，使得存储系统具有如下特点：快速达到负载均衡：新加入节点只需要搬移很少部分数据分片即可达到负载均衡。数据高可靠：灵活配置的分区分配算法，避免多个数据副本位于同一个服务器、同一个磁盘上。FusionStorage DHT数据路由:P1P2P3P4P5P6PnDHT环物理节点DHT数据数据逻辑地址数据逻辑地址数据逻辑地址数据逻辑地址Key1Key2Key3Key4KeynHash分段寻址映射物理空间Disk1Disk2Diskn平滑扩容节点FusionStorage的分布式架构具有良好的可扩展性，支持超大容量的存储：DHT 算法保证了扩容后不需要做大量的数据搬迁，可以快速达到负载均衡状态。#*扩展计算节点可以同步扩容存储空间，扩容后的系统仍旧是计算和存储融合的，非烟囱式扩展。FusionStorage 分布式系统的带宽和 Cache 都均匀分布到各个节点上，带宽和 Cache随着节点的扩容而线性增加。扩容时支持即插即用，扩容后系统自动调整负载平衡，真正实现无级平滑扩容。FusionStorage 平滑扩容节点:AppAppAppAppAppApp计算网络(10GE)Server2Server3Server1Server4待扩容加入节点1Server5待扩容加入节点2FusionStorage分布式存储CacheHDDSSDCacheHDDSSDCacheHDDSSD资源按需使用FusionStorage提供了精简配置机制，为用户提供比实际物理存储更多的虚拟存储资源。相比直接分配物理存储资源，可以显著提高存储空间利用率。采用分布式Hash技术，天然支持分布式自动精简配置(Thin Provisioning)， 无需预先分配空间。精简配置(Thin Provisioning)无任何性能下降（IPSAN扩展空间时需要耗费额外的性能）。FusionStorage 自动精简配置：#*传统配置自动精简配置2TB2TB900GB2TB600GB300GB时间6.4 管理简便易管理与华为硬件配合使用的FusionStorage存储软件在出厂前已经做了预安装，在用户机房只需要根据实际情况调整IP配置就可以了。FusionStorage存储软件完成安装部署以后可以自动运行，不需要人工干预，系统缺省配置已经做了优化处理。FusionStorage软件进程包括：Manager、Agent、MDC、VBS和OSD。其中Manager和Agent共同完成OM功能，MDC、VBS和OSD共同完成存储功能。在虚拟化环境下，FusionStorage的部署如下图所示：FusionStorage 软件部署:#*MCNAFusionComputeFusionManagerFusionStorage ManagerDB ServerFusionStorageVBSLCNALCNALCNAFusionStorageFusionStorageFusionStorageFusionStorageMDCMDCMDCOSDOSDOSDOSDOSDOSDOSDOSDSCNAFusionStorageOtherVBSWeb UI 界面FusionStorage提供可视化的Portal界面，用户从Portal界面可以查看系统监控（KPI指标）、告警事件和存储池状态等，操作维护简单。下图显示了FusionStorage的存储池管理界面。FusionStorage Web UI界面:软件进程软件进程功能描述功能描述Manager告警、监控、日志、配置等 OM 功能，支持主备节点部署。Agent各节点的 OM 功能代理进程，部署在各节点上，每个节点部署一个进程。MDCMDC 是存储管理集群，负责集群的状态控制。MDC 管理集群部署在 3 个节点上，每个节点一个进程。VBSVBS 是无状态机头集群，负责卷元数据的管理。每个服务器上部署一个或者多个 VBS 进程。OSDOSD 对象存储设备，执行具体的 IO 操作。在每个服务器上部署多个进程，与磁盘一一对应，一块磁盘对应一个OSD。#*6.5 兼容性硬件兼容性FusionStorage可以运行在华为自产的Tecal RH2288H和Tecal E9000等服务器上， FusionStorage对硬件平台有如下基本要求：FusionStorage 运行在通用的 X86 服务器平台上。FusionStorage 采用分布式集群架构，最少需要三个服务器节点。集群内各服务器的硬盘数量必须相同，单个节点上支持 412 块硬盘。为保证服务器突然下电后，FusionStorage 在内存中的元数据和缓存数据不丢失，每台服务器都需要配置 4G NVDIMM 内存条/或 PCIe SSD 卡(大小可选400G/800G/1.2T/2.4T)。FusionStorage 正常运行需要单个占用服务器物理内存大小为：4.7G+1.7G*N，（N 是硬盘个数，取值范围：412），服务器的内存配置必须高于这个数值（还需要考虑分配给操作系统和应用软件的内存）。服务器需要两个网口支持双平面网络：管理平面和存储平面，其中存储平面带宽要求不低于 10Gbps。Tecal RH2288H V2是一款2U高度2路CPU的服务器，具有出色的扩展灵活性，更#*好的计算性能，企业级可靠性，适用性广泛。RH2288H V2配置如下：2 * Intel® Xeon E5-2600 CPU24 个 RDIMM/LRDIMM 内存插槽2*3.5 + 2*2.5，or 8*2.5，or 26*2.5SAS/SATA 硬盘，支持RAID0/1/5/10/50/6/60支持 512MB/1GB Cache，电池/电容可选7 个 PCIe 扩展插槽支持 TPM、内置 U 盘/USB Flash 卡2 个冗余热插拔电源RH2288V2外观如下图所示：Tecal E9000（以下简称：E9000）是华为公司研发的一款机箱产品，提供12U空间，可安装华为E9000系列计算节点、业务处理节点、存储节点以及相应的资源扩展节点。E9000的主要特点：卓越性能可配置 8 个横插的全宽计算节点或者 16 个半宽计算节点，支持槽位拆分。半宽槽位最大支持 2P+24DIMM 的计算节点。全宽槽位最大支持 4P+48DIMM 的计算节点。单机箱支持 32CPU/256core 计算密度，最大 12TB 内存。背板最大交换容量 5.76Tbps。融合架构计算、存储、交换、散热、供电模块化设计#*提供 2S,4S 计算节点动态扩展架构丰富的交换模块(GE、10GE、FC、FCoE、IB)，根据业务要求灵活配置E9000外观如下图所示：软件兼容性FusionStorage可以部署在华为FusionCompute虚拟化软件平台上；也可以部署在物理服务器的Linux操作系统上，支持业界主流Linux操作系统的主流版本：RedHat Linux 6.47 FusionStorage 典型应用案例FusionStorage全球参考案例运营商运营商教育教育金融金融 & & 零售零售公共部门公共部门Spanish Xanit hospitalZimbabwe Revenue AuthorityJeddah MunicipalityShanghai Maritime UniversitySenegal E-government制造业制造业Asia Pacific TelecomTelefonicaChina TelecomChina MobileHong Kong InfocastSpanish ExchangesCitic TrustItalian RetailBeijing Jiaotong UniversityPeking UniversityTAWAZUN RABDANGermany HeliparkHuaweiSpanish GAMOSAP Labs China#*7.1 浙江电信选择 FusionStorage 建设存储资源池为什么选择为什么选择FusionStorageFusionStorage 华为FusionStorage是唯一通过测试的厂商（三家厂商参与测试） 性能测试结果超过客户预期（3副本，SATA盘） 每磁盘IOPS：793（SATA盘性能的510倍，SAS盘的35倍） 时延：1.98ms4ms (高端存储中载下时延36ms)有成熟的大规模资源池经验 华为计算云：3PB，128台服务器，5000 虚拟机 可同时支持VmWare、FusionSphere等虚拟化平台 浙江电信云资源池解决方案浙江电信云资源池解决方案 接入层汇聚接入存储资源池汇聚接入计算资源池FusionStorageVMwarePOCPOC测试组网图（测试组网图（3434台存储服务器，台存储服务器，1010台计算服务器）台计算服务器） RH2288RH2288RH2288RH2288RH2288RH2288RH2288RH2288RH2288RH2288RH2288RH22886 67 72 24 4交交换换机机6 67 72 24 4交交换换机机接接入入交交换换机机1 12 2* *1 10 0G GE E1 12 2* *1 10 0G GE ES S6 67 74 48 8交交换换机机S ST TA AC CK KRH2288RH2288RH2288RH2288RH2288RH2288RH2288RH2288RH2288RH2288RH2288RH22886 67 72 24 4交交换换机机6 67 72 24 4交交换换机机接接入入交交换换机机1 12 2* *1 10 0G GE E1 12 2* *1 10 0G GE ERH2288RH2288RH2288RH2288RH2288RH2288RH2288RH2288RH2288RH2288RH2288RH22886 67 72 24 4交交换换机机6 67 72 24 4交交换换机机接接入入交交换换机机1 12 2* *1 10 0G GE E1 12 2* *1 10 0G GE ERH2288RH2288RH2288RH2288RH2288RH2288RH2288RH2288RH2288RH22886 67 72 24 4交交换换机机6 67 72 24 4交交换换机机接接入入交交换换机机1 10 0* *1 10 0G GE E1 10 0* *1 10 0G GE E存存储储机机柜柜1 1存存储储机机柜柜2 2存存储储机机柜柜3 3V Vm mw wa ar re e E ES SX Xi i计计算算集集群群6 6* *1 10 0G GE E6 6* *1 10 0G GE E6 6* *1 10 0G GE E6 6* *1 10 0G GE E6 6* *1 10 0G GE E 6 6* *1 10 0G GE E8 8* *1 10 0G GE E8 8* *1 10 0G GE E汇汇聚聚交交换换机机#*POCPOC测试结果测试结果 323628 203908 90498100%80%50%05000008KB随机读写的IOPS（不同读比率下）IOPS值7.2 华为公司计算云-单资源池 5K VM10GE 40GE组网说明：CE12808CE12808CE6824桌面计算云FusionStorage分分布布式式存存储储引引擎擎#*部署业务部署业务 VDI：1000用户 CI： 3000VM硬件规模硬件规模 机柜数：8柜 服务器：128 * RH2288H存储容量存储容量 磁盘数量：1536 * 2T SATA裸容量：3 PB有效容量：926T（PB级） 可靠性：3副本/机柜级安全 网络网络 汇聚：2*CE12808接入：2*8 CE6850核心价值核心价值 用户性能整体提升30%单服务器最大有效容量为16T，满足业务发展 业务发放速度提升16倍 运维次数、难度降低 1小时构建PB级存储 7.3 FusionStorage 帮助江苏移动 CRM 系统建设高性能数据库平台#*江苏移动CRM系统支持6000多万用户业务，随着客户数的不断增加和新业务功能的不断上线，CRM数据库的负载不断上升。原有小机系统虽经升级到满配配置，但依然不能满足性能及业务稳定性需求，对CRM系统运行和用户满意度产生了极大的影响。选择华为FusionCube数据库一体机，使用FusionStorage分布式存储建设数据库分发中心，快速、低成本地成功解决原系统所面临的难题。业务挑战业务挑战 用户增长和新业务需求对CRM核心数据库性能和扩展性带来更大挑战 需要高性能、可扩展、高性价比数据库平台支持未来业务的发展 支持与现有CRM系统的良好兼容性和平滑迁移能力支持100TB级大数据分析及商务智能挖掘能力解决方案解决方案采用分布式存储软件FusionStorage，利用高性能PCIE-SSD、InfiniBand网络，建设彻底打破网络及存储瓶颈 数据分发中心，对周边系统开放数据读写分离，搭建高性能读库，降低主库负载 支持经分、实时营销、报表等DW数据分析及决策支持型业务场景性 客户收益客户收益主库负载降低50%，稳定性大大提高，不需要追加投资实时营销、实时经分等新业务上线速度提升100%数据分发中心提供灵活扩展能力，提升业务性能的同时降低升级与运营成本 未来主库将逐步切换到FusionStorage上 #*7.4 华为携手沃达丰打造分布式数据中心分布式数据中心系统架构分布式数据中心系统架构 私私有有云云数数据据中中心心AZ1AZ2AZn私私有有云云数数据据中中心心AZ1AZ2AZn私私有有云云数数据据中中心心AZ1AZ2AZn本本地地云云服服 务务(EC2/S3/DBaaS/BigData/)门户 &全球云服务 (认证授权/ 计费 / 工作流 / 数据分析 / )本本地地云云服服务务本本地地云云服服务务公公有有云云应应用用类似Dropbox的对象服务 各种WEB应用 大数据分析应用网网络络虚虚拟拟化化应应用用云 IMS 云 EPC 增值业务企企业业IT应应用用 企业协作类应用 企业内容管理类应用 IT 服务管理类应用公公有有云云本地数据中心基础设施系统架构本地数据中心基础设施系统架构 网络存储计算FusionSphere OpenstackKVMFusionEVSThird-Party or Huawei ServervRouterNovaCinderNeutronGlanceKeyStoneCeilometerHeat对象存储(HUAWEIUDS)LBaaSMeterAgentvDHCPLB分布式数