新2019新存储基础知识培训.ppt

《新2019新存储基础知识培训.ppt》由会员分享，可在线阅读，更多相关《新2019新存储基础知识培训.ppt（34页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、存储基础知识培训2存储在数据中心的位置存储服务器硬件网络服务器数据库虚拟化运行库应用安全及整合9000l16控制器lSAS和NVMe盘l最大4TB缓存l最大200/800盘Dorado 5000 V3 Dorado 6000 V3l3288节点l最大60PB容量l最高400GB/s吞吐量FusionStoragel块、文件、对象融合存储lEB级容量扩展l高密设计，单柜2PB+容量 2200 V3/2600 V318500/18800 V5l8 个控制器l最大256GB缓存l最大500 块硬盘l28个控制器l最大1TB缓存l最大750 块硬盘l28个控制器l最大4TB缓存l最大1,500 块硬盘

2、l28个控制器l最大8TB缓存l最大3,200 块硬盘5300 V5/5500 V56800 V55600 V5/5800 V5l216个控制器l最大16TB缓存l最大9600 块硬盘lSPC-1：6,000,000 IOPSl16控制器l最大8TB缓存l最大2400盘l访问延迟低至500s3存储演进的历史：从附属于服务器，剥离成独立系统ServerServer硬盘CPURAMServerServerSCSISCSI卡卡控制器控制器控制器控制器CPU硬盘RAM硬硬盘盘在服在服务务器内部器内部RAIDRAID功能功能JBOD(Just a Bunch Of Disk)JBOD(Just a Bu

3、nch Of Disk)CPU硬盘RAMServerServerSCSISCSI卡卡外部硬外部硬盘阵盘阵列（列（DAS)DAS)智能硬智能硬盘阵盘阵列列(DAS)(DAS)控制器中包含RAID功能、大容量Cache，同时使得磁盘阵列具有多种实用的功能，配置专用管理软件进行配置管理在逻辑上把几个物理磁盘串联在一起，其目的纯粹是为了增加磁盘的容量，并不提供数据安全保障。局限性：局限性：硬盘成为系统性能瓶颈 有限硬盘槽位，容量小 单硬盘存放数据，可靠性差 存储空间利用率低 本地存储，数据分散 解决解决问题：有限硬盘槽位，容量小 单硬盘存放数据，可靠性差解决解决问题：硬盘成为系统性能瓶颈 有限硬盘槽位

4、，容量小 单硬盘存放数据，可靠性差解决解决问题：硬盘成为系统性能瓶颈 有限硬盘槽位，容量小 单硬盘存放数据，可靠性差 存储空间利用率低 本地存储，数据分散 多个多个应用服用服务器器NASSAN应用服用服务器器文件系文件系统应用服用服务器器文件系文件系统文件系文件系统RAIDRAID4机械盘5企业SSD盘就是一套迷你存储，麻雀虽小五脏俱全6固态盘SSD硬件结构原理CELL结构n电子被困在浮置栅极中，电子的多少表示不同的数值n擦除过程：漏极/源极加电压，将电子拉出浮置栅极n写入过程：在控制栅极上加高电压，电子进入浮置栅极n读过程：在源极和漏极之间加不同的电压，测试导通状态n由于CELL大小、CEL

5、L间干扰的限制，2D芯片单位面积的容量受限n3D NAND技术当前已经商用48层，明年商用64层n无高速旋转部件，性能高，功耗低n后端支持多通道/多CE并发n一次可响应多个IO请求n典型响读应延迟约为50usDDR内存备电单元SAS接口FLASH12G SAS/NVMe多通道并发SSD控制器SSD架构框图3D NAND架构7业界改良式Storage Pool架构：RAID1.0DISKRAIDCELLVolume系系统可靠性降低：可靠性降低：Pool可靠性降可靠性降为单RAID组的的1/N8业界革命式Storage Pool架构：RAID2.0+DISKRAIDCELLVolumeLUN性能提

6、升性能提升+重构速度提升重构速度提升9集中式存储架构l将多个LUN的负载或者同一个LUN的负载均衡在两个控制器上，避免性能瓶颈l一控制器故障时，另一控制器在主机多路径软件配合下接管业务负载，确保不中断l写入数据在双控CACHE中各保存一份，避免单控故障导致数据丢失。l每个控制板的后端分别接入物理磁盘的环路业务负载均衡，提升整体系统性能镜像通道硬盘通道CPUCPUCPUCPUServerFC SAN10集中式存储硬件5500 V5/5300F V5/5500F V55300 V55300 V5/5500 V5/5300F V5/5500F V55300 V5/5500 V55600 V5/580

7、0 V5/5600F V5/5800F V55600 V5/5800 V5/5600F V5/5800F V56800 V5/18000 V5/6800F V5/18000F V56800 V5/18000 V5/6800F V5/18000F V511集中式存储软件Device Manager：单设备管理eSight：数据中心内跨领域多设备管理ReplicationDirector：数据中心间容灾简捷管理软件数据保护软件HyperSnap：基于增量的本地数据保护HyperClone：完整副本的本地数据保护HyperCopy：设备间的数据保护HyperReplication:数据中心间的容灾保

8、护HyperMetro：双活数据中心保护效率提升软件EMCHDSIBMHW SmartVirtualization数据跨系统流动SmartTier数据垂直流动SmartMotion数据水平流动SmartThin自动精简配置SmartQoS智能服务质量控制SmartPartition智能缓存分区SmartDedupe&SmartCompression 智能数据重删压缩SmartCache 智能SSD缓存APPAPPAPPSmartMulti-tenant多租户SmartMigrationLUN迁移SmartErase数据销毁12分布式存储架构NFSCIFSFTPHDFSiSCSISCSIS3/S

9、wiftNDMPCommodity HardwareFusionStorage FileFusionStorage BlockSnapshotQuotaTierWORMReplicationSnapshotQuotaDedupThinProvisionCloneQuorum ECRSM Copy Load BalanceData LayoutData RecoveryResource Pool LayerAccess LayerData Service LayerDSSOMSAlarmTopologyResourceReportAnalysisTenant MgmtSLA MgmtServic

10、e OrchestrationService ReleaseReplicationFusionStorage Object13各类产品适用场景集中式存储分布式存储数据库虚拟化灾备海量文件公有云HPC双活主备容灾两地三中心备份视频监控节目制作VDI票据影像生命科学石油勘探流体力学碰撞分析14SAN、NAS 和 Object存储对比Fibre Channel/(iSCSI)协议层存储层NFS/CIFS/POSIXFile SystemObjectObject SystemObjectKeyMetadatadataUser defined meta-dataHTTP/REST/SOAP/S3Obje

11、ctObjectObjectObjectl直接数据访问，最低资源消耗，最高效率l无数据语义，裸设备访问模式l应用场景：低延时，少共享（不强调权限管理），如Oraclel共享文件和文件夹，树形结构，文件数量越多，目录层数越多l文件访问l应用场景：广泛共享基于文件的服务l扁平化结构，系统由用户管理，用户间数据隔离l用户可以创建桶（就像文件夹）和上传或下载对象，可通过转发链接分享数据l应用场景：互联网服务存储，数据归档或备份bucketbucketbucket15SAN存储网络顶层协议传输层协议物理层接口SCSI(面向机械盘)SCSISCSIFC FCSASSASTCP(over IP)Ethern

12、etRDMA oE/oIBInfinibandNVMe(面向固态盘)PCIEPCIe standardM.2U.2RDMAInfinibandEthernetFC FCATA(面向桌面盘)ATAIDESATASATAM.2SNS222412,24端口端口SNS224824,36,48端口端口SNS309648,72,96端口端口SNS5384最大最大512端口端口SNS5192最大最大256端口端口16存储的可靠性LEVEL1 模块级可靠性LEVEL2 系统级可靠性LEVEL3 方案级可靠性通过数据保护功能和容灾方案，解决系统级的数据保护和容灾通过系统级可靠性设计，提供系统内的故障自愈和数据完

13、整性保护保证模块本身的可靠性快照克隆主备容灾双活两地三中心硬件冗余RAID2.0+T10 PI硬盘巡检器件可靠性硬盘抗震整柜运输硬盘防腐多路径后端环路风扇震动隔离掉电保护缓存镜像NVRAM四控冗余SSD可靠性17存储的性能硬盘类型推荐随机IOPS/4K推荐随机IOPS/8K推荐随机IOPS/16K推荐随机IOPS/32K推荐随机IOPS/64K推荐读带宽推荐写带宽SSD140008500600030002300806010K SAS160150130110100302015K SAS19019018016014035252TB/3TB/4TB/6TB 7.2K NL SAS9080706560

14、25158TB/10TB 7.2K NL SAS1101009085803020RAID类型RAID利用率RAID读惩罚RAID写惩罚RAID0111RAID1-N1/N1NRAID100.512RAID3-N(N-1)/N14RAID5-N(N-1)/N14RAID6-N(N-2)/N16SPC-1eDesigner评估：http:/ SAS端口3端口Link/Active指示灯4模块拉手5端口模式标签 12Gb SAS1234512端口4*12Gb SAS共享IO模块19高端存储关键技术2Cache持续镜像正常情况一个控制器故障(如A控)再坏一个控制器(如D控)l如图所示，当A控故障，控制

15、器B的Cache数据会选择控制器C或者D做缓存镜像，当控制器D再故障，控制器B和C做缓存镜像。l当一个控制器故障时，其承载的业务快速切换到镜像控制器，剩余的控制器重新建立镜像关系，确保所有的控制器的缓存仍然有镜像。业务请求可以保持回写而不是透写，保障了控制器故障后的性能，同时写入Cache的数据有镜像冗余保障了系统的可靠性。20Dorado关键技术一：全条带ROW写闪存存阵列控制器列控制器无性能无性能损失，失，SSD寿命延寿命延长3倍倍完整的RAID条带写入随机数据块ROW重定向刷盘旧块标记为待回收PQPQPQPQ传统存存储控制器控制器等待刷盘的数据块写入随机数据块先读出旧数据和校验重算校验再

16、写入硬盘读3次，写3次PQPQ21Dorado关键技术二：重删压缩Dorado V3XtremIOHP 3PARNetapp AFFEMC Unity FHDS VSP F特性竞争力重删重删时刻在线在线在线在线，实为后处理不支持后处理重删粒度4KB/8KB定长8KB定长16KB定长4KB定长NA8KB定长重删范围全局全局全局（CPG）全局NAPool级别Hash算法弱HashSHA1（强）SHA256（强）SHA1（强）NASHA1逐字节对比有无有有，可选NA有压缩压缩时刻在线在线实际不可用在线在线在线,FMD盘压缩粒度4KB/8KB8KB定长NA8KB定长512Byte压缩算法lz4lz4N

17、Alzolz4重删与压缩兼容先重删后压缩，可单独开启先重删后压缩，强制同时开启只重删，创建时开启先重删后压缩NA可单独开启缩减对象LUNLUNThin dedupe VolumeFlexVolLUN全局硬件加速无无ASIC无无FMD加速缩减率对比22概念 虚拟快照是指源数据在某个时间点的一致性数据副本。快照技术的一种（一般指虚拟快照和LUN克隆），虚拟快照依赖于源LUN。技术特点l瞬间生成：存储系统可以在几秒钟内生成一个快照，获取源数据的一致性副本。l占用存储空间少：生成的快照数据并非完整的物理数据拷贝，不会占用大量存储空间。所以即使源数据量很大，也只会占用很少的存储空间。应用场景l快速数据备

18、份和恢复（应对误删、病毒等）l数据持续保护l数据分析、测试1.虚拟快照激活之前，数据写入动作不变abc源LUN资源空间2.虚拟快照被激活，创建映射表，记录数据映射关系1234567映射表d3.写前拷贝，新数据写入时，先将源LUN的旧数据块写入资源空间同时修改映射表，再将新数据写入源LUNx4.源LUN该位置数据块再次被修改时，新数据直接覆盖y5.快照回滚d快照点非快照点快照时间点的数据HyperSnap工作原理efgHyperSnap（虚拟快照）23HyperClone工作原理1.在初始同步时主LUN收到生产主机写请求，需要检查同步进度；2.若要写入位置的数据块尚未拷贝到从LUN，只需要写主L

19、UN即可返回主机成功，稍后利用同步任务将整个数据块同步到从LUN；3.若要写入位置的数据块已经拷贝，需要分别写入主从LUN；4.若要写入位置的数据块正在拷贝，需要等待该数据块拷贝完成后分别写入主LUN和从LUN；5.初始同步完成后可以将主、从LUN分裂，这时主、从LUN都可以用于独立的数据分析及测试，主、从LUN数据的变化互不影响，只是用进度位图记录对应数据块的变化。优势和应用场景主LUN损坏从LUN不受影响，一个主LUN可以有多个从LUN主要用于数据备份和保护、数据测试分析主LUN从LUN00111111进度位图abcdefg hiabc初始同步j k已拷贝完成的块位图为“0”，未拷贝完成和

20、正在拷贝的位图为“1”jjk0el l0fg hi分裂mn000011相同块位图为“0”，不同块位图为“1”HyperClone工作原理概念 克隆是快照技术的一种，是源数据在某个时间点的完整副本，是一种可增量同步的备份方式。0HyperClone（LUN克隆）24 概念 远程复制技术的一种，存储间实时的同步数据，最大限度保证数据的一致性，以减少灾难发生时数据的丢失量。HyperReplication/S工作原理l建立同步远程复制之初，会启动一个初始同步，也就是将主LUN 数据全量拷贝到从LUN；l初始同步完成以后，如果此时主LUN 收到生产主机写请求，按照如下流程进行I/O 处理：1.主站点接

21、收生产主机写请求，记录这个I/O 对应数据块的差异日志值为“有差异”；2.主站点将写请求的数据写入主LUN（LUN A），同时利用配置好的链路将写请求发送到远端从站点；3.判断写LUN A和写LUN B的执行结果，如果都成功，则将差异日志改为“无差异”，否则保留“有差异”，在下一次启动同步时重新拷贝这一个数据块；4.向主机返回写请求完成。同步远程复制CacheCacheCacheCacheLUN ALUN B主站点从站点12223334HyperReplication/S工作原理优势和应用场景l零数据丢失l复制比可达64:1（同步远程复制+异步远程复制之和）l主从存储可互为镜像l适用于本地或同

22、城数据容灾l同步远程复制链路自适应:根据链路情况同步、异步传输模式互转l远程复制的源LUN支持快照的回滚HyperReplication/S（同步远程复制）25 概念 远程复制技术的一种，存储间周期性地同步数据，最大限度减少由于数据远程传输的时延而造成的业务性能下降。HyperReplication/A工作原理l建立异步远程复制之初，会启动一个初始同步，也就是将主LUN 数据全量拷贝到从LUN；l初始同步完成以后，开始按照下面的流程进行I/O 处:1.每个复制周期启动时在主LUN（LUN A）和从LUN （LUN B）的缓存中产生新的时间片（TPN+1 和 TPX+1）；2.主站点接收生产主机

23、写请求；3.主站点将写请求的数据写入Cache 时间片TPN+1 中，立即响应主机写完成；4.同步数据时，读取前一个周期主LUN A Cache 时间 片TPN 的数据，传输到从站点，写入LUN B Cache 时间片TPX+1 中；若主站点Cache写缓存达到高水位时会自动刷盘，此时时间片TPN 的数据会在盘上生成快照；5.同步时已刷盘的数据从快照中读取并复制到LUN B。异步远程复制CacheCacheCacheCacheLUN ALUN B主站点从站点125354N+1N+1N NX+1X+1X X1采用创新的多时间片缓存技术实现秒级RPO秒级RPO实现异步远程复制工作原理优势和应用场景

24、l性能影响较小，RPO可达到5秒l复制比可达64:1（同步远程复制+异步远程复制之和）l主从存储可互为镜像l适用于本地、同城、异地数据容灾l远程复制的源LUN支持快照的回滚HyperReplication/A（异步远程复制）26卷镜像是一种数据冗余备份技术，可以为一个LUN创建多个镜像物理副本，对LUN提供持续的冗余备份保护，从而提高单个LUN的可靠性和可用性。功能原理l创建镜像LUN：将一个本地LUN或外部LUN变成镜像LUN，同时生成一个镜像副本；再为镜像LUN添加一个镜像副本，形成冗余备份l同步：初始同步：当创建镜像LUN后，将镜像LUN中的数据全部拷贝到镜像副本中，之后对镜像LUN、镜

25、像副本进行双写增量同步：当镜像副本从“分裂”或“异常断开”中恢复“正常”时，待恢复的镜像副本会增量拷贝镜像LUN变更的数据l分裂：分裂出去的镜像副本数据不可用，未分裂出去的镜像副本数据可用HyperMirror（卷镜像）27应用特点（Web-App-DB三层结构）对外提供域名访问；逻辑架构端到端双活数据中心逻辑架构DCADCBClientClientSLBSLB用户A主路径用户A备路径用户B主路径用户B备路径主DNS请求跨DC 存储集群GSLBDNS请求GSLB备DNS请求跨DC DB集群存储层双活DB层双活建议采用物理机部署跨DC的多台DB服务器组成一个集群Web、App层双活建议采用虚拟机

26、部署；DC内的Web应用服务器(weblogic)组成一个虚拟化集群；Web服务器(apache)采用单机负载均衡层SLB将本DC内的客户负载分担到多个Web服务器；GSLB将不同客户负载分担到两个DC；HyperMetro组网跨数据中心的存储集群GSLB：Global Server Load BalancingSLB：Server Load Balance集群集群2832MB32MB32MB32MB8KB数 据 量：32KB分配空间：256KB数 据 量：32KB分配空间：128MB利用率提升数50倍8KB8KB8KB8KB8KB8KB8KB1.写操作Thin LUN2、查询映射表，进行分配

27、或修改Pool用时再分配空间分配物理空间存储实际数据技术原理l写时分配：当分配空间不足时，默认以64KB粒度补配空间l映射表：逻辑单元和物理单元（即默认64KB粒度）之间通过映射表关联l读写重定向：通过映射表将读写逻辑单元的IO重定向到物理单元技术优势l高效分配策略：64KB分配粒度，针对小数据块场景，分配效率更高l多 样 回 收 机 制：支 持 VMware VAAI命 令 回 收、Symantec Storage Foundation命令回收、Windows Server 2012命令回收、全零页面检测回收SmartThin（智能精简配置）29EMCIBM本地高可用统一资源管理SmartV

28、irtualizationSmartVirtualizationHUAWEI 异构存储数据迁移，数据可用l异构存储数据迁移，将数据从陈旧存储系统上迁出，保证数据的可用性l跨级存储数据迁入，利用企业级功能特性，改善原有数据的存储效能l跨级存储数据迁出，将不活跃数据迁移至廉价存储上，降低TCO结合卷镜像，本地高可用方案l异构存储LUN与本地LUN做卷镜像，冗余保护数据迁移数据整合HDSSmartVirtualization（智能异构虚拟化）30定长数据块到来，大小和Thin LUN块大小一致数据写入存储磁盘主机写数据数据重删、压缩处理数据重复删除处理SHA1计算指纹查找比对指逐字节比对（可选）数据

29、压缩处理，将重删之后的块压缩保存用户可以自行配置压缩策略压缩数据块粒度：8KB/12KB/16KB20KB/24KB/28KB/32KB自适应 当新写入的数据块大于32KB时，存储系统直接进行压缩处理。当新写入的数据块小于32KB时，存储系统将写入的多个数据块根据数据块，自适应集合在一起压缩。压缩策略：Fast：没有配置硬件加速卡时，系统默认的压缩策略，该方法压缩速度快，但与Deep策略相比压缩后空间节省效率低一些，采用业界常用的LZ4算法；Deep：配置硬件加速卡时，系统默认的压缩策略；该策略可以获得空间节省效率的明显提升，但压缩和解压需要花费更长的时间，采用业界常用的ZLIB算法。重删、压

30、缩可以分开单独开启配置；重删压缩同时开启后，先重删后压缩，获取更高的缩减效果。SmartDedup&SmartCompression（重删&压缩）31eDesigner 操作演示32最好的学习途径静下心来，看技术白皮书！西瓜哥微信公众号：高端存储知识存储营销装备库：3MS：http33行业SA名单接口行业SA工号中国区总负责卢建刚00266832金融-组长李毕生00317227金融-业务部王明迪00190808金融-业务部李振军00333022金融-业务部刘裕生00327019金融-上海谭华00333304金融-深圳梁山虎00245741金融-广州于电亮90005999政府张超00419521

31、政府曾德鹏90004550政府王英骧00334874接口行业SA工号政府袁佩飒00356509公安蔡晶烨400163公安冯亮00171627大企业程川军00291014大企业梁尚冬00376873电力古超00400909医疗、广媒于鹏佳00168425医疗、广媒邓继卓00431578交通廖智90006123广州张伟光00200168深圳张声杰90006230THANK YOUCopyright2017 Huawei Technologies Co.,Ltd.All Rights Reserved.The information in this document may contain pred

32、ictive statements including,without limitation,statements regarding the future financial and operating results,future product portfolio,new technology,etc.There are a number of factors that could cause actual results and developments to differ materially from those expressed or implied in the predictive statements.Therefore,such information is provided for reference purpose only and constitutes neither an offer nor an acceptance.Huawei may change the information at any time without notice.