NetAppDataOntap核心基础技术技术工程师培训(共79张).pptx
《NetAppDataOntap核心基础技术技术工程师培训(共79张).pptx》由会员分享,可在线阅读,更多相关《NetAppDataOntap核心基础技术技术工程师培训(共79张).pptx(79页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、1NetApp Confidential - Internal Use OnlyDataOntap核心技术 2008 NetApp. All rights reserved.Data OntapNetApp统一存储架构统一存储架构 2008 NetApp. All rights reserved.ApplicationOSSecurityVolume Mgmt (RAID)NTFS/UFSDisk Drivers通用操作系统通用操作系统核心技术:专用操作系统核心技术:专用操作系统DataOntapl70万万 行代码,代码精炼行代码,代码精炼l功能不多,但是专注于数据存功能不多,但是专注于数据存
2、储,因为专所以高效储,因为专所以高效l对病毒免疫对病毒免疫专用操作系统专用操作系统DataOntapl5000 万行代码,代码庞杂万行代码,代码庞杂l功能繁多,但是大部分和数据存储功能繁多,但是大部分和数据存储无关,从而影响数据存储性能无关,从而影响数据存储性能l开放系统,容易受病毒攻击开放系统,容易受病毒攻击WAFL 2008 NetApp. All rights reserved.2022-4-26NetApp Confidential - Do Not Distribute4专用操作系统和文件系统专用操作系统和文件系统-WAFL 2008 NetApp. All rights reser
3、ved.高效支持所有协议高效支持所有协议 NetApp LUNs 是在Flex vol之内建立的具备磁盘块属性的数据对象ted within FlexVol volumes. NetApp在SAN环境和NAS环境提供同样的存储效率 通过 NetApp的统一架构, 单一系统可以提供SAN和NAS功能,并且易于再配置和改变应对业务挑战Disk DriveData ONTAP Logical ViewRAID GroupAggregateFlexVolLUNSATARAID-DPThin ProvisioningThin ReplicationSnapshot CopiesVirtual Copie
4、sDeduplicationAbstraction LayerEfficiency Feature 2008 NetApp. All rights reserved.存储单元划分存储单元划分Aggr0Aggr1vol0vol1vol2vol3物理磁盘物理磁盘Aggregate(RAID组集合组集合)FlexvolLUN物理层面物理层面逻辑层面逻辑层面 2008 NetApp. All rights reserved.存储单元名称与定义存储单元名称与定义 Aggregate 每个控制器必须有独立的Aggregate 可以包含一个或多个RAID组 Volume NAS存储单元 虚拟化逻辑单元,可以
5、动态缩放(20MB16TB) WAFL文件系统结构 LUN SAN/IPsan 存储单元 虚拟化,可以动态缩放 数据格式由主机定义 2008 NetApp. All rights reserved.Data OntapNetApp统一存储架构统一存储架构NetApp Raid 技术详解技术详解 2008 NetApp. All rights reserved.1137222149 为什么其他厂商不提供为什么其他厂商不提供RAID4支持,支持,RAID4本身存在什么不足本身存在什么不足? Netapp如何解决如何解决RAID4本身的不足本身的不足?39122133211122588123 33+
6、1+2+3=99-3-1-3=211512DDDDP不管是不管是RAID4还是还是RAID5,都是基于单校验技术的,都是基于单校验技术的RAID方法方法,只能,只能防止因一块硬盘故障导致数据失效防止因一块硬盘故障导致数据失效Netapp采用的采用的RAID技术之一:技术之一:RAID4RAID4有一块专用的校验盘有一块专用的校验盘3521211813213713213891222DDDDDRAID5没有专用的校验盘,所有的校验信没有专用的校验盘,所有的校验信息分散存储在所有硬盘上息分散存储在所有硬盘上用户数据用户数据校验数据校验数据图例图例此块数据要从此块数据要从3修改为修改为55 += 11
7、22149修改修改为为2修改修改为为2修改修改为为1修改修改为为4 2008 NetApp. All rights reserved.RAID4:RAID组内添加硬盘不需要进行重构组内添加硬盘不需要进行重构9587P0000D3121113122133122DDDDRAID4有一块专用的校验盘有一块专用的校验盘只要新添加的硬盘所有位都格式化为只要新添加的硬盘所有位都格式化为0,把硬盘添加到,把硬盘添加到RAID4中中就不会改变各个条带的校验值,因此整个就不会改变各个条带的校验值,因此整个RAID组不需要重构组不需要重构 2008 NetApp. All rights reserved.RAID
8、5:RAID组内添加硬盘需要进行重构组内添加硬盘需要进行重构35212118132137132138DDDD91222DRAID5没有专用的校验盘,所有的校验信息分散存储在所有硬盘上没有专用的校验盘,所有的校验信息分散存储在所有硬盘上00000D50827118为了保持为了保持RAID5分散存放校验信息的特点,新硬盘添加到分散存放校验信息的特点,新硬盘添加到RAID组后,整组后,整个个RAID组需要进行长时间的重构,在这段时间内数据没有组需要进行长时间的重构,在这段时间内数据没有RAID保护,且保护,且会严重影响性能会严重影响性能 2008 NetApp. All rights reserve
9、d.D单校验单校验RAID技术的技术的RAID组重构问题组重构问题9587P3121113122133122DDDDRAID4有一块专用的校验盘有一块专用的校验盘9 3 1 3 = 25 1 1 1 = 28 2 3 2 = 17 1 1 2 = 3RAID组的重构,会给用户带来如下的影响:组的重构,会给用户带来如下的影响: 需要较长的时间完成,且硬盘越大,所需的时间越长需要较长的时间完成,且硬盘越大,所需的时间越长 会严重消耗阵列的资源,特别是该会严重消耗阵列的资源,特别是该RAID组内的硬盘读写资源,因此会严重影响性能组内的硬盘读写资源,因此会严重影响性能 在重构期内,整个在重构期内,整个
10、RAID组没有保护,如果再有一块硬盘失效会导致用户数据的丢失组没有保护,如果再有一块硬盘失效会导致用户数据的丢失 2008 NetApp. All rights reserved.312111312213312295877121211DDDDPDP一个一个Raid组内可以同时坏两块硬盘组内可以同时坏两块硬盘数据可靠性比数据可靠性比RAID-4 或或 RAID-5 提高了提高了 4000倍倍Netapp采用的采用的RAID技术之二:技术之二:RAID DP用户数据用户数据水平交水平交验数据验数据对角交对角交验数据验数据图例图例 2008 NetApp. All rights reserved.同
11、样的情况在同样的情况在 RAID-6RAID-6状态下状态下14Up to 5%Up to 2.6%Up to 17.9%FCATAFCATAFCATA17.9%1.7%2.6%.2%5%3%ATALess than 1 in a billion*介质或磁道损坏介质或磁道损坏 + 第二块磁盘损坏的可第二块磁盘损坏的可能性能性 双校验双校验(在16块盘的RAIDDP磁盘组重构期间)Protected withRAID-DP.0000000001%*标准的磁盘更换率标准的磁盘更换率 (每年)*磁盘驱动器介质或磁盘驱动器介质或磁道损坏几率磁道损坏几率(300GB FC / 320GB SATA)*磁
12、盘驱动器介质或磁盘驱动器介质或磁道再有一块盘损坏磁道再有一块盘损坏的几率的几率(在RAID4/5,8块磁盘的磁盘组重构的过程中)*资料来源: Network Appliance 2008 NetApp. All rights reserved.Data OntapNetApp统一存储架构统一存储架构NetApp Raid 技术详解技术详解底底层空间管理技术和性能优化层空间管理技术和性能优化 2008 NetApp. All rights reserved.C底层存储空间管理技术底层存储空间管理技术根根ABD用户数据用户数据此数据需要修改,此数据需要修改,从从C修改为修改为C空闲空间池空闲空间池
13、 2008 NetApp. All rights reserved.CC其它厂商底层存储空间管理技术在用户数据修其它厂商底层存储空间管理技术在用户数据修改时所采用的技术改时所采用的技术根根ABD用户数据用户数据空闲空间池空闲空间池在原来位置上直在原来位置上直接利用新数据覆接利用新数据覆盖老数据盖老数据 2008 NetApp. All rights reserved.Netapp先进的底层存储空间管理技术:先进的底层存储空间管理技术:WAFL在用户数据修改时所采用的技术在用户数据修改时所采用的技术根根ABD用户数据用户数据空闲空间池空闲空间池CC1.从空闲空间池分配一个新的数据块从空闲空间池分
14、配一个新的数据块2.把修改以后的数据写入到新分配的数据块中把修改以后的数据写入到新分配的数据块中3.修改指针,从指向老数据块修改为指向新数据块修改指针,从指向老数据块修改为指向新数据块4.老数据块数据不做任何修改,直接返回空闲空间池老数据块数据不做任何修改,直接返回空闲空间池 2008 NetApp. All rights reserved.WAFL:所带来的优越性能:所带来的优越性能硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘校验盘校验盘Netapp WAFL的做法的做法硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘其它厂商的做法(采用其它厂商的
15、做法(采用RAID5)读读读校验数据写入用户数据写入读硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘校验盘校验盘其它厂商的做法(采用其它厂商的做法(采用RAID4)读读读读用户数据写入校验数据写入需要修改需要修改的数据的数据修改以后修改以后的数据的数据需要读取需要读取的数据的数据校验数据校验数据图例图例 刚才遗留的和刚才遗留的和RAID相关的两个问题相关的两个问题为什么其他厂商不提供为什么其他厂商不提供RAID4支持,支持,RAID4本身存在什么不足本身存在什么不足? Netapp如何解决如何解决RAID4本身的不足本身的不足? 会涉及到刚才介绍的单校验的会涉及到刚才介绍的单校验的RAID技术(技术
16、(RAID4或或RAID5)如何进行数据修改的技术)如何进行数据修改的技术 2008 NetApp. All rights reserved.其他厂商:其他厂商:RAID组的大小和性能成反比组的大小和性能成反比硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘6D+1P的的RAID5组:每个数据块的修改都要涉及到其它五块硬组:每个数据块的修改都要涉及到其它五块硬盘相同位置的数据块的读取,然后进行校验计算盘相同位置的数据块的读取,然后进行校验计算硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘3D+1P的的RAID5组:每个数据块的修改只要涉及到其它两块硬组:每个数据块的修改只要涉及到其它两块硬盘相同位置
17、的数据块的读取,然后进行校验计算盘相同位置的数据块的读取,然后进行校验计算需要修改需要修改的数据的数据修改以后修改以后的数据的数据需要读取需要读取的数据的数据校验数据校验数据图例图例RAID组越小,性能越好,因此其他厂商一般都组越小,性能越好,因此其他厂商一般都建议用来存放生产数据的建议用来存放生产数据的RAID5的硬盘组采用的硬盘组采用3D+1P或或4D+1P大小大小 2008 NetApp. All rights reserved.Netapp:RAID组的大小和性能成正比组的大小和性能成正比硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘6D+1P的的RAID4组:每组:每6个数
18、据块的修改只要进行一次校验计个数据块的修改只要进行一次校验计算,只会产生一个校验块算,只会产生一个校验块硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘3D+1P的的RAID4组:每组:每3个数据块的修改就要进行一次校验计个数据块的修改就要进行一次校验计算,产生一个校验块,这样算,产生一个校验块,这样6个数据快的修改就要进行两次校个数据快的修改就要进行两次校验计算,产生两个校验块验计算,产生两个校验块需要修改的数据需要修改的数据修改以后的数据修改以后的数据需要读取的数据需要读取的数据校验数据校验数据图例图例RAID组越大,性能越好,因此组越大,性能越好,因此Netapp一般建议用户的一般建议用户的RAID4硬
19、盘组至少采用硬盘组至少采用6D+1P的大小的大小 2008 NetApp. All rights reserved.22DataDataDataDataParityParityDataWAFL 无需预先分配空间(元数据和数据同样对待),写条带条带到最近的可用块.条带化到最近的可用块减少磁盘寻道,达到最好的磁盘性能,避免热点攀的产生!WAFL将随机写转换成大的顺序写!WAFL 文件系统和文件系统和 Data ONTAP OS结合结合高性能高性能RAID-6 (RAID-DP)D D D DP PD D D DP PD D D DP PD D D DP P4K blocks,parity calc
20、ulatedin memoryIncoming WritesNVRAM传统的文件系统(NTFS, UFS, FAT32等),将数据写到预先分配好的位置,导致“热点校验”磁盘DataDRAM 2008 NetApp. All rights reserved.Data OntapNetApp统一存储架构统一存储架构NetApp Raid 技术详解技术详解底底层空间管理技术和性能优化层空间管理技术和性能优化NetApp快照快照 恢恢复和克隆复和克隆 2008 NetApp. All rights reserved.快照快照数据数据生产生产数据数据有数据快照的情况有数据快照的情况没有数据快照的情况没有
21、数据快照的情况Netapp数据快照技术:数据快照技术:SnapshotABCD空闲空间池空闲空间池生产生产数据数据ABC空闲空间池空闲空间池DDD用户最关心的和数据快照相关的两个问题:用户最关心的和数据快照相关的两个问题:数据快照对性能的影响程度数据快照对性能的影响程度数据快照所需消耗的存储空间数据快照所需消耗的存储空间 2008 NetApp. All rights reserved.快照快照数据数据生产生产数据数据有数据快照的情况有数据快照的情况没有数据快照的情况没有数据快照的情况其它厂商的数据快照技术其它厂商的数据快照技术ABCD用户数据用户数据生产生产数据数据ABC用户数据用户数据数据
22、快照专数据快照专用存储空间用存储空间DDDD 2008 NetApp. All rights reserved.不同的数据快照实现的性能差别不同的数据快照实现的性能差别CX500 performance with their snapshots goes to 6TB 2008 NetApp. All rights reserved.Netapp的的FlexVol技术提高了存储空间的使技术提高了存储空间的使用率用率80%利用率利用率Reclaimed SpaceAvailable for Growth 2008 NetApp. All rights reserved.FlexVol提升提升 I
23、/O 性能性能原有的架构原有的架构4 卷的性能被它的磁盘数量卷的性能被它的磁盘数量限制限制4 “热点热点”卷不能从其他卷卷不能从其他卷的磁盘上取得帮助的磁盘上取得帮助NetApp FlexVol的技术的技术4 各个卷可以共享所以磁盘各个卷可以共享所以磁盘的聚合性能的聚合性能 2008 NetApp. All rights reserved.Netapp的的Flexvol技术所采用的先进的存储技术所采用的先进的存储空间组织方式空间组织方式RG1RG2RG3磁盘磁盘LUN图例图例应用主机应用主机1应用主机应用主机N1. 所有硬盘先分成所有硬盘先分成相应的相应的RAID组组2. 所有的所有的RAID
24、组组组成存储池组成存储池3. 在存储池上面创在存储池上面创建建LUN 2008 NetApp. All rights reserved.Netapp的的Flexvol技术完全消除了访问热点技术完全消除了访问热点的产生,充分发挥了存储系统的潜在性能的产生,充分发挥了存储系统的潜在性能RG1RG2RG3磁盘磁盘LUN图例图例主机主机IO应用主机应用主机1应用主机应用主机N主机所有的主机所有的IO都都平均分散在阵列平均分散在阵列所有的硬盘上,所有的硬盘上,彻底消除了阵列彻底消除了阵列访问热点问题访问热点问题 2008 NetApp. All rights reserved.软件产品和功能介绍软件产品
25、和功能介绍 Netapp创新的创新的RAID技术技术 专用操作系统专用操作系统(Dataontap)和底层存储空间管理技术和底层存储空间管理技术(WAFL) 先进的数据快照先进的数据快照(Snapshot)和快速恢复和快速恢复(Snaprestore)技术技术 先进的存储空间分配和组织技术先进的存储空间分配和组织技术(Flexvol) 先进的数据克隆技术先进的数据克隆技术(Flexclone) 应用系统存储访问优先级控制技术应用系统存储访问优先级控制技术(Flexshare) 先进的基于磁盘阵列的数据容灾技术先进的基于磁盘阵列的数据容灾技术(Snapmirror) 2008 NetApp. A
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- NetAppDataOntap 核心 基础 技术 工程师 培训 79
限制150内