存储技术基础知识.pdf
《存储技术基础知识.pdf》由会员分享,可在线阅读,更多相关《存储技术基础知识.pdf(88页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、华普信息技术有限公司存储技术基础知识版本:1.1审 批 人:文档控制变更记录日期 作者 版本 变更描述2010-02-18王守能1.0创建文档2011-07-03王守能1.1修改文档审阅人姓名职位发行拷贝号姓名地址123目录第 1 章 磁盘原理与技术详解.81.1 磁 盘.81.2 影响磁盘的指标.91.3 条带化的磁盘.91.3.1 条带化.101.4 同步10、异步1 0.101.5 LUN.11第 2 章 RAID技术.112.1 RAID 概述.112.2 RAID 级别.112.2.1 RAID0.112.2.2 RAID1.122.2.3 RAID2.132.2.4 RA1D3.1
2、32.2.5 RAID4.152.2.6 RAID5.152.2.7 RAID6.162.2.8 RAID-DP.172.2.9 RAID10.172.2.10 RAID01.182.2.11 JBOD.192.3 不同RA I D 级别对比.1 9第 3 章 卷管理及文件系统.2 23.1 逻辑磁盘.2 23.2 卷管理.2 23.3 什么是文件系统.2 33.4 主流文件系统和特点.2 43.5 N F S和 C I F S网络文件系统工作原理和特点.2 63.6 存储系统与文件系统的关系.2 7第 4 章 存储主要协议和相关技术.2 84.1 F C (FIBRE CH A N N EL
3、)协议.2 84.2 F C 适配器.2 94.3 SC SI.2 94.4 SC SI 迁移至ij F C.3 04.4.1 引入F C后 的 提 升:.3 14.5 I SC SI.3 2第 5 章 网络存储技术概述.3 35.1 概 述.3 35.2 D A S:直接附加存储.3 45.3 N A S:网络附加存储.3 55.4 SA N:存储区域网络.3 75.4.1 什么是 SA N?.3 75.4.2 SA N 的误区.3 85.4.3 SA N 的组成.3 85.4.4 FC SAN 的问题.395.4.5 IP SAN.405.5 SAN 和 NAS.415.5.1 SAN 和
4、 NAS 的区分.415.5.2 SAN 和 NAS 的定位.425.5.3 SAN 与 NAS 的结合.445.5.4 IP SAN 和 NAS 的定位.44第 6 章 磁盘阵列.456.1 磁盘柜、磁盘阵列.45第 7 章 主机系统高可用技术.467.1 概 述.467.1.1 双机热备份方式.467.1.2 双机互备份方式.517.1.3 群集并发存取方式.537.2 工作模式.557.2.1 双机热备份方式.557.2.2 双机互备方式.557.2.3 群集并发存取方式.557.3 适用场合.567.4 对存储系统的要求.56第 8 章 数据一致性.578.1 数据一致性概述.578.
5、2 CACHE引起的数据一致性问题.588.3 时间不同步引起的数据一致性问题.598.4 文件共享中的数据一致性问题.59第 9 章 数据复制与容灾.609.1 灾难恢复/业务连续性.609.2 数据备份系统.639.2.1 数据备份.639.2.2 数据复制.659.3 数据一致性.679.4 总 结.68第 10章 备份技术.6910.1 什么是备份.6910.2 备份与拷贝、归档的区别.6910.3 常规备份的实现方式.6910.4 LA N FREE 和 SERVERLESS 备份.7110.5 主流备份软件和介质.7210.6 备份技术新趋势.75第 11章 存储连接设备.7811
6、.1 H B A 卡介绍.7811.1.1 FC HBA 相 关 知 识:.7811.1.2 主要HBA卡厂商.7911.1.3 iSCSI HBA 相 关 知 识:.7911.1.4 iSCSI HBA和TOE网卡主要厂商.8011.2 FC连接设备介绍.801 1.2.1 FC HUB 相 关 知 识:.801 1.2.2 FC Switch 相关知识:.801 1.2.3 FC Director 相关知识:.801 1.2.4 iSCSI-FC 存储路由器.811 1.2.5 FC Switch 和FC Director 主要厂商.81第12章 信息生命周期.821 2.1 什么是信息生
7、命周期.821 2.2 信息生命周期的实现.831 2.3 实现ILM的技术保障和面临的挑战.8312.4 信息生命周期管理现状.831 2.5 法规遵从与信息生命周期管理.841 2.6 与信息生命周期相关的存储技术.841 2.6.1 固定内容管理.841 2.6.2 WORM.841 2.7 怎样看待信息生命周期管理.85第13章 其他存储技术及标准.851 3.1 SMI-S.8513.2 CDP(持续数据保护).8613.3 虚拟存储.8613.4 网格计算.8713.5 高性能计算.8713.6 负载均衡.87第1章磁盘原理与技术详解1.1磁盘磁盘:磁盘被逻辑划分为磁道、柱面以及扇
8、区。1 .盘面:磁盘每一个盘片都有两个盘面,即上、下盘面,每个盘面都能利用,都可以存储数据,成为有效盘片,按从上到下的顺序从0开始依次编号,盘面号又叫磁头号。2 .磁道:磁盘在格式化时被划分为许多同心圆,这些同心圆轨迹叫做磁道。磁道从最外圈向内圈从0开始顺序编号。3 .扇区:磁道不是连续记录数据的,而是被划分成一段段的圆弧,这些圆弧角速度一样。每段圆弧叫做一个扇区,扇区从1开始编号,每个扇区中的数据作为一个单元同时读出或写入,是1 0的最小单位。扇区最小的单位是5 1 2字节。4 .柱面:所有盘面上的同一磁道,在竖直方向上构成一个圆柱,通常称作柱面。每个圆柱上的磁头由下而上从0开始编号。数据的
9、读写是按照柱面进行,即磁头读写数据时首先在同一柱面内从0磁道开始进行操作,依次向下在同-柱面的不同盘面(即磁头)上进行操作。只有在同一柱面所有的磁头全部读写完毕后磁头才转移到下一柱面,因为选取磁头只需要通过电子切换,而选取柱面则必须通过机械切换,即寻道、换道。5 .编址方式:柱面、磁头、扇区三者简称C H S,扇区的地址乂称为C H S地址。现在C H S编址方式已经不在使用,而转为L B A编址方式。L B A编址方式不再划分柱面和磁头号,这些数据由磁盘自身保留,而磁盘对外提供的地址全部为线性的地址,即 L B A 地址。所谓线性,指的是把磁盘想象成只有一个磁道,这个磁道是无限长的直线,扇区
10、为这条直线上的等长线段,从 1开始编号,直到无限远。6.1 0:磁盘读写的时候都是以扇区为最小寻址单位的,也就是说不可能往某个扇区的前半部分写入一段数据,每次磁头连续读写的时候,只能以扇区为单位。对于磁盘来说,一次磁盘的连续读或者写叫做一次1 0。1.2影响磁盘的指标i.影响磁盘性能的因素:转速,转速是影响硬盘连续i o 时吞吐量性能的首要因素。寻道速度,寻道速度是影响磁盘随机1 0 性能的首要因素。单碟容量,容量高密度就越大,在相同的转速和寻道速度条件下,会显示出更高的性能。接口速度,接口速度都已经能满足从磁盘所能达到的最高外部传输带宽。2.I 0 P S:每秒能进行多少次1 0,每次1 0
11、 根据写入数据的大小,这个值也不是固定的。如果在不频繁换道的情况下,每次1 0 写入很大的一块连续数据,则此时每秒所做的1 0 次数是比较低的。如果磁头频繁换道,每次写入数据比较大的话,此时I 0 P S 应该是这块硬盘的最低数值。如果在不频繁换道的条件下,每次写入最小的数据块,比如5 1 2 字节,那么此时的I 0 P S 将是最高值。1.3条带化的磁盘-提 示:一个1O操作,控制器是同时对RAID0所有的盘进行读写。控制器首先把每块硬盘要写入或者读取的数据计算好,然后由控制器同时驱动所有的硬盘同时进行读写。而不是读写完一个硬盘再读写下一个硬盘,请区分。磁盘上实实在在存在的只有扇区结构,S
12、t r i p e并不是一个实实在在的结构,它只是由程序根据算法公式现套现用的。另外,条带化之后的多块硬盘,数据是被并行写入所有磁盘的,也就是多管齐下,而不是横向写满一个条带,再写下一个条带。1.3.1条带化条带:在磁盘相同偏移处横向逻辑分割,形 成S t r i p ee,条带完全是由程序在内存中虚拟出来的,说白了就是一个m a p公式。条带深度:一个条带所占用的单块磁盘上的区域,条带深度为整数倍的扇区容量。条带长度:一个条带横跨过的扇区或块的个数或字节数,就是条带长度。条带化后的写数据:条带化之后的多块硬盘,数据是被并行写入所有磁盘的,也就是多管齐下,而不是横向写满一个条带,再写下一个条带
13、。一 提 示:一般文件系统常用的是以4K B为一个块。如果随机小块1 0 多,则适当加大条带深度,如果连续大块1 0 多,则适当减小条带深度。1.4 同步10、异步10 同步i o:是指程序的某一个进程或者线程,如果某时刻调用了同步i o接口,则1 0请求发出后,这个进程或者线程必须等待1 0路径上的下位程序返 回 的 信 号(不管是成功收到数据的信号还是失败的信号),如果不能立刻收到下位的信号。则一直处于等待状态,不继续执行后续的代码,被操作系统挂起,操作系统继续执行其他的进程或线程。异 步1 0:异 步1 0请求发出后,操作系统会继续执行本线程或者进程中后续的代码,直到时间片到时或者因其他
14、原因被挂起。异 步1 0模式下,应用程序的响应速度不会受到1 0瓶颈的影响,即使这个1 0很长时间没有完成。虽然应用程序得不到它要的数据,但不会影响其他功能的执行。D i r ec t 1 0:文件系统都有自己的缓存机制,增加缓存就是为了使性能得到优化。而有些应用程序,比如数据库程序,它们有自己的缓存,1 0在发出之前已经经过自己的缓存算法优化过了,如 果 请 求1 0达到文件系统这后,又被缓存起来进行额外的优化,就是多次一举了,浪费时间又降低了性能。所以文件系统提供了另外的一种借口,就 是D i r ec t 1 0接口,调用这种接口的程序,其 他1 0请求、数据请求以及回送的数据将都不被文
15、件系统缓存,而是直接进入应用程序的缓存,这样提升了性能。1.5 LUN人们把硬件层次生成的虚拟磁盘,统一称为“L U N”,不管是不是在SC SI环境下,虽然LU N最初只是SC SI体系里面的一个概念。而由软件生成的虚拟磁盘,统一称为“卷”,比如各种卷管理软件、软 RA ID 软件等所生成的虚拟磁盘。第2章RAID技术2.1 RAID 概述RA ID 为廉价磁盘冗余阵列(Re d u n d a n t A r r a y o f In e x p e n s i v e D i s k s),RA ID技术将一个个单独的磁盘以不同的组合方式形成一个逻辑硬盘,从而提高了磁盘读取的性能和数据的
16、安全性。不同的组合方式用RA ID 级别来标识。RA ID 技术是由美国加州大学伯克利分校D.A.Pa t t e r s o n 教授在1 9 8 8 年提出的,作为高性能、高可靠的存储技术,在今天已经得到了广泛的应用。2.2 RAID 级别RA ID 技术经过不断的发展,现在已拥有了从RA ID 0到 5 等 6 种明确标准级别的RA ID 级别。另外,其他还有6、7、1 0 (RA ID 1 与 RA ID 0的组合)、0 1 (RA ID0 与 RA ID 1 的组合)、30 (RA ID 3 与 RA ID 0 的组合)、50 (RA ID 0 与 RA ID 5 的组合)等。不同R
17、A ID 级别代表着不同的存储性能、数据安全性和存储成本,下面将介绍如下 RA ID 级别:0、1、2、3、4、5、6、0 1、1 0。2.2.1 RA ID 0 优点:i o 性能好,条带化之后的多块硬盘,数据是并行写入所有硬盘的也就是双管齐下,而不是横向写满一下条带再写下一个条带。缺点:没有数据冗余及安全保护机制,坏某一块盘,整个RAID0的数据全部丢失。适用于:RAID0应用于对读取性能要求较高但所存储的数据为非重要数据的情况下。RA ID 0 也称为条带化(s t r i p e),将数据分成一定的大小顺序的写道阵列的磁盘里,RA ID 0 可以并行的执行读写操作,可以充分利用总线的带
18、宽,理论上讲,一个由N 个磁盘组成的RA ID 0 系统,它的读写性能将是单个磁盘读取性能的N 倍。且磁盘空间的存储效率最大(1 0 0%)RA ID 0 有一个明显的缺点:不提供数据冗余保护,一旦数据损坏,将无法恢复。如图所示:系统向R A I D 0 系 统(四个磁盘组成)发出的I/O 数据请求被转化为 4项操作,其中的每一项操作都对应于一块物理硬盘。通过建立R A I D 0,原先顺序的数据请求被分散到四块硬盘中同时执行。从理论上讲,四块硬盘的并行操作使同时间内磁盘读写速度提升了 4 倍。但由于总线带宽等多种因素的影响,实际的提升速率会低于理论值,但是,大量数据并行传输与串行传输比较,性
19、能必然大幅提高。一 提 示:个IO 操作,控制器是同时对RAIDO所有的盘进行读写。控制器首先把每块硬盘要写入或者读取的数据计算好,然后山控制器同时驱动所有的硬盘同时进行读写。而不是读写完一个硬盘再读写下一个硬盘,请区分。2.2.2 R A I D 1 优点:数据冗余安全性高,一旦数据丢失,可利用备份数据及时恢复。缺点:浪费存储空间,只能使用5 0%的空间,另外的5 0%空间用于镜像。对于R A I D 1 的写1 0,速度不但没有提升,而且有所下降,因为数据要同时向多块物理盘写,时间以最慢的那个为准,因为是同步的进行。适用于:R A I D 1 应用于对数据保护极为重视的应用。R A I D
20、 1 成为镜像(m i r r o r),它将数据完全一致的分别写到工作磁盘和镜像磁盘,因此它的磁盘空间利用率为5 0%,在数据写入时时间会有影响,但是读的时候没有任何影响,RAIDO提供了最佳的数据保护,旦工作磁盘发生故障,系统自动从镜像磁盘读取数据,不会影响用户工作。工作磁盘镜像磁盘2.2.3 R A I D 2RAID2称为纠错“汗 明 码 Hamming Code”磁盘阵列,阵列中序号为2N的磁盘(第 1、2、4、6)作为校验盘,其余的磁盘用于存放数据,磁盘数目越多,校验盘所占比率越少。RAID2在大数据存储额情况下性能很高,RAID2的实际应用很少,现在早已被淘汰。2.2.4 R A
21、 I D 3 优点:由于RAID3的条带深度很小,每 次 1 0 总是能牵动所有磁盘为它服务,所以对于大块连续的数据读写性能优秀,。缺 点:由于RAID3的每次1 0 因为条带深度小必将牵动占用所有盘,那么此时其他的并发1 0 就必须等待,所 以 RAID3根本就不适合用在并发10环境。而对于随即读写的性能,RA ID 3也没有提升,和单盘一样,甚至不及单盘。适 用于:RAID3适用于少量的并发1 0 环境,同时每次1 0 连续读写的大数据的操作。RAID 3 适于单一大文件以高数据率进行读写的应用,诸如超级计算机和图形图像处理。对于多用户并行发起众多互不相关磁盘操作的应用则不适宜。按照布尔逻
22、辑,数据盘的每一个位之间做XOR(与)运算,然后将结果写入到校验盘的对应位置。这样,任何一块数据盘损坏,或者其中的任何一个扇区损坏,都可以通过剩余的位和校验位一同进行XOR运算,而运算的结果就是这个丢失的位。RAID3采用一个硬盘作为校验盘,其余磁盘作为数据盘,数据按位或字节的方式交叉的存取到各个数据盘中。不同磁盘上同带区的数据做异或校验,并把校验值写入到校验盘中。RAID3系统在完整的情况下读取时没有任何性能上的影响,读 性 能 与RAIDO 一致,却提供了数据容错能力,但是,在写时性能大为下降,因为每一次写操作,即使是改动某个数据盘上的一个数据块,也必须根据所有同一带区的数据来重新计算校验
23、值写入到校验盘中,一个写操作包含了写入数据块,读取同一带区的数据块,计算校验值,写入校验值等操作,系统开销大为增加。当RAID3中有数据盘出现损坏,不会影响用户读取数据,如果读取的数据块正好在损坏的磁盘上,则系统需要读取所有同一带区的数据块,然后根据校验值重新构建数据,系统性能受到影响。RAID3的校验盘在系统接受大量的写操作时容易形成性能瓶颈,因而适用于有大量读操作如web系统以及信息查询等应用或持续大块数据流(例如非线性编辑)的应用。一提示:般来说,RAID3的条带长度=文件系统的块大小。因为这样会使条带深度低,每次10会同时并发读写到所有盘中。2.2.5 R A I D 4RAID3的设
24、计中,一 次 10尽量让每块磁盘都参与,而控制器的一次10数据块不会很大,那么想让每块磁盘都参与这个1 0,就只能人为地减小条带深度的大小。事实证明这种10设计在I0SIZE/I0PS比值很大的时候,效果的确明显。但是现实应用中,很多应用的I0SIZE/I0PS都很小,比如随机小块读写等,这种应用每秒产 生 的 1 0 数目很大,但 是 每 个 1 0 所请求的数据长度却很短。如果所有磁盘同一时刻都被一个1 0 占用着,且不能并发1 0,只能一个10 一 个 1 0 的来做。由 于 10块长度小,此时全盘联动来传输这个1 0,得不偿失,还不如让这个10的数据直接写入一块磁盘,空余的磁盘就可以做
25、其他10 了。将 RAID3进行简单改造,增加了条带深度,于是就形成了 RAID4 0RAID4与 RAID3原理基本-致,区别在于条带深度不 样,因为条带深度大,所以在写操作时只涉及两块磁盘,数据盘和校验盘,提高了系统的并发10性能。但面对随机的分散的写操作,单一的校验盘往往成为性能瓶颈。2.2.6 R A I D 5优 点:RAID5在随机读方面性能出色。缺 点:RAID5在写操作性能较差,其根本原因在于每写一个扇区的数据就要产生其校验扇区,一并写入校验盘,尤其是修改数据的时候,这种情况的影响尤其严重。适用于:适用于随机10读操作多的环境,RAID5在随机IOPS大的时候具有高性能。RAI
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 存储 技术 基础知识
限制150内