华为-存储基础知识.doc
《华为-存储基础知识.doc》由会员分享,可在线阅读,更多相关《华为-存储基础知识.doc(89页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、存储基础知识白皮书目录第1章 网络存储主要技术71.1 概述71.2 DAS:直接附加存储71.3 SAN:存储区域网络81.3.1 什么是SAN?81.3.2 SAN的误区91.3.3 SAN的组成91.3.4 FC SAN的问题91.3.5 IP SAN101.4 NAS:网络附加存储121.5 SAN和NAS13第2章 主要协议和相关技术142.1 SCSI142.2 FC(光纤通道)142.3 iSCSI162.4 iSCSI与光纤通道的比较17第3章 文件系统相关知识193.1 什么是文件系统193.2 主流文件系统和特点203.3 NFS和CIFS网络文件系统工作原理和特点243.
2、4 存储系统与文件系统的关系25第4章 RAID技术264.1 RAID概述264.2 RAID级别264.2.1 RAID0264.2.2 RAID1274.2.3 RAID2284.2.4 RAID3284.2.5 RAID4294.2.6 RAID5294.2.7 RAID6304.2.8 RAID10314.2.9 RAID01324.2.10 JBOD324.3 不同RAID级别对比33第5章 主机系统高可用技术365.1 概述365.1.1 双机热备份方式375.1.2 双机互备份方式415.1.3 群集并发存取方式435.2 工作模式455.2.1 双机热备份方式455.2.2
3、双机互备方式455.2.3 群集并发存取方式455.3 适用场合465.4 对存储系统的要求46第6章 数据一致性486.1 数据一致性概述486.2 Cache引起的数据一致性问题486.3 时间不同步引起的数据一致性问题496.4 文件共享中的数据一致性问题50第7章 数据复制与容灾517.1 灾难恢复/业务连续性517.2 数据备份系统547.2.1 数据备份547.2.2 数据复制567.3 数据一致性597.4 总结60第8章 备份技术618.1 什么是备份618.2 备份与拷贝、归档的区别618.3 常规备份的实现方式628.4 LAN Free和Serverless备份638.5
4、 主流备份软件和介质648.6 备份技术新趋势68第9章 存储连接设备719.1 HBA卡介绍719.1.1 FC HBA相关知识:719.1.2 主要HBA卡厂商729.1.3 iSCSI HBA相关知识:729.1.4 iSCSI HBA和TOE网卡主要厂商739.2 FC连接设备介绍739.2.1 FC HUB相关知识:739.2.2 FC Switch相关知识:739.2.3 FC Director相关知识:739.2.4 iSCSI-FC存储路由器749.2.5 FC Switch和FC Director主要厂商74第10章 信息生命周期7410.1 什么是信息生命周期7410.2
5、信息生命周期的实现7510.3 实现ILM的技术保障和面临的挑战7510.4 信息生命周期管理现状7610.5 法规遵从与信息生命周期管理7610.6 与信息生命周期相关的存储技术7710.6.1 固定内容管理:7710.6.2 WORM:7710.7 怎样看待信息生命周期管理77第11章 其他存储技术及标准7811.1 SMIS7811.2 CDP(持续数据保护)7911.3 虚拟存储7911.4 网格计算8011.5 高性能计算8011.6 负载均衡80第12章 常见主机及操作系统8112.1 主机架构及操作系统概述8112.1.1 主机架构8112.1.2 操作系统8112.1.3 操作
6、系统比较8212.2 常见主机厂商及常见产品介绍8212.2.1 IBM:8212.2.2 SUN:8312.2.3 Fujitsu:8412.2.4 HP:8412.3 操作系统应用特点85第13章 常见数据库及应用系统8613.1 数据库厂商介绍8613.1.1 Oracle8613.1.2 DB29113.1.3 Sybase9413.1.4 MS SQL Server95第1章 网络存储主要技术1.1 概述存储系统是整个IT系统的基石,是IT技术赖以存在和发挥效能的基础平台。早先的存储形式是存储设备(通常是磁盘)与应用服务器其他硬件直接安装于同一个机箱之内,并且该存储设备是给本台应用服
7、务器独占使用的。随着服务器数量的增多,磁盘数量也在增加,且分散在不同的服务器上,查看每一个磁盘的运行状况都需要到不同的应用服务器上去查看。更换磁盘也需要拆开服务器,中断应用。于是,一种希望将磁盘从服务器中脱离出来,集中到一起管理的需求出现了。不过,一个问题:如何将服务器和盘阵连接起来?面临这样的问题,有厂商提出了SCSI协议,通过专用的线缆将服务器的总线和存储设备连接起来,通过专门的SCSI指令来实现数据的存储。后来发展到FC协议。这样,多个服务器可以通过SCSI线缆或光纤建立与存储系统的连接。这样的方式,我们称之为直接附加存储(DAS)。1.2 DAS:直接附加存储DAS(Direct At
8、tached Storage直接附加存储)是指将存储设备通过SCSI线缆或光纤通道直接连接到服务器上。一个SCSI环路或称为SCSI通道可以挂载最多16台设备; FC可以在仲裁环的方式下支持126个设备; DAS方式实现了机内存储到存储子系统的跨越,但是缺点依然有很多:u 扩展性差,服务器与存储设备直接连接的方式导致出现新的应用需求时,只能为新增的服务器单独配置存储设备,造成重复投资。u 资源利用率低,DAS方式的存储长期来看存储空间无法充分利用,存在浪费。不同的应用服务器面对的存储数据量是不一致的,同时业务发展的状况也决定这存储数据量的变化。因此,出现了部分应用对应的存储空间不够用,另一些却
9、有大量的存储空间闲置。u 可管理性差,DAS方式数据依然是分散的,不同的应用各有一套存储设备。管理分散,无法集中。异构化严重,DAS方式使得企业在不同阶段采购了不同型号不同厂商的存储设备,设备之间异构化现象严重,导致维护成本据高不下。1.3 SAN:存储区域网络1.3.1 什么是SAN?SAN(Storage Aera Network )存储区域网络,是一种通过网络方式连接存储设备和应用服务器的存储构架,这个网络专用于主机和存储设备之间的访问。当有数据的存取需求时,数据可以通过存储区域网络在服务器和后台存储设备之间高速传输。1.3.2 SAN的误区SAN的发展历程较短,从90年代后期兴起,由于
10、当时以太网的带宽有限,而FC协议在当时就可以支持1Gb的带宽,因此早期的SAN存储系统多数由FC存储设备构成,导致很多用户误以为SAN就是光纤通道设备,其实SAN代表的是一种专用于存储的网络架构,与协议和设备类型无关,随着千兆以太网的普及和万兆以太网的实现,人们对于SAN的理解将更为全面。1.3.3 SAN的组成SAN由服务器,后端存储系统,SAN连接设备组成;后端存储系统由SAN控制器和磁盘系统构成,控制器是后端存储系统的关键,它提供存储接入,数据操作及备份,数据共享、数据快照等数据安全管理,及系统管理等一系列功能。后端存储系统为SAN解决方案提供了存储空间。使用磁盘阵列和RAID策略为数据
11、提供存储空间和安全保护措施。连接设备包括交换机,HBA卡和各种介质的连接线。 SAN的优点:u 设备整合,多台服务器可以通过存储网络同时访问后端存储系统,不必为每台服务器单独购买存储设备,降低存储设备异构化程度,减轻维护工作量,降低维护费用;u 数据集中,不同应用和服务器的数据实现了物理上的集中,空间调整和数据复制等工作可以在一台设备上完成,大大提高了存储资源利用率;u 高扩展性,存储网络架构使得服务器可以方便的接入现有SAN环境,较好的适应应用变化的需求;总体拥有成本低,存储设备的整合和数据集中管理,大大降低了重复投资率和长期管理维护成本;1.3.4 FC SAN的问题u 兼容性差,FC协议
12、发展时间短,开发和产品化的大厂商较少,而且厂商之间各自遵循内部标准,导致不同厂商的FC产品之间兼容性和互操作差,即使同一厂商的不同版本不同型号的FC产品也存在类似的问题;u 成本高昂,FC SAN的成本包括先期设备成本和长期维护成本,由于FC协议在成熟度和互联性上无法与以太网相比,导致FC协议只能局限于存储系统应用,无法实现大规模推广,这直接导致了FC产品价格的昂贵;同样与FC-SAN相关的所有产品都身价高昂,无论是备份软件的FC-SAN模块,甚至SCSI硬盘简单更换连接口成为FC硬盘,都要翻上几倍的价钱;另外兼容性差也导致了用户无法自己维护FC设备,必须购买昂贵的厂商服务,如果用户的环境中包
13、括多种FC存储设备,用户每年花在FC-SAN的系统保修服务的费用占当年采购成本的15%左右。如果再算上系统安装部署阶段的专业服务费用支出,以5年计算,整个服务费用支出与系统采购达到1:1!u 扩展能力差,FC-SAN高昂的成本和协议封闭,使得产品的开发、升级、扩容代价高昂。从2000年以来,存储市场中最大的中端部分就一直5年不变地维持着前端两个存储控制器,后端两个(最多四个)光纤环路的结构。不仅产品本身无法进行性能和处理能力扩展,产品型号向上的升级付出的代价几乎相当于购买一套新的设备;u 异构化严重,各厂商按照自有标准开发各种功能,如快照、复制、镜像等,导致不同厂商存储设备之间功能无法互通,结
14、果又出现的DAS方式的各种问题,重复投资、难以管理的局面SAN的出现,从根本上是要建立一个开放、高性能、高可靠、高可扩展性的存储资源平台,从而能够应对快速的业务变化和数据增长,然而以上问题使得用户使用网络存储的目标产生了严重的偏离,很多用户甚至开始质疑为什么要放弃DAS而使用昂贵复杂的FC-SAN。1.3.5 IP SANIP网络是一个开放,高性能,高可扩展,可靠性高的网络平台。u IP网是国际互连网,企业内部网络的主要形式。经过多年发展,IP网络实现了最高的可管理性和互操作性。u TCP/IP协议弹性强,适应网络的各种变化,无需停止服务即可实网络变更。u 1G的以太网已经普及,2006年会扩
15、展到10G。FC在2008年才能到4G。u 不同厂家的IP网设备兼容性好。网络设备采购成本低廉。u 以太网知识普及,以太网多年的发展培养了无数的网络管理人员。IP SAN的基本想法是通过高速以太网络连接服务器和后端存储系统。将SCSI指令和数据块经过高速以太网传输,继承以太网的优点,实现建立一个开放、高性能、高可靠性,高可扩展的存储资源平台。IP SAN将数据块和SCSI指令通过TCP/IP协议承载,通过千兆/万兆专用的以太网络连接应用服务器和存储设备,这样的解决方案称为IP SAN。IP SAN遵循IETF的iSCSI标准,通过以太网实现对存储空间的块级访问,由于早先以太网速度,数据安全性以
16、及系统级高容错要求等问题,这一标准经历了三年的认证过程,在包括IBM、HP、SUN、COMPAQ、DELL、Intel、Microsoft、EMC、HDS、Brocade等众多家厂商的努力,和万兆/千兆以太网10GBit Ethernet支撑下,IP SAN/iSCSI已解决了网络瓶颈,数据安全和容错等问题,进入了实用阶段。IP SAN继承了IP网络的优点:u 实现弹性扩展的存储网络,能自适应应用的改变。u 已经验证的传输设备保证运行的可靠性u 以太网从1G向10G及更高速过渡,只需通过简单的升级便可得到极大的性能提升,并保护投资u IP跨长距离扩展能力,轻松实现远程数据复制和灾难恢复u 大量
17、熟悉的网络技术和管理的人才减少培训和人力成本将以太网的经济性引入存储 降低用户总体拥有成本。1.4 NAS:网络附加存储NAS(Network Attached Storage网络附加存储),是一种文件共享服务。拥有自己的文件系统,通过NFS或CIFS对外提供文件访问服务。 NAS包括存储器件(例如硬盘驱动器阵列、CD或DVD驱动器、磁带驱动器或可移动的存储介质)和专用服务器。专用服务器上装有专门的操作系统,通常是简化的unix/linux操作系统,或者是一个特殊的win2000内核。它为文件系统管理和访问做了专门的优化。专用服务器利用NFS或CIFS,充当远程文件服务器,对外提供文件级的访问
18、。NAS的优点:u NAS可以即插即用。u NAS通过TCP/IP网络连接到应用服务器,因此可以基于已有的企业网络方便连接。u 专用的操作系统支持不同的文件系统,提供不同操作系统的文件共享。u 经过优化的文件系统提高了文件的访问效率,也支持相应的网络协议。即使应用服务器不再工作了,仍然可以读出数据。 NAS的缺点:1、NAS设备与客户机通过企业网进行连接,因此数据备份或存储过程中会占用网络的带宽。这必然会影响企业内部网络上的其他网络应用。共用网络带宽成为限制NAS性能的主要问题。2、NAS的可扩展性受到设备大小的限制。增加另一台NAS设备非常容易,但是要想将两个NAS设备的存储空间无缝合并并不
19、容易,因为NAS设备通常具有独特的网络标识符,存储空间的扩大上有限。3、NAS访问需要经过文件系统格式转换,所以是以文件一级来访问。不适和Block级的应用,尤其是要求使用裸设备的数据库系统。1.5 SAN和NASSAN和NAS经常被视为两种竞争技术,实际上,二者能够很好地相互补充,以提供对不同类型数据的访问。SAN针对海量、面向数据块的数据传输,而NAS则提供文件级的数据访问和共享服务。 尽管这两种技术类似,但严格意义上讲NAS其实只是一种文件服务。NAS和SAN不仅各有应用场合,也相互结合,许多SAN部署于NAS后台,为NAS设备提供高性能海量存储空间。NAS和SAN结合中出现了NAS网关
20、这个部件。NAS网关主要由专为提供文件服务而优化的操作系统和相关硬件组成,可以看作是一个专门的文件管理器。NAS网关连接到后端上的SAN上,使的SAN的大容量存储空间可以为NAS所用。因此,NAS网关后面的存储空间可以根据环境的需求扩展到非常大的容量。 “NAS网关”方案主要是在NAS一端增加了可与SAN相连的“接口”,系统对外只有一个用户接口。NAS网关系统虽然在一定程度上解决了NAS与SAN系统的存储设备级的共享问题,但在文件级的共享问题上却与传统的NAS系统遇到了同样的可扩展性问题。当一个文件系统负载很大时,NAS网关很可能成为系统的瓶颈。第2章 主要协议和相关技术关键字:SCSI FC
21、 iSCSI2.1 SCSISCSI是小型计算机系统接口(Small Computer System Interface)的简称,于1979首次提出,是为小型机研制的一种接口技术,现在已完全普及到了小型机,高低端服务器以及普通PC上。SCSI可以划分为SCSI-1、SCSI-2、SCSI-3,最新的为SCSI-3,也是目前应用最广泛的SCSI版本。1、SCSI-1:1979年提出,支持同步和异步SCSI外围设备;支持7台8位的外围设备,最大数据传输速度为5MB/s。2、SCSI-2:1992年提出,也称为Fast SCSI,数据传输率提高到20MB/s。3、SCSI-3:1995年提出,Ult
22、ra SCSI(Fast-20)。Ultra 2 SCSI(Fast-40)出现于1997年,最高传输速率可达80MB/s。1998年9月,Ultra 3 SCSI(Utra 160 SCSI)正式发布,最高数据传输率为160MB/s。Ultra 320 SCSI的最高数据传输率已经达到了320MB/s。2.2 FC(光纤通道)FC光纤通道:用于计算机设备之间数据传输,传输率达到2G(将来会达到4G)。光纤通道用于服务器共享存储设备的连接,存储控制器和驱动器之间的内部连接。此图需要更换协议基本架构: FC-4UpperLayerProtocol:SCSI,HIPPI,SBCCS,802.2,A
23、TM,VI,IP FC-3commonservice FC-2FramingProtocol/FlowControl FC-1Encode/Decode FC-0Media:Opticalorcopper,100MB/secto1.062GB/sec 协议层说明: FC-0:物理层,定制了不同介质,传输距离,信号机制标准,也定义了光纤和铜线接口以及电缆指标 FC-1:定义编码和解码的标准 FC-2:定义了帧、流控制、和服务质量等 FC-3:定义了常用服务,如数据加密和压缩 FC-4:协议映射层,定义了光纤通道和上层应用之间的接口,上层应用比如:串行SCSI协 议,HBA的驱动提供了FC-4的接
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 华为 存储 基础知识
限制150内