NAS网络存储技术研究.docx
《NAS网络存储技术研究.docx》由会员分享,可在线阅读,更多相关《NAS网络存储技术研究.docx(83页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、华中科技大学硕士学位论文NAS网络存储技术研究姓名:刘金柱申请学位级别:硕士专业:通信与信息系统指导教师:刘玉20090523华中科技大学硕士学 位论文后端存储系统由SAN控制器和磁盘系统构成,控制器是后端存储系统的关 键,它提供存储接入、数据操作及备份、数据共享、数据快照等数据安全管理,及 系统管理等一系列功能。同时,后端存储系统使用磁盘阵列和RAID策略为SAN解 决方案提供存储空间和安全保护措施。连接设备包括交换机,HBA卡和各种介质的连接线。SAN的优点:(a)设备整合。(b)数据集中。(c)高扩展性。(d)总体拥有成本低。通过以上对三种网络存储系统的介绍和分析,我们知道,由于DAS系
2、统的缺 点众多且较为突出,故其近年来市场发展状况堪忧,正逐渐被其他高性能的数据存 储解决方案(如SAN和NAS)所替代。SAN和NAS经常被视为两种竞争技术,实际上,二者能够很好地相互补充, 以提供对不同类型数据的访问。SAN针对海量、面向数据块的数据传输,而NAS 则提供文件级的数据访问和共享服务5。SAN和NAS不仅各有应用场合,也相互结合,许多SAN部署于NAS后台, 为NAS设备提供高性能海量存储空间1。1.3 NAS网络附加存储系统的发展现状随着IP网络技术的发展,NAS技术的瓶颈得到了突破。千兆以太网 (1000Mbps)的出现和投入商用,给NAS带来了质的变化和市场上广泛认可。由
3、 于NAS采用TCP/IP网络进行数据交换,而TCP/IP是IT业界的标准协议,故不同 厂商的产品(服务器、交换机、NAS存储)只要满足协议标准就能够实现互连互 通,无兼容性的要求。伴随着万兆以太网(10000Mbps)的出现和投入商用,存储 网络带宽将大大提高NAS存储的性能。NAS需求旺盛已经成为事实。NAS几乎继承了磁盘列阵的所有优点,可以将设备通过标准的网络拓扑结构连 接,摆脱了服务器和异构化构架的桎梏。与此同时,NAS在解决了足够的存储和扩华中科技大学硕士学 位论文展空间的同时,还提供极高的性价比。因此,无论是从适用性还是成本的角度来说, NAS自然成为多数企业,尤其是中小企业的最佳
4、选择。在应用上,NAS提供一种文件共享服务,由专用的服务器通过专有文件系统管 理存储空间,对外通过NFS、SMB/CIFS或FTP等协议提供异构网络之间文件级的 访问功能。如图1-4所示,在NAS中,数据存储采用专用的文件服务器(即NAS服务 器)管理文件存储系统。文件服务器作为一个核心被所有客户端(包括 Samba/Windows、NFS和FTP等客户端)用户访问,但不承担应用服务。文件服务 器通过一个文件系统管理磁盘阵列,存取磁盘阵列上的文件,并管理相应的网络安 全和访问授权。NAS系统根据应用服务器或客户端计算机发出的指令,完成对其文 件的管理,并采用UDP或TCP协议提供标准化访问服务
5、,能够在异构服务器间共 享数据。图1-4NAS应用示意图随着当前应用和市场环境的成熟,NAS的需求越来越旺盛口引,各大存储厂商相 继推出了商用NAS系统,但这些商用系统仍然存在价格偏高、应用功能不够灵活 和丰富的问题口叫因此,关于如何组织和利用成熟的、廉价和开源的网络存储相 关的技术构建高性价比的NAS存储软件系统的研究十分有意义。总体来说,由于NAS具有发挥最大的存储效益、数据存储便利、数据集中容 易管理、数据可异地备份、容灾保护好、建设成本低等显著的优点,因此NAS产 品在中小企业中备受青睐,同时也推动了 NAS技术的进一步发展“叫华中科 技大学硕士学 位论文1.4 本文研究内容本文共分六
6、章,各章的具体内容安排如下:第1章为绪论,简要介绍了本课题的研究背景、以及网络存储系统,尤其是 NAS系统的发展现状,并对本文的组织结构进行了解析。第2章从NAS存储架构入手,分析了构建NAS系统的要素,并介绍了 NAS协 议、NAS文件系统、NAS资源和NAS外部辅助服务器等较为关键的系统要素或技 术。第3章为NAS系统的设计和实现部分,主要从总体方案设计、开源软件选择、 以及NAS管理子系统、共享服务子系统和配置数据库子系统的设计等几个方面展 开。第4章介绍了 NAS系统的特色和创新,并详细阐述了 NAS系统的实现难点。第5章是对整个NAS系统的功能和性能的测试及分析,并与其他的NAS系统
7、 或产品作了相关比较。第6章总结了本文的工作与贡献,并提出了下一步研究的设想和方向。华中科技大学硕士学 位论文2 NAS存储架构分析与SAN的基于块设备的共享模式不同,NAS实现了基于文件系统的共享模 式。传统的NAS是在DAS设备上增加一个NAS头(或NAS网关),对外提供文件 共享服务。而目前的NAS趋势是统一存储(即结合了 NAS和SAN的特点),在 SAN存储的基础上添加NAS头(或NAS网关),对外既提供NAS共享,又提供 SAN共享,可以灵活的根据应用类型来配置不同的解决方案。2.1 NAS的实现架构NAS的实现架构包括两种:集成式NAS架构和网关式NAS架构。这两种实 现方式的区
8、别在于是利用本地磁盘还是利用通过iSCSI协议传输SCSI命令的网络 磁盘作为文件系统的所在位置。2.1.1 集成式NAS架构集成式的NAS架构为“NAS头+SAN”,指将传统NAS机头的存储服务管理功 能独立出来成为专门的存储服务器,通过基于IP或FC的接口和后端存储网络 (SAN)直接相连,如图2-1所示。注意后端的存储网络是非共享的(不需要经过 交换机),我们可以将后端存储网络当成本地硬盘,将IP和FC接口当成总线接 口,这也是集成式的NAS架构和网关式的NAS架构的主要差异。Windows NI服务器图2- 1集成式NAS架构图解华中科技大学硕士学位论文2.1.2 网关式NAS架构网关
9、式的NAS架构为“NAS网关+SAN”,指将传统NAS机头的存储服务管理 功能独立出来成为专门的存储服务器,前端连接应用服务器设备,后端通过存储交 换机(基于IP或FC)和共享的存储网络(SAN)相连,如图2-2所示,初步实现 NAS和SAN的融合。这也正迎合了目前各个主流存储厂商号称“统一存储”的说 法。客户端WindowsNT服务器图2- 2网关式NAS架构图解2.2 NAS的层次与构建要素NAS的数据访问层次分析NAS服务器可以看成是一个专门的文件管理器,主要由专为提供文件服务而优 化的操作系统、相关系统软件和相关硬件组成|网口力华中科技大学硕士学位论文图2-3 NAS数据访问层次图图2
10、-3 NAS数据访问层次图如图2-3所示,前端应用服务器(Unix/Linux或Windows NT服务器)利用网 络文件系统(NFS或SMB/CIFS)映射NAS服务器端(即存储端)的本地文件系统 (Ext3、ReiserFS XFS、JFS等)到应用服务器端自己的操作系统中,这样应用服 务器端就可以像访问自己的本地磁盘空间一样访问远程NAS服务器端的存储空间。在数据访问的过程中,前端应用服务器将对远程挂载过来的文件系统的访问 I/O重定向为网络文件系统(NFS或SMB/CIFS)的网络文件I/O0网络I/O经由IP 网络传送到NAS服务器端,经存储端网络文件系统解析后生成存储端本地文件系
11、统的访问UO,最后由设备驱动下发到磁盘介质上。2.2.1 NAS系统的构建要素无论是集成式NAS架构还是网关式NAS架构,都需要将传统NAS机头的存储10华中科技大学硕士学位论文服务管理功能独立出来成为专门的存储服务器,而NAS系统即为独立存储服务器 的管理系统。作为独立存储服务器的管理系统,NAS系统承载着所有的存储服务管理功能。 存储服务的管理主要涉及到用户和用户组管理、底层逻辑卷资源管理、文件系统管 理、共享文件夹管理、用户对资源的配额管理、用户对共享文件夹的权限管理、用 户的接入认证管理、系统日志管理,以及系统状态监控等。如图2-3所示,NAS系统主要管理TCP/IP Stack之后至
12、Device Driver之前的那 些层次,如NAS协议(即网络文件系统协议)、文件系统和设备资源等,这些内容 即是存储服务的管理内容,也是NAS系统最基本最重要的构建要素。2.3 NAS协议分析NAS协议即为实现网络文件系统功能的协议。网络文件系统的逻辑不是在本地 运行,而是在网络上的其他远程主机节点上运行,本地端通过外部网络将读写文件 的信息传递给运行在远端的文件系统。2.3.1 NFS 协议NFS (网络文件系统)是当前主流异构平台共享文件系统之一,主要应用在 Unix/Linux环境下。最早是由SUN Microsystem开发,现在能够支持在不同类型的 系统之间通过网络进行文件共享,
13、广泛应用在FreeBSD SCO、Solaris等异构操作 系统平台,允许一个系统在网络上与其他系统共享目录和文件。通过使用NFS,用户和程序可以像访问本地文件一样访问远端系统上的文件, 使得每个计算机节点都能像使用本地资源一样方便地使用网络上的资源。换言之, NFS可用于不同类型计算机、操作系统、网络架构和传输协议等运行环境下的网络 文件远程访问和共享。2.3.2 SMB/CIFS协议CIFS (公共互联网文件系统)是当前主流异构平台共享文件系统之一,主要应 用在NT/Windows环境下。CIFS由Microsoft公司开发,它使程序可以访问远程 Internet计算机上的文件并要求此计算
14、机的服务。CIFS使用客户/服务器模型,其工作原理是让CIFS协议运行于TCP/IP通信协 议之上,客户端请求远程服务器上的服务器程序为它提供服务,服务器端获得请求11华中科技大学硕士学位论文并返回响应。CIFS是公共和开放的SMB (服务器消息块)协议版本。SMB协议现在是局域 网上用于服务器文件访问和打印的协议。CIFS最典型的应用是Windows用户能够从“网上邻居”中找到网络中的其他 主机并访问其中的共享文件夹。同时,CIFS也可以让Unix计算机可以在网络邻居 上被Windows计算机看到,并可以进行数据和打印共享。2.3.3 FTP协议FTP (文件传输协议)用于在Internet
15、上控制文件的双向传输。FTP的主要作用 是让用户连接一个远程计算机,查看该主机上有哪些文件,然后把文件从远程计算 机下载到本地计算机,或把本地计算机的文件上传到远程计算机上。2.3.4 其他协议NAS系统最核心的功能是对外提供文件共享服务,因此,几乎所有与文件传输 相关的协议均可作为NAS协议应用于NAS系统中,如HTTP (超文本传输协议) 等。异构平台之间的文件共享服务需要网络文件系统的支持,网络文件系统共享协 议(如NFS、SMB/CIFS)是NAS协议的根本和基础,其他文件传输相关的协议(如FTP、HTTP)只是作为应用补充”。本文研究和实现的NAS系统支持的NAS协议为NFS、SMB
16、/CIFS和FTP。2.4 NAS文件系统分析存储系统和文件系统的关系虽然NAS设备常被认为是一种存储架构,但NAS设备最核心的东西实际上在 存储之外,那就是文件管理服务。至于通过NFS/CIFS共享文件,完全属于高层协 议通信,根本就不在数据I/O路径上,所以数据的传输不可能以块来组织。正是由 于这种功能上的重叠,在SAN出现以后,NAS头(或NAS网关)设备逐渐发展起 来,NASoverSAN的方案越来越多,NAS回归了其文件服务的本质。由此可知,NAS与一般的应用主机在网络层次上的位置是相同的,为了在磁盘 中存储数据,就必须要建立文件系统。有的NAS设备采用专有文件系统,而有的12华中科
17、技大学硕士学 位论文NAS设备则直接借用其操作系统支持的文件系统。由于不同的OS平台之间文件系 统不兼容,所以NAS设备和客户端之间就采用通用的NFS/CIFS来共享文件。至于SAN,它提供给NAS应用主机的就是一块未建立文件系统的“虚拟磁 盘”。在上面建立什么样的文件系统,完全由主机操作系统确定。本文研究和实现的NAS系统不另支持专有的文件系统0M22,而是直接借用通 用Unix/Linux操作系统平台上应用较为成熟和稳定的文件系统,如Ext2/Ext3、 XFS、JFS 和 ReiserFS 等。2.4.1 Ext2/Ext3文件系统Ext3文件系统是直接从Ext2文件系统发展而来,目前E
18、xt3文件系统已经非常 成熟、稳定和可靠,它完全兼容于Ext2文件系统,用户可以平滑地从非日志文件系 统Ext2过渡到一个日志功能健全的文件系统Ext3oExt3提供三种日志模式:日志(Journal )、预定(Ordered )、写回 (Writeback )。Ext3文件系统的主要特点:(a)系统比较稳定;(b)易于转换;(c)易于修复;(d) Ext3支持大文件;(e)不支持反删除(undelete)操作。2.4.2 XFS文件系统XFS是一种高性能的64位文件系统,由Silicon Graphics Incorporation公司为了 其IRIX系列的系统研制。XFS通过保持cache
19、的一致性、定位数据和分布处理磁盘 请求来提供对文件系统数据的低延迟、高带宽的访问。XFS文件系统的特点:(a)数据完全性好;(b)反应、传输速度快;(c)文件扩展 性强。2.4.3 JFS文件系统JFS是提供基于日志的字节级、面向事务的高性能文件系统。它具有可伸缩性 和健壮性,与非日志文件系统相比,它的优点是其快速重启能力,JFS能够在几秒 或几分钟内就把文件系统恢复到一致状态。JFS是完全64位的文件系统,所有JFS 文件系统结构化字段都是64位大小,这允许JFS同时支持大文件和大分区。虽然JFS主要是为满足服务器(从单处理器系统到高级多处理器和集群系统) 的高吞吐量和可靠性需求而设计的,J
20、FS还可用于想得到高性能和可靠性的客户机 系统。13华中科 技大学硕士学 位论文JFS能够保证数据在任何意外宕机的情况下,不会造成磁盘数据的丢失与损坏。JFS文件系统的特点:(a)存储空间大;(b)动态磁盘inode分配;(c)基于盘区 的寻址结构;(d)块尺寸可变。2.4.4 ReiserFS文件系统ReiserFS是一个非常优秀的文件系统。ReiserFS可轻松管理上百G的文件系 统,这在企业级应用中非常重要。ReiserFS也是一款带有日志的文件系统,与Ext3 一样,ReiserFS也有三种日志模式:Journal、Ordered和 Writeback0它在自动检测 和修复上具有很强的
21、功能,自动恢复的速度比Ext3文件系统要快,特别是对于意外 断电的情况,能够在较短的时间内恢复文件系统。ReiserFS文件系统的主要特点:(a)先进的日志机制;(b)高效的磁盘空间利 用;(c)快速的搜寻方式;(d)支持大文件;(e)避免不必要的磁盘活动;支持反 删除。2.4.5 文件系统的使用策略通过以上的分析和总结,我们了解了 Ext3、XFS、JFS和ReiserFS文件系统的 相关特点。根据这些特点可以总结出有关文件系统使用方面的一些策略或建议:(1) ReiserFS和JFS文件系统对小文件操作比较快,适用于邮件服务器或小规模 的电子商务系统这样大量频繁操作小文件数据的应用。(2)
22、 XFS和JFS在设计结构上都比较好,它们支持大型的文件和文件系统,同 时也是64位的文件系统,文件系统的扩展性比较强。这两种文件系统在管理大型 文件系统方面性能较为突出,适用于科学计算等涉及大型文件操作的应用。(3)综合看来,JFS文件系统对小文件和大文件的操作都比较胜任,性能比较稳 定,在文件系统崩溃后,可以利用日志系统进行较快恢复,应是服务器设备的首选 文件系统。JFS文件系统CPU占用率和ReiserFS差不多,但是读写的速度较快,因 此综合性能比较优越。(4) Ext3的使用历史较长,经过长时间的使用系统错误和缺陷都比较少,同时 也支持口志系统,考虑到与Ext2文件系统的兼容性,也可
23、以选择Ext3作为一般应 用的通用文件系统。14华中科技大学硕士学位论文摘要当前电子商务、电子政务等信息化平台的蓬勃发展对数据的存储容量、速度以 及安全提出了越来越高的要求,存储技术从本地存储发展到了网络存储。IP网络技 术的持续发展使得NAS网络存储技术的瓶颈得到了突破,同时,伴随着万兆以太 网的出现和投入商用,巨大的存储网络带宽大大提高了 NAS存储的性能。NAS摆 脱了服务器和异构化架构的桎梏,在解决了足够的存储和扩展空间的同时,还提供 极高的性价比。NAS需求旺盛已经成为事实,是中小企业存储方案的最佳选择。然 而,目前市场上NAS系统和产品较少,关于NAS技术的研究才刚起步。NAS技术
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- NAS 网络 存储 技术研究
限制150内