2022年网络存储技术在网络中的应用 .pdf

《2022年网络存储技术在网络中的应用 .pdf》由会员分享，可在线阅读，更多相关《2022年网络存储技术在网络中的应用 .pdf（13页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、XX大学 XX学院（课程论文）网络存储技术在网络中的应用学院：- 班级：- 学号： - 姓名： -名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 13 页 - - - - - - - - - 目录一.摘要 . . 1二正文 . . 12.1 网络存储技术的分类 . . 22.2 NAS 、SAN和 DAS的比较 . 32.3 NAS 和 SAN的比较 . 42.4 网络存储系统的特性要求. 6三 存储区域网络设计. 73.1 存储系统设计原则 . . 73.2 存储系统架

2、构概述. 8四 未来趋势分析. 84.1. 基于 InfiniBand的存储系统 . 84.2 采用 DAFS 技术。 . . 94.3 NASD 技术。 . 104.4 统一虚拟存储。 . . 10名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 13 页 - - - - - - - - - 论高可靠集群技术在网络中的应用1 一. 摘要随着信息化的迅速发展， 越来越多的信息被数据化， 网络数据信息爆炸性的增长， 使网络存储技术变得越来越重要。采用何种方式完成数据的网络存储

3、，如何提高网络存储的安全性，稳定性，如何提高网络存储的效率是现在网络存储最关心的问题。就常见的 3 种网络存储技术的优缺点及应用范围进行了介绍和讨论。关键词：网络存储；直接连接存储 (DAS)；网络附加存储 （NAS ）；存储区域网络（ SAN ）二正文信息是一个企业可持续发展的核心动力之一，信息的可靠存储是一个企业得以正常运作和发展壮大的根本所在。随着越来越多的关键信息转化为数字形式并存储在可管理的介质中，用户对存储和管理信息的能力产生了新的需求。 为更有效地使用和管理信息，用户对信息系统的搭建、数据中心的建设、数据的管理模式、数据的有效使用、信息存储介质的选择以及信息的安全存储等方面，提出

4、多样化的要求，以达到数据的最佳利用。网络存储设备提供网络信息系统的信息存取和共享服务，其主要特征体现在：超大存储容量、大数据传输率以及高可用性。要实现存储设备的性能特征，采用RAID作为存储实体是必然选择。传统的网络存储设备都是将RAID硬盘阵列直接连接到网络系统的服务器上，这种形式的网络存储结构称为（DAS Direct Attached Storage）,名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 13 页 - - - - - - - - - 论高可靠集群技术在网

5、络中的应用2 目前，按照信息存储系统的构成，SAN （Storage Area Net-work ）和NAS （Network Attached Storage）是最常见的种选择。以网络存储中的主流技术 SAN （存储区域网）为例，讨论一个SAN存储架构技术范例， 以及如何在存储区域网中部署存储设备，制定更加合理的数据存储备份机制，以构造出高可用性的存储区域网络系统。2.1 网络存储技术的分类早期的存储系统是计算机系统的一部分，大多以存储设备形式出现。计算机系统可以通过总线连接到磁盘，或者通过输入输出系统和磁盘系统相连， 或者是计算机基本。 网络存储技上是以单机方式工作的。随着网络的发展， 数

6、据的存储也逐渐由单机向多机方式和专用机发展，数据的共享和传递也逐渐从依靠主机系统向依靠网络系统发展。当前，应用业务系统有向多服务器、多数据源演变的趋向。在大型企业应用和 Internet发布系统中，安装数十台服务器已经很常见。但过于分散的数据资源，会给访问和管理带来困难。因此，数据存储新问题备受关注。存储系统大致可以分成种类型：（1） 直接依附存储系统 (Direct Attached Storage,DAS)。直接依附存储系统 DAS 又称为以服务器为中心的存储体系。其特征为存储设备是通用服务器的一部分，该服务器同时提供给应用程序的运行，例如视频流、数据库等服务。数据的输入/ 输出由服务器负

7、责，数据访问和操作系统、文件系统和服务程序紧密相关。（2） 网络依附存储系统 (Network Attachedstorage ，NAS) 。这种存储方式多采用专用数据服务器。 该服务器不再承担应用服务，称名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 13 页 - - - - - - - - - 论高可靠集群技术在网络中的应用3 之为瘦服务器 (Thin Server)。数据服务器通过局域网的接口和应用服务器连接。由于采用局域网上通用数据传输协议，如NFS ，CIFS等

8、，所以能够在异构的服务器间共享数据，这一点在 Windows 和UNIX 混合环境下是十分重要的。（3） 存储区域网络 (Storage Area Network,SAN)。存储区域网络SAN 采用高速数据连接光纤通道(Fiber Channel， FC)连接服务器和存储系统。从结构上看，服务器和数据存储系统相互独立。将设备连接到FC集线器或交换机上， 便于扩展系统规模。 FC 的传输速率和可靠性极高，能够满足当前音视频业务的需求。在SAN 中，所有的存储设备和存储数据均可采用中心化管理，使得整个存储系统具有可伸缩性。2.2 NAS 、SAN 和DAS 的比较（1）独立性。存储系统的独立性反映

9、了服务器和存储系统间的依靠程度。独立性越强，服务器和存储系统之间的相关性就越小。实际上，独立性强的存储系统可以自成体系，不必考虑和服务器物理连接的细节。（2）带宽和瓶颈。在传统存储系统中，应用程序必须通过服务器访问存储设备。考虑到所有的访问都必须穿透服务器，轻易形成瓶颈，因此要求服务器有很大的吞吐速率。LAN 的速率和服务质量 (QoS)取决于网络类型。（3）共享性。在传统存储服务器体系中，存储设备并非直接面向网络用户或应用程序， 而是以服务器作为访问的人口。 作为存储设备，名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精

10、心整理 - - - - - - - 第 5 页，共 13 页 - - - - - - - - - 论高可靠集群技术在网络中的应用4 无论是硬盘、还是阵列，都是间接地提供数据共享服务，真正意义上的物理连接只有服务器的连接。NAS 具有数据存储独立性，可以通过LAN 上运行的 NFS 、CIFS协议实现数据共享。 SAN 直接支持服务器和存储系统之间的多对多连接，具有共享特性。（4）可扩展性。 DAS 体系只能通过增加服务器和磁盘存储量来扩展容量，单一扩展容量几乎不可行； 业务增长造成的访问流量增加会使服务器成为瓶颈，而扩展服务器价格过高且管理难度加大。NAS 可以通过扩展 I 0节点而增加容量，

11、其带宽可以通过新增的网络接口而得以提高。 SAN 具有可扩展性，可增加存储设备而实现系统扩充。（5） 可管理性。传统的 DAS 造成企业中有大量的服务器和存储系统，其异构型和分布性使管理工作难以展开。NAS 、SAN 均采用中心化数据管理，便于控制网络上的每一个存储点。（6）存储介质的多样性。虽然DAS 可以采用多种存储介质，但是它和服务器之间紧密的物理连接，在使用上受到较多限制。基于SAN 的存储系统内， 存储设备和文件服务器被有效地分离，使得整个系统可以采用多种存储介质； 并且利用不同存储介质和设备的特征，通过统一的中心数据管理，建立多层次的异构存储体系。2.3 NAS 和SAN 的比较N

12、AS 、SAN 和DAS 相比而言，无论是从网络传输带宽、数据共享性还是从存储容量的可扩充性、数据的一体化和平安性等各方面来说，其优越性是不言而喻的。 所以，现在众多的用户在对其存储方案进行选择时，实际上也就成为对NAS 和SAN 的选择了。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 13 页 - - - - - - - - - 论高可靠集群技术在网络中的应用5 NAS 和SAN 有许多共同的特征。 它们都提供集中化的数据存储和整合优化，都能有效地存取文件， 都能在众

13、多的主机间共享并支持多种操作系统，都能从应用服务器上分离存储。而且，它们都提供数据的高可用性，都能通过冗余部件和RAID 保证数据的完整性。NAS 和SAN 也有着一些不同点。 首先，实施和维护的难易程度解不同。上面曾提到， NAS 的存储设备和众多访问客户的连接是通过标准的LAN 进行的，也就是说，直接将NAS 存储设备接入 LAN 中就可以使用了，管理者所要做的只是来定义网络存取权限或为每个用户定义磁盘限额。而且由于 NAS 采用了热插拔和即插即用技术，所以在新设备接人时无需关闭数据服务器或进行重新配置，新增的存储空间可以立即为众多的应用服务器和客户机所共享。而SAN 的存储设备和客户之间

14、的联系是通过专用 FC 集线器和交换机来进行的， 假如客户端增加， 就要对交换机进行级连，这就大大增大了安装和设置难度。其次，二者的设备管理难易程度不同。由于NAS 中每一个 I O 节点都有自己的存储设备，而这些设备又没有一个统一的管理的界面，所以管理人员就必须逐一管理每个 NAS 设备，从而使管理成本随网络上的NAS 设备的增多而线性增加。而 SAN 对整个网络中的存储设备的管理，是采用SAN专用管理软件来进行集中式管理的，用户可以通过简单的图形界面来管理不同平台和介质上的数据，也就是说，在SAN 中，其整个存储网络成为了一个集中化的存储池，这样，管理人员管理起来就非常简单了。再者， NA

15、S 和SAN 是管理对象也不相同。 SAN 管理的是磁盘空间，而NAS 管理的是文件，也就是说，SAN 是个磁盘工厂，而 NAS 只是一个名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 7 页，共 13 页 - - - - - - - - - 论高可靠集群技术在网络中的应用6 文件服务器。最后，也是最重要的一点，那就是二者在性能上有所不同。NAS 是基于传统以太网络的存取设备，虽然减轻了服务器所承担的压力，但势必严重增加网络的负荷。2.4 网络存储系统的特性要求要达到存储系统独立的数

16、据管理目标，对存储系统的特性有如下几个方面的要求，按照重要性排列分别是：（1）可靠性。数据集中到存储系统中，必然对系统设备的可靠性提出更高的要求。 同时需要建立数据备份、 容灾系统进行配合，提高数据安全性。（2）可扩展性。网络时代业务发展的不确定性和数据的高速膨胀，对独立于计算系统之外的存储系统，必然提出高可扩展性的要求。这种扩展性并非是简单的容量扩展，同时还必须包括数据处理能力、数据交换带宽和数据管理功能的扩展。（3）兼容性。虽然存储系统已分离于计算系统之外，但今天主机系统对数据的使用方式，仍旧以文件系统、数据库系统为主要手段。存储系统要适应各种主机系统的数据I/O 要求，就必须能够兼容各种

17、操作系统、文件系统、数据库系统等各种传统数据管理手段。（4）可管理性。支持各种主流的管理协议和管理架构，能够与网络、计算机等各种设备统一管理和集中管理，能够在各种复杂的环境中实现方便统一的设备和数据管理功能。（5）性能。能够根据不同应用类型要求，提供带宽、IOPS （IO 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 8 页，共 13 页 - - - - - - - - - 论高可靠集群技术在网络中的应用7 Per Second,每秒IO操作数）、OPS （ Operations

18、Per Second， 每秒并发操作数）、 ORT （Overall Response Time ，总响应时间）等不同指标侧重点的性能服务。高端系统还应能够对系统性能进行动态的扩展和调整。（6）功能。各种数据迁移、数据分发、数据版本管理、数据复制、在线扩容等数据管理功能。三 存储区域网络设计3.1 存储系统设计原则为了确保存储的现场采集数据和运营数据万无一失，设计方案满足以下几个要求：（1）采用基于 SAN 的存储网络， 保证数据高安全性、 高可靠性、高可用性等个基本要求。支持在任何需要的时候增加存储网络中的相关设备（服务器设备，存储设备等）能力，适应未来的网络结构拓展和容量增加。（2）考虑到

19、由于设备、网络结构单点故障给未来系统运行带来的不可预知的影响，在整体网络设计中硬件设备选型和数据链路设计中全部采用冗余结构：设备选型在关键部件采取冗余结构，部件可以全部做到在线更换设计；数据通路利用软件功能配合硬件的双链路设计，有效消除数据通路的故障隐患。（3）存储系统管理对每台主机的双链路做出统一管理，自动侦测每条链路的完好性，一旦一条数据链路出现故障在没有用户干预的情况下自动切换到健康的数据链路，保证数据访问的实时性；名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 9 页，共 1

20、3 页 - - - - - - - - - 论高可靠集群技术在网络中的应用8 另外, 还具备数据流量的负载均衡能力，在每台主机可用的数据链路中根据不同的策略 , 如应用程序的优先级别，每条链路的队列长度等等，优化数据通路中传输的数据，从而充分利用双数据链路连接的优势。3.2 存储系统架构概述存储系统采用存储区域网（SAN ）架构，其中硬件设备包括高端小型机、高性能 PC 服务器、企业级 SAN 交换机、企业级存储阵列、虚拟带库、磁带库、负载均衡交换机。小型机部分通过划分硬件分区，定制和分配硬件资源来组成数据服务器集群，并在应用环境中进行有效的负载均衡。多个业务应用系统部署在不同的硬件小型机和P

21、C 服务器上，每个业务均有应用负载均衡配置，系统访问认证、身份认证服务器通过 F5 4层交换机进行负载均衡。高端存储阵列通过快速的、专用的 SAN 网络交换机连接，并通过链路冗余提高可靠性，存储阵列根据不同应用系统数据量的需求进行存储空间划分，存储阵列硬件配置有主机柜和扩展柜，存储阵列之间使用LVM Mirror （卷管理器）的数据镜像方式来实现本地冗余数据备份，并配置硬件虚拟磁带库来提高数据备份性能，最终数据可通过磁带库使用磁带备份介质进行异地保存。四 未来趋势分析在未来，网络存储将在以下几个方面得到发展。4.1. 基于InfiniBand的存储系统InfiniBand 是被用来取代 PCI

22、总线的新 I/O 体系结构。 InfiniBand 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 10 页，共 13 页 - - - - - - - - - 论高可靠集群技术在网络中的应用9 把网络技术引入 I/O 体系中，形成一个 I/O 交换网络结构， 主机系统通过一个或多个主机通道适配器（HCA ）连接到 I/O 交换网上，存储器、网络通信设备通过目标通道适配器（TCA ）连接到该 I/O 交换网上InfiniBand体系结构把 IP网络和存储网络合二为一， 以交换机互连和路

23、由器互连的方式支持系统的可扩展性。服务器端通过主机通道适配器（HCA ）连接到主机内存总线上，突破了PCI的带宽限制，存储设备端通过终端通道适配器 （TCA ） 连接到物理设备上，突破了SCSI和FC-AL的带宽限制。 在InfiniBand体系结构下， 可以实现不同形式的存储系统，包括 SAN 和NAS 。基于 InfiniBand I/O路径的SAN 存储系统有两种实现途径：其一是 SAN 存储设备内部通过 InfiniBand I/O路径进行数据通信， InfiniBand I/O 路径取代 PCI或高速串性总线，但与服务器/主机系统的连接还是通过FC I/O 路径; 其二是SAN 存储

24、设备和主机系统利用 InfiniBand I/O路径取代 FC I/O 路径，实现彻底地基于InfiniBand I/O路径的存储体系结构。4.2 采用 DAFS 技术。作为一种文件系统协议，直接存取文件系统DAFS 可以在大量甚至过量负载时有效地减轻存储服务器的计算压力，提高存储系统的性能。 DAFS 把RDMA的优点和 NAS 的存储能力集成在一起，全部读写操作都直接通过 DAFS 的用户层 RDMA驱动器执行，从而降低了网络文件协议所带来的系统负载。DAFS 的基本原理是通过缩短服务器读写文件时的数据路径来减少和重新分配CPU 的计算任务。它提供内存到内存的直接传输途径，使数据块的复制工

25、作不需要经过应用名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 11 页，共 13 页 - - - - - - - - - 论高可靠集群技术在网络中的应用10 服务器和文件服务器的 CPU ，而是在这两个物理设备预先映射的缓冲区中直接传输。也就是说，文件可以直接由应用服务器内存传输到存储服务器内存，而不必先填充各种各样的系统缓冲区和网络接收器。 DAFS 可以直接集成到 NAS 存储服务器中，一方面实现高性能的数据传输，另一方面也可以更好地支持数据库管理系统，如Oracle 数据库等

26、。4.3 NASD 技术。NASD （Network-Attached Secure Disk）是 CMU 大学目前正在研究的网络存储项目，它是一个类似NAS 存储设备的智能磁盘驱动器，但将管理、文件系统语义和存储转发相分离，仅实现基本的存储元语，由文件管理器实现文件系统的高层管理部分。它对外提供以太网、 ATM 等数据通信接口与 IP网络相连，或者通过 FC 接口连接到SAN 上。NASD 设备嵌入了低层的磁盘管理功能并提供了可变化长度的对象存储接口。客户端可以直接存取NASD 设备中的存储资源。文件管理器负责每个客户对NASD 设备存储资源的存取控制和检查工作。存储管理器则负责NASD 存

27、储资源的映射管理和 RAID 管理等工作。因为网络通信可以通过公用数据网络采用普通的通信协议完成，因而 NASD 需要提供安全机制，目前采用的是基于私钥/ 公钥验证技术的安全机制。4.4 统一虚拟存储。统一的虚拟存储将不同厂商的FC-SAN 、NAS 、IP-SAN、DAS 等各类存储资源整合起来，形成一个统一管理、监控和使用的公用存储名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 12 页，共 13 页 - - - - - - - - - 论高可靠集群技术在网络中的应用11 池。虚

28、拟存储的实质是资源共享，因此，统一虚拟存储的任务有两点：其一是如何进一步增加可共享的存储资源的数量；其二是如何通过有效的机制在现有存储资源基础上提供更好的服务。从系统的观点看，存储虚拟化有三种途径: 基于主机的虚拟化存储、基于存储设备的虚拟化存储以及基于网络的虚拟化存储。统一虚拟存储的实现只能从虚拟存储的实质出发，因此，单一存储映象的方法可能是虚拟存储的发展方向。NAS 和SAN 是目前网络存储的主流技术，二者在不同的应用领域各有所长，还出现了二者相互融合的趋势。随着 SAN 在IP网络中的成功应用，其低廉的成本，加上虚拟存储技术的广泛应用，SAN 极有可能成为网络存储的主导方向，而存储虚拟化、数据高可用和容灾支持将会是SAN 的关键技术名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 13 页，共 13 页 - - - - - - - - -