云存储技术的介绍与发展(共12页).doc

精选优质文档-倾情为你奉上    云存储技术的介绍与发展摘要  云存储是在(cloud computing)概念上延伸和发展出来的一个新的概念，是指通过应用、或等功能，将网络中大量各种不同类型的存储设备通过集合起来，共同对外提供和业务访问功能的一个系统。本文从云存储技术的现状、发展趋势、架构、等方面对其进行了介绍。正文                           一、什么是云存储，与传统存储有什么异同 云存储是在云计算概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。 当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。  当我们使用某一个独立的存储设备时，我们必须非常清楚这个存储设备是什么型号，什么接口和传输协议，必须清楚地知道存储系统中有多少块磁盘，分别是什么型号、多大容量，必须清楚存储设备和服务器之间采用什么样的连接线缆。为了保证数据安全和业务的连续性，我们还需要建立相应的数据备份系统和容灾系统。除此之外，对存储设备进行定期地状态监控、维护、软硬件更新和升级也是必须的。 如果采用云存储，那么上面所提到的一切对使用者来讲都不需要了。云状存储系统中的所有设备对使用者来讲都是完全透明的，任何地方的任何一个经过授权的使用者都可以通过一根接入线缆与云存储连接，对云存储进行数据访问。 云存储不是存储，而是服务 就如同云状的广域网和互联网一样，云存储对使用者来讲，不是指某一个具体的设备，而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲，云存储不是存储，而是一种服务。 云存储的核心是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。   二、了解云存储的发展现状 IDC研究表明，从2006年到2010年，全球信息总量将增长6倍以上，从161EB增加到988EB(1EB=1024PB)。一些新推出的磁盘阵列中已经普遍采用了750GB或1TB的SATA硬盘。目前已知存储密度最高的磁盘阵列可以在4U空间内提供高达42TB的存储容量，这在以前是根本无法想像的。 最新一代LTO-4磁带的单盒磁带存储容量也达到了1.6TB(压缩比为21)。技术的不断进步必将推动存储向更高容量发展，而重复数据删除、压缩等技术的引入，可以进一步提升存储空间的利用率。从性能方面看，FC磁盘阵列已经逐步过渡到4Gb时代，而8Gb FC又在向数据中心用户招手；万兆IP存储不再是纸上谈兵；在InfiniBand领域，已经有厂商推出了40Gb InfiniBand适配器产品。 现有的网络存储架构，比如SAN或NAS还能够有效支撑无处不在的云计算环境吗？有人表示怀疑。其主要论据是：面对PB级的海量存储需求，传统的SAN或NAS在容量和性能的扩展上会存在瓶颈；云计算这种新型的服务模式必然要求存储架构保持极低的成本，而现有的一些高端存储设备显然还不能满足这种需求。 从谷歌公司的实践来看，它们在现有的云计算环境中并没有采用SAN架构，而是使用了可扩展的分布式文件系统Google File System(GFS)。这是一种高效的集群存储技术。 近几年逐渐兴起的集群存储技术，不仅轻松突破了SAN的性能瓶颈，而且可以实现性能与容量的线性扩展，这对于追求高性能、高可用性的企业用户来说是一个新选择。 随着一些专注于集群存储业务的厂商，比如Panasas、Isilon、龙存科技等在中国市场的快速发展，集群存储技术的应用会更加普及。虽然集群存储在处理非结构化数据方面优势十分明显，但从目前情况看，集群存储不太可能在短时间内完全取代传统的网络存储方式，SAN和NAS仍会有用武之地。 需要强调的是，虚拟化是实现云计算远景目标的一项核心技术，因为云计算本身就是一个能提供虚拟化和高可用性的新一代计算平台。从目前的市场情况看，服务器虚拟化已经是如火如荼，而存储虚拟化的发展相对慢一些。 2007年底，EMC推出了SAN存储虚拟化产品Invista2.0。与上一代产品相比，Invista 2.0支持的存储容量扩大了5倍，进一步提升了可用性，强化数据保护机制和管理功能，提高使用效率，增强可扩展性。此外，Invista 2.0还通过了VMware认证，可以让用户在VMware的架构中更妥善地管理、分享和保护信息。 存储公司3PAR营销副总裁Craig Nunes表示：“为了有效支持云计算，基础架构必须具备几个关键特征。首先，这些系统必须是自治的，也就是说，它们必须内嵌自动化技术，消除人工部署和管理，允许系统自己智能地响应应用的要求。如果系统需要人为干预来分配和管理资源，那么它就不能充分地满足云计算的要求。其次，云计算架构必须是敏捷的，能够对需求信号或变化的工作负载做出及时反应。换句话说，内嵌的虚拟化技术和集群技术，必须能够应对业务增长或服务等级要求的快速变化。如果系统需要花几个小时、几天或几个星期的时间来响应新的应用或用户需求，那么这个系统也就不能满足云计算的要求了。” SaaS也是Storage as a Service的缩写，意为存储即服务。在云计算环境下，存储不再是冷冰冰的硬件设备，而是一种服务。 这会不会改变今后用户的存储采购方式，从采购硬件转变为购买存储服务？ Craig Nunes表示：“在大型企业内，不管是采用云计算模式还是自建一个公用数据中心，终端用户的IT要求终将以服务方式来满足。”  三、实施云存储面临的问题和采用的关键技术 云存储系统是一个多设备、多应用、多服务协同工作的集合体，它的实现要以多种技术的发展为前提。 1、宽带网络的发展  真正的云存储系统将会是一个多区域分布、遍布全国、甚至于遍布全球的庞大公用系统，使用者需要通过ADSL、DDN等宽带接入设备来连接云存储，而不是通过FC、 SCSI或以太网线缆直接连接一台独立的、私有的存储设备上。只有宽带网络得到充足的发展，使用者才有可能获得足够大的数据传输带宽，实现大量容量数据的传输，真正享受到云存储服务，否则只能是空谈。 2、 WEB2.0技术  Web2.0 技术的核心是分享。只有通过web2.0技术，云存储的使用者才有可能通过 PC、手机、移动多媒体等多种设备，实现数据、文档、图片和视音频等内容的集中存储和资料共享。Web2.0技术的发展使得使用者的应用方式和可得服务更加灵活和多样。 3、应用存储的发展  云存储不仅仅是存储，更多的是应用。应用存储是一种在存储设备中集成了应用软件功能的存储设备，它不仅具有数据存储功能，还具有应用软件功能，可以看作是服务器和存储设备的集合体。应用存储技术的发展可以大量减少云存储中服务器的数量，从而降低系统建设成本，减少系统中由服务器造成单点故障和性能瓶颈，减少数据传输环节，提供系统性能和效率，保证整个系统的高效稳定运行。 4、集群技术、网格技术和分布式文件系统  云存储系统是一个多存储设备、多应用、多服务协同工作的集合体，任何一个单点的存储系统都不是云存储。  既然是由多个存储设备构成的，不同存储设备之间就需要通过集群技术、分布式文件系统和网格计算等技术，实现多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。如果没有这些技术的存在，云存储就不可能真正实现，所谓的云存储只能是一个一个的独立系统，不能形成云状结构。 5、CDN内容分发、P2P技术、数据压缩技术  CDN内容分发、P2P技术、数据压缩技术、重复数据删除技术、数据加密技术 、CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。如果云存储中的数据安全得不到保证，想来也没有人敢用云存储，否则，保存的数据不是很快丢失了，就是全国人民都知道了。 6、存储虚拟化技术、存储网络化管理技术  云存储中的存储设备数量庞大且分布多在不同地域，如何实现不同厂商、不同型号甚至于不同类型（如FC存储和 IP存储）的多台设备之间的逻辑卷管理、存储虚拟化管理和多链路冗余管理将会是一个巨大的难题，这个问题得不到解决，存储设备就会是整个云存储系统的性能瓶颈，结构上也无法形成一个整体，而且还会带来后期容量和性能扩展难等问题。  云存储中的存储设备数量庞大、分布地域广造成的另外一个问题就是存储设备运营管理问题。虽然这些问题对云存储的使用者来讲根本不需要关心，但对于云存储的运营单位来讲，却必须要通过切实可行和有效的手段来解决集中管理难、状态监控难、故障维护难、人力成本高等问题。因此，云存储必须要具有一个高效的类似与网络管理软件一样的集中管理平台，可实现云存储系统中设有存储设备、服务器和网络设备的集中管理和状态监控。  四、云存储的架构云存储是一种架构，而不是一种服务。你是否拥有或租赁了这种架构是一个次要问题。从根本上来看，通过添加标准硬件和共享标准网络(公共互联网或私有的企业内部网)的访问，云存储很容易扩展云容量和性能。事实证明，管理数百台服务器，使得其感觉上去就像是一个单一的、大型的存储池设备是一项相当具有挑战性的工作。早期的供应商(如Amazon)承担了这一重任，并通过在线出租的形式来赢利。其它供应商(如Google)雇用了大量的工程师在其防火墙内部来实施这种管理，并且定制存储节点以在其上运行应用程序。由于摩尔定律 (Moores Law)压低了磁盘和CPU的商品价格，云存储渐渐成为了数据中心中一项具有高度突破性的技术。  这十年来，集群NAS系统已经出现了好转。本文综述了构建一个云存储或大规模可扩展的NAS系统的各种不同架构方法，对于那些寻求构建私有云存储以满足其消费的企业IT管理者或是对于那些寻求构建公共云存储产品从而以服务的形式来提供存储的服务提供商来说，这些方法与他们息息相关。架构方法分为两类：一种是通过服务来架构;另一种是通过软件或硬件设备来架构。  传统的系统利用紧耦合对称架构，这种架构的设计旨在解决HPC(高性能计算、超级运算)问题，现在其正在向外扩展成为云存储从而满足快速呈现的市场需求。下一代架构已经采用了松弛耦合非对称架构，集中元数据和控制操作，这种架构并不非常适合高性能HPC，但是这种设计旨在解决云部署的大容量存储需求。各种架构的摘要信息如下： 1) 紧耦合对称(TCS)架构  构建TCS系统是为了解决单一文件性能所面临的挑战，这种挑战限制了传统NAS系统的发展。HPC系统所具有的优势迅速压倒了存储，因为它们需要的单一文件I/O操作要比单一设备的I/O操作多得多。业内对此的回应是创建利用TCS架构的产品，很多节点同时伴随着分布式锁管理(锁定文件不同部分的写操作)和缓存一致性功能。这种解决方案对于单文件吞吐量问题很有效，几个不同行业的很多HPC客户已经采用了这种解决方案。这种解决方案很先进，需要一定程度的技术经验才能安装和使用。 2) 松弛耦合非对称(LCA)架构  LCA系统采用不同的方法来向外扩展。它不是通过执行某个策略来使每个节点知道每个行动所执行的操作，而是利用一个数据路径之外的中央元数据控制服务器。集中控制提供了很多好处，允许进行新层次的扩展：   存储节点可以将重点放在提供读写服务的要求上，而不需要来自网络节点的确认信息。    节点可以利用不同的商品硬件CPU和存储配置，而且仍然在云存储中发挥作用。    用户可以通过利用硬件性能或虚拟化实例来调整云存储。    消除节点之间共享的大量状态开销也可以消除用户计算机互联的需要，如光纤通道或infiniband，从而进一步降低成本。    异构硬件的混合和匹配使用户能够在需要的时候在当前经济规模的基础上扩大存储，同时还能提供永久的数据可用性。    拥有集中元数据意味着，存储节点可以旋转地进行深层次应用程序归档，而且在控制节点上，元数据经常都是可用的。 五、云存储选择   虽然在可扩展的NAS平台上有很多选择，但是通常来说，他们表现为一种服务、一种硬件设备或一种软件解决方案，每一种选择都有它们自身的优势和劣势：    服务模式：最普遍的情况下， 当你考虑云存储的时候，你就会想到其所提供的服务产品。这种模式很容易开始，其可扩展性几乎是瞬间的。根据定义，你拥有一份异地数据的备份。然而，带宽是有限的，因此要考虑你的恢复模型。你必须要满足你网络之外的数据的需求。    HW模式：这种部署位于防火墙背后，并且其提供的吞吐量要比公共的内部网络好。购买整合的硬件存储解决方案非常方便，而且，如果厂商在安装/管理上做的好的话，其往往伴随有机架和堆栈模型。但是，这样你就会放弃某些摩尔定律的优势，因为你会受到硬件设备的限制。    SW模式：SW模式具有HW模式所具有的优势。另外，它还具有HW所没有的价格竞争优势。然而，其安装/管理过程序要谨慎关注，因为安装某些SW的确非常困难，或者可能需要其他条件来限制人们选择HW，而选择SW。六、发展趋势云存储已经成为未来存储发展的一种趋势。但随着云存储技术的发展，各类搜索、应用技术和云存储相结合的应用，还需从安全性、便携性及数据访问等角度进行改进。（1）安全性从云计算诞生，安全性一直是企业实施云计算首要考虑的问题之一。同样在云存储方面，安全仍是首要考虑的问题，对于想要进行云存储的客户来说，安全性通常是首要的商业考虑和技术考虑。但是许多用户对云存储的安全要求甚至高于它们自己的架构所能提供的安全水平。既便如此，面对如此高的不现实的安全要求，许多大型、可信赖的云存储厂商也在努力满足它们的要求，构建比多数企业数据中心安全得多的数据中心。用户可以发现，云存储具有更少的安全漏洞和更高的安全环节，云存储所能提供的安全性水平要比用户自己的数据中心所能提供的安全水平还要高。（2） 便携性一些用户在托管存储的时候还要考虑数据的便携性。一般情况下这是有保证的，一些大型服务提供商所提供的解决方案承诺其数据便携性可媲美最好的传统本地存储。有的云存储结合了强大的便携功能，可以将整个数据集传送到你所选择的任何媒介，甚至是专门的存储设备。（3）性能和可用性过去的一些托管存储和远程存储总是存在着延迟时间过长的问题。同样地，互联网本身的特性就严重威胁服务的可用性。最新一代云存储有突破性的成就，体现在客户端或本地设备高速缓存上，将经常使用的数据保持在本地，从而有效地缓解互联网延迟问题。通过本地高速缓存，即使面临最严重的网络中断，这些设备也可以缓解延迟性问题。这些设备还可以让经常使用的数据像本地存储那样快速反应。通过一个本地NAS网关，云存储甚至可以模仿终端NAS设备的可用性、性能和可视性，同时将数据予以远程保护。随着云存储技术的不断发展，各厂商仍将继续努力实现容量优化和WAN（广域网）优化，从而尽量减少数据传输的延迟性。（4）数据访问现有对云存储技术的疑虑还在于，如果执行大规模数据请求或数据恢复操作，那么云存储是否可提供足够的访问性。在未来的技术条件下，此点大可不必担心，现有的厂商可以将大量数据传输到任何类型的媒介，可将数据直接传送给企业，且其速度之快相当于复制、粘贴操作。另外，云存储厂商还可以提供一套组件，在完全本地化的系统上模仿云地址，让本地NAS网关设备继续正常运行而无需重新设置。未来，如果大型厂商构建了更多的地区性设施，那么数据传输将更加迅捷。如此一来，即便是客户本地数据发生了灾难性的损失，云存储厂商也可以将数据重新快速传输给客户数据中心。总结云存储已经成为未来存储发展的一种趋势，越来越受到人们的欢迎，且应用于各个领域，带给人们很多方便。但随着云存储技术的发展，各类搜索、应用技术和云存储相结合的应用，还需多方面的改进。参考资料1云百科2搜搜百科参考3数字制造网专心-专注-专业