浅谈云存储之网盘分析.pdf

《浅谈云存储之网盘分析.pdf》由会员分享，可在线阅读，更多相关《浅谈云存储之网盘分析.pdf（4页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、浅谈浅谈云云存储存储之之网盘分析网盘分析 李晔 网盘，或者说云存储，是目前云计算领域发展较为成熟的一个方向，已涌现出了诸如Sky Drive、SugarSync、金山快盘、115 网盘、联想网盘、电信 e 云等各种产品，而且越来越多的厂商也在加入这一阵营。俨然成为云计算领域中风景独好的一处所在。为何网盘会一时间这么火呢？让我们回到最初的起点人本身的需求，来探讨这个问题。你为何选择网盘呢？可能是因为在日常工作或学习中，经常要携带一些电子资料，或者要经常出差参加各种会议，我可能首先会考虑用 U 盘或者移动硬盘，但是 U 盘硬盘可能会遗失，可能会损坏，或者更严重的被某太电脑染毒，数据全部丢失，我该怎

2、么办。于是我想到了网盘，它可靠、方便，而且随时随地都可以使用。多好！又或者把手机不小心弄丢了，所有人的通讯录和重要的短信都没了，Oh My God!我不得不重新在 QQ 或用 Email 挨个询问每个朋友的通讯信息，而那么曾经对你很重要的短信却要永久遗失了。我该怎么办？当你在某一次重装系统格式化硬盘的时候，突然想起有些很重要的资料忘记备份了，又该怎么办？于是我仍然会想到网盘，它能随时备份，只要我重新把资料 Down 下来，OK，一切搞定！还有可能你会遇到这种情况，在你某一次讲座或会议之后，有很多听众对你的内容很感兴趣，想向你讨取资料。或者在某一次同学聚会之后，你要挨个把照片传给他们，面对庞大的

3、文件包和缓慢的网速，崩溃 ING！我该怎么办，还是用网盘。只要发一个外链给他们，剩下的都交给网盘了，省时省力！经过上面的分析探讨，我们可以发现网盘最基础的两个功能存储备份和文件共享。在此基础上，我们进行进一步的深入分析。对于存储备份功能而言，目前主要分为企业用户和个人用户。a)对于企业用户，其采用网盘的主要考虑是相比直接购买硬件存储设备，网盘的成本低，而且可以及时扩展。这一类用户的特点是用户量小但每个用户的数据量相当庞大，同时他们对于网盘的安全性和稳定性要求是最高的，而且由于数据量大，对网速的要求也是相当高的。因此针对这类用户设计的产品要求也是最高的。b)对于个人用户，其采用网盘的考虑可能更加

4、多样化。此类用户的特点是，单个用户数据量较小，但总体用户规模庞大，而且地域分布广，内容存储多样。针对这类用户的设计以实用性和较好的用户体验为主，比如对桌面电脑用户，我们可以考虑采用驱动备份和软件目录备份等应用，保证用户在重装电脑后能很快的恢复到安装前的状态，并且及时同步更新重要文件，保证资料不被遗失。对于移动用户，我们可以考虑采用通讯录和短信等应用，保证用户在不慎丢失设备后能及时恢复数据。存储备份功能是目前网盘最主要的一个应用方向，但共享却是未来可挖掘潜力最大的一个应用方向，在不久的将来会涌现出一大批的应用。若从可展示度层面来看，优酷、土豆等视频分享网站，百度文库、豆丁网等文档分享网站都可以看

5、作此类应用。随着技术的发展，比如移动设备和桌面电脑的资料无缝共享，以及随地在线办公协作等等各类应用。总之，这一方向是未来充满想象力的领域。目前共享功能主要以邮件共享和外链共享实现。邮件共享如 QQ 的超大附件传输，其他网盘的对传输文件的大小均有所限制。外链功能也是现在普遍采用的一种方式。但此时带来的下载负荷也是不得不认真考虑的一个问题。以下是对市场主流网盘的大致分析。表 1.网盘产品技术分析 功能 产品 同步备份 共享 外链 加密 是/否 客户端 手机访问 特色 Sky Drive 最多可以同 步 20个文件夹 支持联系人之间的共享，可编辑多种权限 支持 使用 AES 和SSL 加密，并使用

6、RSA 验证文件 客户端 否 权限编辑 金山快盘 快速同步数据 多人同时共 享/编辑，邮件发送 否 分布式密钥存储系统 客户端 支持 多人协作，多方式传输 115 网盘 本地化管理 文件速递 支持 支持文件加密 客 户 端多 协 议传输 否 多协议传输，在线音乐/图片浏览，站内搜索 SugarSync 多文件夹同 步/版本 控 制/自动备份 文件夹共享 支持 128-bit AES文件加密技术，SSL 传输加密 客户端 支持 邮件上传/版本控制/自动备份 IDrive 文件自动同 步/自动备份 文件共享 否 128-bit AES文件加密技术，SSL 传输加密 客户端 否 文件自动同步/自动备

7、份 DBank 数据银行 网盘映射 文件快递 支持 128-bit AES文件加密技术，SSL 传输加密 客户端 否 分布式存储/在线浏览 电信 e 云 自动备份（增量备份）文件共享 否 256-bit AES文件加密技术，SSL 传输加密 客户端 否 自动备份（增量备份）DriveHQ 自动备份 文件快递 否 加密 客户端 否 FTP 上传/管理 通过上面的数据，我们可以看到目前网盘主要以面向个人用户的存储备份功能为主，对针对共享开发的功能还很少。而且目前网盘的技术难点主要分为以下几个方面：庞大规模数据文件的管理。由于用户规模常常非常庞大，而且文件格式多样，大小差异更大。如何对庞大规模的文件

8、进行有效管理是一个不得不面对的课题。同样对于个人用户而言，其对于数据的读取次数要远大于其写入的次数，这也是一个不可忽视的方面。如何突破文件上传大小及速度瓶颈。在文件下载方面，由于可使用断点续传及 P2P 技术等，将下载数据进行分流，从而大大减轻服务器的压力，并提升了下载速度。但如何保证在上传过程中的速度仍是一个重要课题。针对庞大规模数据文件管理方面，细分下来主要存在的问题分为：a)可靠性问题。如何保证文件不会丢失、损坏或者误删。目前通常的做法是冗余替代的方法，也即至少在三处地方备份数据。这样数据就能在最大程度上保证可靠性。b)同步性问题。当文件在多处备份时，如何对数据进行有效同步。目前通常的做

9、法是采用流式写或者增量同步 Push 方法。c)目录管理问题。通过网盘的用户量庞大，如何对大规模的用户文件目录进行有效管理，也是一个不得不面对的问题。针对以上问题，目前主要采用分布式文件系统进行管理。目前主要的分布式文件系统包括 Google 的 GFS、Hadoop 的 HDFS、MogileDFS 以及 FastDFS。由于 GFS 和 HDFS 主要是考虑为其搜索引擎服务的，主要以文本文件为主，并不适合于数据格式多样化的网盘系统。MogileDFS 和 FastDFS 均为开源分布式文件系统。相比较而言，FastDFS 更高效。针对可靠性问题。FastDFS 采用了分组存储方式。集群由一

10、个或多个组构成，集群存储总容量为集群中所有组的存储容量之和。一个组由一台或多台存储服务器组成，同组内的多台 Storage server 之间是互备关系，同组存储服务器上的文件是完全一致的。文件上传、下载、删除等操作可以在组内任意一台 Storage server 上进行。采用分组存储方式的好处是灵活、可控性较强。比如上传文件时，可以由客户端直接指定上传到的组。一个分组的存储服务器访问压力较大时，可以在该组增加存储服务器来扩充服务能力（纵向扩容）。当系统容量不足时，可以增加组来扩充存储容量（横向扩容）。采用这样的分组存储方式，可以使用 FastDFS 对文件进行管理，使用主流的 Web ser

11、ver 如 Apache、nginx 等进行文件下载。针对同步性问题。FastDFS 采用 push 方式，而且只在同组内的 Storage server 之间进行，即源头服务器同步给目标服务器。只有源头数据才需要同步，备份数据并不需要再次同步，这就避免了构成环路的可能性。为了最大程度地避免相互影响以及出于系统简洁性考虑，Storage server 对组内除自己以外的每台服务器都会启动一个线程来进行文件同步。针对目录管理问题。在 FastDFS 中，Storage server 通过文件 ID 对文件进行识别管理，文件 ID 由 Storage server 生成后返回给客户端，文件 ID 中包含了组名、文件相对路径和文件名，Storage server 可以根据文件 ID 直接定位到文件。（这点类似于 P2P 的文件管理）采用这种方式不需要存储文件索引信息，但现在的问题是如何与对应用户之间进行对应管理。下图是 FastDFS 的架构图。图 1 FastDFS 的系统架构