Google云计算的关键技术(一).doc

《Google云计算的关键技术(一).doc》由会员分享，可在线阅读，更多相关《Google云计算的关键技术(一).doc（4页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 Google云计算的关键技术（一）Google云计算的关键技术主要包括：Google文件系统GFS、分布式计算编程模型MapReduce、分布式锁服务Chubby和分布式结构化数据存储系统BigTable等。其中：1） GFS提供了海量数据存储和访问的能力；2） MapReduce使得海量信息的并行处理变得简单易行；3） Chubby保证了分布式环境下并发操作的同步问题；4） BigTable使得海量数据的管理和组织十分方便。l GFSGFS是一个面向海量数据密集型应用的、可伸缩的分布式文件系统，它为Google云计算提供了海量存储的能力，处于整个Google云计算技术体系的最底层。GFS使

2、用廉价的商用机器构建分布式文件系统，将容错的任务交由文件系统来完成，利用软件的方法解决系统可靠性的问题，不但使得存储的成本成倍下降，更是很好地在频繁的故障中确保了数据存储的安全和数据存储服务的连续性，从整体上确保了整个系统的可靠性，进而可以为大量客户机提供高性能的服务。一、架构一个GFS集群包含一个单独的Master逻辑节点、多台Chunk服务器，并且同时被多个客户端访问，如下图所示。GFS存储的文件都被分割成固定大小的Chunk。在Chunk创建的时候，Master服务器会给每个Chunk分配一个不变的、全球唯一的64位的Chunk标识。Chunk服务器把Chunk以linux文件的形式保存

3、在本地硬盘上，并且根据指定的Chunk标识和字节范围来读写块数据。出于可靠性的考虑，每个块都会复制到多个块服务器上。缺省情况下，我们使用3个存储复制节点，不过用户可以为不同的文件命名空间设定不同的复制级别。Master节点管理所有的文件系统元数据，在逻辑上只有一个。这些元数据包括名字空间、访问控制信息、文件和Chunk的映射信息、以及当前Chunk的位置信息；Master节点还管理着系统范围内的活动，比如Chunk在Chunk服务器之间的迁移等。Master节点使用心跳信息周期地和每个Chunk服务器通讯，发送指令到各个Chunk服务器并接收Chunk服务器的状态信息。GFS客户端代码以库的形

4、式被链接到客户程序里。客户端代码实现了GFS文件系统的API接口函数、应用程序与Master节点和Chunk服务器通讯、以及对数据进行读写操作。客户端和Master节点的通信只获取元数据，所有的数据操作都是由客户端直接和Chunk服务器进行交互的。无论是客户端还是Chunk服务器都不需要缓存文件数据（客户端会缓存元数据）。客户端缓存数据几乎没有什么用处，因为大部分程序要么以流的方式读取一个巨大文件，要么工作集太大根本无法被缓存。Chunk服务器不需要缓存文件数据的原因是：Chunk以本地文件的方式保存，Linux操作系统的文件系统缓存会把经常访问的数据缓存在内存中。设计思路：集中+分布。单一的

5、Master节点便于通过全局的信息精确定位Chunk的位置以及进行复制决策。同时，为了避免Master节点成为系统的瓶颈，必须减少对Master节点的读写：客户端并不通过Master节点读写文件数据，只是通过其询问应该联系的Chunk服务器，后续的操作将直接和Chunk服务器进行数据读写操作。二、客户端访问GFS流程首先，客户端把文件名和程序指定的字节偏移，根据固定的Chunk大小，转换成文件的Chunk索引。然后，它把文件名和Chunk索引发送给Master节点。Master节点将相应的Chunk标识和副本的位置信息发还给客户端。客户端用文件名和Chunk索引作为key缓存这些信息。之后客户

6、端发送请求到其中的一个副本处，一般会选择最近的。请求信息包含了Chunk的标识和字节范围。在对这个Chunk的后续读取操作中，客户端不必再和Master节点通讯了，除非缓存的元数据信息过期或者文件被重新打开。三、Chunk尺寸的设定Chunk的大小是关键的设计参数之一。选择64MB这个较大尺寸有几个重要的优点。首先，它减少了客户端和Master节点通讯的需求，因为只需要一次和Mater节点的通信就可以获取Chunk的位置信息，之后就可以对同一个Chunk进行多次的读写操作。这种方式对降低工作负载来说效果显著，因为应用程序通常是连续读写大文件。其次，采用较大的Chunk尺寸，客户端能够对一个块进

7、行多次操作，这样就可以通过与Chunk服务器保持较长时间的TCP连接来减少网络负载。第三，选用较大的Chunk尺寸减少了Master节点需要保存的元数据的数量。这就允许我们把元数据全部放在内存中。此外，为了避免因内部碎片造成的空间浪费，GFS采用了惰性空间分配策略。四、元数据Master服务器存储3种主要类型的元数据，包括：文件和Chunk的命名空间、文件和Chunk的对应关系、每个Chunk副本的存放地点。所有的元数据都保存在Master服务器的内存中。前两种类型的元数据（命名空间、文件和Chunk的对应关系）同时也会以记录变更日志的方式记录在操作系统的系统日志文件中，日志文件存储在本地磁盘

8、上，同时日志会被复制到其它的远程Master服务器上；采用保存变更日志的方式，我们能够简单可靠的更新Master服务器的状态，并且不用担心Master服务器崩溃导致数据不一致的风险。Master服务器不会持久保存Chunk位置信息；Master服务器在启动时，或者有新的Chunk服务器加入时，向各个Chunk服务器轮询它们所存储的Chunk的信息。1、 内存中的数据结构因为元数据保存在内存中，所以Master服务器的操作速度非常快。并且，Master服务器可以在后台简单而高效的周期性扫描自己保存的全部状态信息。这种周期性的状态扫描也用于实现Chunk垃圾收集、在Chunk服务器失效的时重新复制

9、数据、通过Chunk的迁移实现跨Chunk服务器的负载均衡以及磁盘使用状况统计等功能。将元数据全部保存在内存中的方法有潜在问题：Chunk的数量以及整个系统的承载能力都受限于Master服务器所拥有的内存大小。但是在实际应用中，这并不是一个严重的问题。Master服务器只需要不到64个字节的元数据就能够管理一个64MB的Chunk。即便是需要支持更大的文件系统，为Master服务器增加额外内存的费用是很少的，而通过增加有限的费用，我们就能够把元数据全部保存在内存里，增强了系统的简洁性、可靠性、高性能和灵活性。2、 Chunk位置信息Master服务器并不保存持久化保存哪个Chunk服务器存有指

10、定Chunk的副本的信息。Master服务器只是在启动的时候轮询Chunk服务器以获取这些信息。Master服务器能够保证它持有的信息始终是最新的，因为它控制了所有的Chunk位置的分配，而且通过周期性的心跳信息监控Chunk服务器的状态。3、操作日志操作日志包含了关键的元数据变更历史记录。这对GFS非常重要。这不仅仅是因为操作日志是元数据唯一的持久化存储记录，它也作为判断同步操作顺序的逻辑时间基线。操作日志非常重要，我们必须确保日志文件的完整，确保只有在元数据的变化被持久化后，日志才对客户端是可见的。否则，即使Chunk本身没有出现任何问题，我们仍有可能丢失整个文件系统，或者丢失客户端最近的

11、操作。所以，我们会把日志复制到多台远程机器，并且只有把相应的日志记录写入到本地以及远程机器的硬盘后，才会响应客户端的操作请求。Master服务器会收集多个日志记录后批量处理，以减少写入磁盘和复制对系统整体性能的影响。Master服务器在灾难恢复时，通过重演操作日志把文件系统恢复到最近的状态。为了缩短Master启动的时间，我们必须使日志足够小。Master服务器在日志增长到一定量时对系统状态做一次Checkpoint(Checkpoint是一种行为，一种对数据库状态作一次快照的行为)，将所有的状态数据写入一个Checkpoint文件。在灾难恢复的时候，Master服务器就通过从磁盘上读取这个C

12、heckpoint文件，以及重演Checkpoint之后的有限个日志文件就能够恢复系统。Checkpoint文件以压缩B-树形势的数据结构存储，可以直接映射到内存，在用于命名空间查询时无需额外的解析。这大大提高了恢复速度，增强了可用性。由于创建一个Checkpoint文件需要一定的时间，所以Master服务器的内部状态被组织为一种格式，这种格式要确保在Checkpoint过程中不会阻塞正在进行的修改操作。Master服务器使用独立的线程切换到新的日志文件和创建新的Checkpoint文件。新的Checkpoint文件包括切换前所有的修改。对于一个包含数百万个文件的集群，创建一个Checkpoi

13、nt文件需要1分钟左右的时间。创建完成后，Checkpoint文件会被写入在本地和远程的硬盘里。Master服务器恢复只需要最新的Checkpoint文件和后续的日志文件。旧的Checkpoint文件和日志文件可以被删除，但是为了应对灾难性的故障（表示一种超出预期范围的灾难性事件），我们通常会多保存一些历史文件。Checkpoint失败不会对正确性产生任何影响，因为恢复功能的代码可以检测并跳过没有完成的Checkpoint文件。4 件的 关 术完过一测可码复因响生确正不 。史一多通）事的期超示（的对了，被以文件 旧文日和 的需器服里硬远本写件 ，完建时钟要文 一建的文百含一改有切件 新 创文的

14、新线独器 改行在阻程 要种这一为状的服 ，时要需 个性性增速恢提这析需询空于在到映可存据的-缩文 统恢就志个有 演重文 个上从就务 时复在件 一据数有)的次态据数，一 ( 一态统定到日器服 小够日必间动 了态的到系把作重，恢灾务 响的能系对磁少，理后日集会 作端应才，的机及到记志应只器机多志把，。的最户丢系件失能我，现没 即，见是客日，被化数只，完志保必，常线间逻序步同作录存久唯据日为仅这重 对录史更元了含日作态状服 信心周通，置 所制因的终息有保能 。些获以 候的启器 息的 定有 保存保务 信位 性活和性、简系强存在部元够们费有过而的用的加务服 为件大支 的 个管据数字到要器 。的严并中应是

15、。存拥器 限受承系及量 问潜方存保据能功计用磁衡负服 实 过数制重失服 收 实描状期种息部存自扫期而简以器 。非操务 所存内数结数中息的 的所询器 各时务 有，启务 息置 存保器服 的一致崩务 担并，务服 更可够我方志更采上 程它其被时，磁本件，文志的操录的更录也同关 文名（的种。的务 保数元点放本 个系应 和空命 ：包元的主存服 数略策间惰 ，间的碎因了中中部数们许这的据保要节 了尺 较选载络少 长较务 通样作操块一端， 大用其件大续通应，果效负工式这写次多 对就之置 就的 次需为求通 户少，点的个寸个 择一参的关大 设的 开打件或息数存缓了点 必户中作后 对。节识的 包求的择会一副中到送息

16、些缓 引 名端客户发置的识 应点 节 发引 和件，引索 文转大 固移字指和文户客流 访户作操据进服 作续，务 的联其通只件读 通端客读 须颈瓶成 为时决复及置 位确的过便节 的单分集中存缓的访会缓件统 式件以 原数文需务 缓无大作工文个一方以程分，处什几存客据数会户数存不务 还客的互器务 接直客作数所元只通节 和客作行据以讯务 节 程、接 统文 实户。户到被的以客息信器 接务 个送讯务 每周信用 等的服 比内统理还 息信 当息映 件信问间名据些个有逻据统文有点 别制同不名文不以用，制储使，情。务个制都每考靠出。读范字 根并硬在式的 务 识 一全不配分 给务服 候时 的大割都的存示示如问客被并务 、辑 的一群 架务服高机量以而靠统个保体性的储数安的数中故在地更倍成存但不性统解的用，统件务的，统布构用商用层最体技计 处能储海提云 为，件分伸可应据海个是 便分组理据得 题步同发环分保 行易简处的信 力的和存海供中其 系数结式 务式、 型编式分 系 ：包键算