google云计算体系架构.ppt

《google云计算体系架构.ppt》由会员分享，可在线阅读，更多相关《google云计算体系架构.ppt（95页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、Google云计算原理云计算原理Reached Our GoalReached Our Goal 认识云计算（理解）理解Google 云计算实现原理（难点）可独立在GAE上开发云服务应用 了解TMF？以及云未来的发展（了解）2初识云计算1Google云计算原理2GAE平台部署云服务3提 纲TM Forum 对云态度43We have a dream We have a dream 愿景愿景愿景愿景:计算机的计算机的服务能力服务能力可以作为一种商品进行流通。就可以作为一种商品进行流通。就像水、电、像水、电、气一样取之方便，费用低廉气一样取之方便，费用低廉4云计算定义云计算定义图：云计算概念模型云

2、云计计算算:是一种商 业计 算 模 型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够按需获取计算力、存储空间和 信 息 服 务。5云计算服务的部署形式云计算服务的部署形式IaaS基础设施云基础设施云(代表：亚马逊的S3)SaaS 应用云应用云（代表：salesforce的CRM）PaaS 平台云平台云（代表：Google App Engine）私有云私有云(数据中心数据中心 内部网内部网)公共云公共云(服务提供商服务提供商 互连网互连网)混合云混合云(公共和私有公共和私有)X as a service6Amazon Amazon 云计算云计算1GB数据存放1个月为0.15美元

3、每个服务器租用1小时为0.1美元1.Amazon的的IaaS云计算思路云计算思路弹性计算云EC2为企业提供计算服务简单存储服务S3为企业提供存储服务2.Amazon的的IaaS运用实例运用实例7亚马逊IaaS应用案例：纽约时报使用使用亚马逊云计算服务亚马逊云计算服务效果：效果：在不到 24个小时的时间里处理了1100万篇文章费用：费用：累计花费240美元利用自己服务器利用自己服务器时间：时间：数月时间费用：费用：多得多的费用 8Google Google 云计算云计算1.Google的云计算思路的云计算思路“浏览器操作系统”92.隶属隶属PaaS的的Google云计算云计算Google Goo

4、gle 云计算云计算PaaSPaaS属于部署在云端云端的应用执行环境支持Python和Java两种语言通过SDK调用Google的各种服务。如Google Map、Mail等用户可快速、廉价（可免费使用限定的流量和存储）地部署自己开发的应用（如创新的网站、游戏等）在下一章将具体介在下一章将具体介绍GAE具体的具体的应用用10Google Google 云计算云计算SaaSSaaS3.隶属隶属SaaS的的Google云计算云计算提供在线“Word、Excel、PPT”提供在线MAP提供在线日历管理11Google云计算平台技术架构云计算平台技术架构分布式文件系统 Google Distribut

5、ed File System并行数据处理 MapReduce分布式锁 Chubby结构化数据表 BigTableGoogleGoogle如何实现云？如何实现云？GoogleGoogle云计算应用云计算应用云计算应用云计算应用MapReduceMapReduceBigTableBigTableGFSGFSChubbChubby y将将将将在在在在第第第第二二二二章章章章详详详详细细细细介介介介绍绍绍绍12云计算概念入门云计算概念入门Q&A13初识云计算1Google云计算原理2GAE平台部署云服务3提 纲TM Forum 对云态度414GoogleGoogle云计算原理云计算原理分布式文件系统G

6、FS并行数据处理模型MapReduce分布式锁服务Chubby分布式数据库BigTable1234GoogleGoogle云计算应用云计算应用云计算应用云计算应用MapReduceMapReduceBigTableBigTableGFSGFSChubbChubby y1516Google设计GFS的的动机机Google需要支持需要支持海量数据存储的文件系统的文件系统购置昂贵的分布式文件系统与硬件？是否可以在一堆廉价且不可靠的硬件上构建可靠的分布式文件系统？171.GFS设计原则：设计原则：机器失效不能视为异常现象异常现象能应付对大型大型/超大型超大型文件处理支持大量用户大量用户同时访问2.GF

7、S组成组成GFS集群:一个的MasterMaster和多个ChunkServerChunkServer（块服务器）组成，并可以多客户端ClientClient访问3.GFS设计要点设计要点每个文件拆成若干个64M64M文件块文件块Chunk组成每个Chunk都由Master根据其创建时间指定Chunk Handle(64)Chunk Handle(64)文件块被保存在ChunkServer本地磁本地磁盘中缺省情况下3处热备份备份C Chunk块文件GFS的的设计思路思路184.Client职责职责包含文件系统的APIAPI负责和ChunkServer和Master通信通信代表应用程序进行读写写

8、操作Client和Master进行元数据元数据操作Client和ChunkServer进行文件数据文件数据操作5.Master职责职责负责管理所有文件系统的元数据元数据元数据包括：命名空间，访问控制信息，文件到Chunk的映射信息等6.ChunkServer职责职责负责存储chunk文件块Linux文件系统GFS的的设计思路思路19GFS的系的系统架构架构应用程序GFS客户端GFS数据块服务器Linux文件系统GFS主服务器文件命名空间Chunk 2EEE/foo/barGFS数据块服务器Linux文件系统标注：数据信息控制信息文件名，chunk索引向数据块服务器发指令返回数据块服务器状态Ch

9、unk句柄和位置Chunk句柄，查找数据返回数据信息20Question文件为什么要被化分为文件为什么要被化分为64M？Answer：1、可以减少Client和Master的之间的交互，减少Master的负载2、客户端可以在一个Chunk中完成许多操作3、可以减少TCP三次握手时间。另外这些信息都要被Master管理的缺点：缺点：有冗余21l采用中心服务器模式采用中心服务器模式Master可以方便地增加Chunk ServerMaster掌握系统内所有Chunk Server的情况，方便进行负载均衡不存在元数据的一致性问题l不缓存数据不缓存数据必要性：Client流式读取，非重复读写可行性：M

10、aster本身管理多个Server，很复杂GFS架构的特点架构的特点22lChunk Server容错容错每个Chunk有多个存储副本（默默认是是3个个），分别存储于不通的服务器上每个Chunk又划分为若干Block（64KB），每个Block对应一个32bit的校的校验码，保证数据正确（若某个Block错误，则转移至其他Chunk副本）lMaster容错容错三类元数据：命名空间（目录结构）、Chunk与文件名的映射以及Chunk副本的位置信息前两类通过日志日志提供容错，Chunk副本信息存存储于其它于其它Chunk Server。这样Master出现故障时可恢复GFS容容错机制机制23GFS

11、实验效果效果图ChunkServer 1ChunkServer 2ChunkServer 16MasterClient 1Client 2Client 16路由器 1路由器 2Master24GoogleGoogle云计算原理云计算原理分布式文件系统GFS并行数据处理模型MapReduce分布式锁服务Chubby分布式数据库BigTable1234GoogleGoogle云计算应用云计算应用云计算应用云计算应用MapReduceMapReduceBigTableBigTableGFSGFSChubbChubby y25l摩尔定律正在走向终结摩尔定律正在走向终结单芯片容纳晶体管的增加，对制造工艺

12、提出要求CPU制造18nm技术，电子泄漏问题CPU主频已达3GHz时代，难以继续提高散热问题（发热太大，且难以驱散）功耗太高并行并行计算基算基础未来的发展：多核未来的发展：多核26什么什么样的的问题适合并行适合并行计算？算？l斐波那契序列斐波那契序列(Fibonacci)Xl计算计算URL访问频率访问频率 YMap函数处理日志中web页面请求的记录，然后输出(URL,1)。Reduce函数把相同URL的value值都累加起来，产生(URL,记录总数)结果。27lGoogle拥有海量数据，并且需要快速处理拥有海量数据，并且需要快速处理l什么是什么是MapReduce？GoogleGoogle为什

13、么需要为什么需要MapReduceMapReduce？Google MapReduce架构设计师Jeffrey DeanJeffery Dean设计一个新的抽象模型抽象模型，使我们只要执行的简单计算算，而将并行化、容错、数据分布、负载均衡的等杂乱细节放在一个库里，使并行编程时不必关心它们这就是MapReduce28Google Google 并行运算编程模型并行运算编程模型MapMapMap 原始数据原始数据 1原始数据原始数据 2原始数据原始数据 MReduceReduce结果结果 1结果结果R1、在编程的时候，开发者需、在编程的时候，开发者需要编写两个函数：要编写两个函数：Map:(in_

14、key,in_value)Reduce:(key,value 1,value 2)2、Map操作产生结果是操作产生结果是对对3、在、在Map，Reduce之间系之间系统把同一统把同一Key归类到归类到Reduce3、Reduce操作对相同的操作对相同的Key进行归类处理进行归类处理29MapReduceMapReduce实现机制实现机制用户程序(1)分割(1)分割(1)分割Master工作机M工作机M工作机M工作机R工作机R(2)指派Map(2)指派Reduce片段1片段4片段3片段2输入文件输入文件(3)Read(4)本地存储输出文件0输出文件1Map状态状态本地存储本地存储Reduce状态

15、状态输出文件输出文件(5)远程读取(6)写入文件30单词计数 体现M/R算法Hello World Bye WorldHello China Bye ChinaHello Si-tech Bye Si-tech 输入数据：输入数据：MapReduceHello ：3Bye ：3China ：2World ：2Si-tech：2Map(Key,Value)for(each world world in value)collect(world,1);Reduce(Key,Value)int count=0;for(each w in value)count+;collect(Key,count);

16、1)31Hello World Bye WorldHello China Bye ChinaHello Si-tech Bye Si-tech 2)分割分割分割Hello World Bye WorldHello China Bye ChinaHello Si-tech Bye Si-tech 3)Hello World Bye WorldHello China Bye ChinaHello Si-tech Bye Si-tech MAPMAPMAP324)Map输出输出FoldFold输出输出33Fold输出输出5)Reduce输出输出Reduce34l背景背景MapReduce设计初衷：由

17、普通PC组成的集群来处理超大超大规模的模的数据数据，所以有效的错误保障机制是必不可少lWorker容错容错Master周期性周期性的ping每个workerlMaster容错容错Master周期性的将Master的数据数据结构构的写入磁写入磁盘，即检查点（checkpoint）Master数据结构包括:Map和Reduce任务的状态（空闲、工作中或完成)，以及Worker机器(非空闲任务的机器)的标识。MapReduceMapReduce容错机制容错机制35GoogleGoogle云计算原理云计算原理分布式文件系统GFS并行数据处理模型MapReduce分布式锁服务Chubby分布式数据库Bi

18、gTable1234GoogleGoogle云计算应用云计算应用云计算应用云计算应用MapReduceMapReduceBigTableBigTableGFSGFSChubbChubby y36初识云计算1Google云计算原理2GAE平台部署云服务3提 纲TM Forum 对云态度437GAEGAE部署云应用部署云应用Q&A课堂演示部署堂演示部署过程程38初识云计算1Google云计算原理2GAE平台部署云服务3提 纲TM Forum 对云态度439TMF See Sunny Future In Tele Management World AmericanTMFTMF简介简介1、电信管理论坛

19、、电信管理论坛,非盈利联盟组织非盈利联盟组织2、会员遍布全球、会员遍布全球195个国家，个国家，700+会会员公司员公司3、我们公司也是会员，享受会员权利、我们公司也是会员，享受会员权利4、业界广泛使用的、业界广泛使用的eTOM,SID,TAM,NGOSSTMF最新框架技术最新框架技术401.云计算的出现并快速发展，一方面是虚拟化技术虚拟化技术、分布式计算分布式计算等技术发展的结果，另一方面也是互联网应用应用不断丰富趋势的体现。目前，虽然有Amazon、Google、IBM、Microsoft等在推，但云计算还没有一个统一的标准。2.云计算平台已经为很多用户所使用，但是云计算在行业标准、数据安

20、全、服务质量、应用软件等方面也面临着各种问题，这些问题的解决需要技术的进一步发展。3.现有的研究大多集中于云体系结构、云存储、云数据管理、虚拟化、云安全、编程模型等技术结束束语41云计算云计算Thank You!Q&A42主要内容（）Google的云计算44分布式文件系统GFSGFS的容错措施有哪些？GFS的容错机制Chunk Server容错每个Chunk有多个存储副本（通常是3个），分别存储于不通的服务器上每个Chunk又划分为若干Block（64KB），每个Block对应一个32bit的校验码，保证数据正确（若某个Block错误，则转移至其他Chunk副本）Master容错（影子节点热备

21、）三类元数据：命名空间（目录结构）、Chunk与文件名的映射以及Chunk副本的位置信息前两类通过日志提供容错，Chunk副本信息存储于Chunk Server，Master出现故障时可恢复GFS的容错方法46并行数据处理模型MapReduce1、处理流程2、分片方式MapReduce处理流程中各类文件的存储位置在哪里？MapReduce的容错方法？MapReduce的处理优化方法？MapReduce仅能对GFS之上的文件进行处理吗？问题讨论所有步骤均可控，可灵活处理各类分布式问题灵活的MapReduce除了排序，新增两道题目使用MapReduce实现倒排索引输入：100个文本文档输出：倒排索

22、引任务实现算法，给出数据结构描述、执行过程描述等作业要求同“排序”要求尽可能提高执行效率，节约网络IO带宽云计算应用实践作业调整除了排序，新增两道题目使用MapReduce实现快速查询查询目标是存储在BigTable之中的网页数据，给定关键字，快速查询含有该内容的网页（假定没有倒排索引）要求设计BigTable存储方式（表含有哪些列、无需关心数据如何取得）设计快速查询的MapReduce处理方法作业要求同“排序”云计算应用实践作业调整Google的云计算分布式锁服务Chubby52主要用于解决分布式一致性问题在一个分布式系统中，有一组的Process，它们需要确定一个Value。于是每个Pro

23、cess都提出了一个Value，一致性就是指只有其中的一个Value能够被选中作为最后确定的值，并且当这个值被选出来以后，所有的Process都需要被通知到粗粒度的分布式锁服务Chubby是Google为解决分布式一致性问题而设计的提供粗粒度锁服务的文件系文件系文件系文件系统统其他分布式系统可以使用它对共享资源的访问进行同步Chubby是什么？53需要实现的特性高可用性高可靠性支持粗粒度的建议性锁服务支持小规模文件直接存储不作考虑的特性高性能存储能力Chubby的设计目标54Chubby的系统架构55文件系统中文件的权限文件系统中文件操作的权限有哪些？这些权限之间的互斥关系是怎样的？Chubb

24、y系统本质上就是一个分布式的、存储大量小文件的文件系统Chubby中的锁就是文件在GFS的例子中，创建文件就是进行“加锁”操作，创建文件成功的那个server其实就是抢占到了“锁”用户通过打开、关闭和存取文件，获取共享锁或者独占锁；并且通过通信机制，向用户发送更新信息Chubby文件系统57Client与Chubby的通信协议58主节点选举独占锁共享锁数据存取应用获取GFS ChunkServer信息元数据存储Chubby的应用59Goolge的云计算分布式数据表BigTable60为什么需要设计BigTable？Google需要存储的数据种类繁多网页，地图数据，邮件如何使用统一的方式存储各类

25、数据？海量的服务请求如何快速地从海量信息中寻找需要的数据？BigTable：基于GFS和Chubby的分布式存储系统对数据进行结构化存储和管理与GFS的联系BigTable61数据存储可靠性高速数据检索与读取存储海量的记录（若干TB）可以保存记录的多个版本Google的需求62与写操作相比，数据记录读操作占绝大多数工作负载单个节点故障损坏是常见的磁盘是廉价的可以不提供标准接口Google既能控制数据库设计，又能进行应用系统设计假设63具有广泛的适应性支持Google系列产品的存储需求具有很强的可扩展性根据需要随时加入或撤销服务器应对不断增多的访问请求高可用性单个节点易损，但要确保几乎所有的情况

26、下系统都可用简单性简单的底层系统可减少系统出错概率，为上层开发带来便利设计目标64总体上，与关系数据库中的表类似逻辑视图Row KeyTime StampColumn ContentsColumn AnchorColumn“mime”my.look.ca“n.www”T9CNNT8CNN.COMT6“.“Text/htmlT5“.“t3“.“关系数据库中的表是什么样的？有什么特征？关系数据库中的表设计需要遵循什么原则？65行每行数据有一个可排序的关键字和任意列项字符串、整数、二进制串甚至可串行化的结构都可以作为行键表按照行键的“逐字节排序”顺序对行进行有序化处理表内数据非常稀疏，不同的行的列的

27、数完全目可以大不相同URL是较为常见的行键，存储时需要倒排统一地址域的网页连续存储，便于查找、分析和压缩数据模型 族:限定词 的语法规则进行定义fileattr:owning_group”,“fileattr:owning_user”,etc同一个族的数据被压缩在一起保存族是必须的，是BigTable中访问控制的基本单元数据模型67时间戳保存不同时期的数据，如“网页快照”“A big table”表中的列可以不受限制地增长表中的数据几乎可以无限地增加数据模型通过(row,col,timestamp)查询通过(row,col,MOST_RECENT)查询68无数据校验每行都可存储任意数目的列Bi

28、gTable不对列的最少数目进行约束任意类型的数据均可存储BigTable将所有数据均看作为字符串数据的有效性校验由构建于其上的应用系统完成一致性针对同一行的多个操作可以分组合并不支持对多行进行修改的操作符数据模型69物理视图Row KeyTime StampColumn:ContentsCn.wwwT6“.”T5“.”T3“.”Row KeyTime StampColumn:AnchorCn.wwwT9Anchor:CNNT5Anchor:my.look.caCNN.COMRow KeyTime StampColumn:mimeCn.wwwT6text/htmlRow KeyTime Sta

29、mpColumn ContentsColumn AnchorColumn“mime”my.look.ca“n.www”T9CNNT8CNN.COMT6“.“Text/htmlT5“.“t3“.“70逻辑上的“表”被划分为若干子表（Tablet）每个Tablet由多个SSTable文件组成SSTable文件存储在GFS之上每个子表存储了table的一部分行元数据：起始行键、终止行键如果子表体积超过了阈值（如200M），则进行分割物理视图71体系结构72为每个子表服务器分配子表，对外提供服务与GFS垃圾回收进行交互，收回废弃的SSTable探测子表服务器的故障与恢复负载均衡主节点的职责有效缓解单点

30、故障73子表服务器故障74子表服务器故障75子表服务器故障76数据访问方式77任何对子表的写操作都会记录到一个存储在GFS之上的commit log中每个子表服务器上所有子表变化对应于一个commit log新的数据存储到子表服务器的内存（memtable）中次压缩旧数据存储在SSTable中，而新数据存放在memtable中当memtable体积超过一定阈值，将形成SSTable，并写入GFS每个tablet对应多个SSTable数据写的流程78tablet含有多个SSTable导致查询效率低合并压缩操作读取多个SSTable，创建一个新的SSTable来保持其中的最新数据旧的SSTable

31、删除如果合并压缩操作完成后，tablet只包含一个SSTable，那么该操作也称为主压缩合并压缩79数据存储与读取流程80新的故障子表服务器内存中的memtable丢失恢复方法按照tablet将该服务器对应的日志分片为每个失效tablet分配新的子表服务器新子表服务器读取对应的分段commit log，并按照日志修改tablet删除commit log中已实施的内容重新对外提供服务子表服务器故障恢复81局部性群组(Locality Group)根据需要，将原本不存储在一起的数据，以列族为单位存储至单独的子表如用户对网站排名、语言等分析信息感兴趣，那么可以将这些列族放至单独的子表，减少无用信息读

32、取，改善存取效率布隆过滤器(Bloom Filter)什么是布隆过滤器？判断某个元素是否隶属于集合优点：误判概率低，其存储空间仅为Hash表的1/8至1/4用于判断列键是否位于SSTable中，快速确定某个列键的位置性能优化82BigTable小结83Google云计算架构中GFS、MapReduce和BigTable中是否存在集群节点复用的情况？如何复用？节点复用的好处有哪些？Google云计算架构的设计对你有哪些启发？有哪些收获？综合讨论Goolge的云计算Google App Engine85Google App Engine是隶属于PaaS类型的云服务一个计算环境，支持Python和J

33、ava语言可使用Google的基础服务，如BigTable和GFS等用户仅需提供应用代码，无需服务器维护应用程序可根据访问量和数据存储需要的增长轻松进行扩展简介86特性动态网络服务功能，能够完全支持常用的网络技术具有持久存储的空间，可支持查询、分类等基本操作具有自主平衡网络和系统的负载、自动进行扩展的功能可对用户的身份进行验证，并且支持使用Google账户发送邮件具有一个功能完整的本地开发环境，开发人员可以在自身的计算机上模拟 Google App Engine环境应用程序环境87沙盒一个虚拟环境将开发者开发的应用程序隔离在自身的安全可靠的环境中，该环境和网络服务器的硬件、系统以及物理位置完全

34、无关仅提供开发人员对基础操作系统的有限访问权限可以对开发人员进行更多的限制只能通过网址抓取API和邮件服务API访问其他计算机其他计算机只能通过HTTP或HTTPS与沙盒应用交互应用程序无法对平台文件系统进行写入操作，只能读取代码文件应用程序必须使用平台的Data Store来存储应用程序运行期间持续存在的数据应用程序环境通过隔离来保证平台和其他开发者的安全88图像操作API开发人员可通过该API对JPEG和PNG图像进行缩放、裁剪、旋转和翻转等操作邮件API为开发人员开发的应用程序提供电子邮件发送服务Memcache API高性能的内存键值缓存，用户可使用应用程序访问该缓存可提高应用程序的性

35、能并减少数据库的负载网址抓取API可以使用HTTP或HTTPS等网址来对数据进行检索平台服务89用户API使应用程序与Google帐号集成，支持Google帐号身份认证数据库API为用户提供查询引擎和事务存储服务平台服务90Hello Worldprint Content-Type:text/plainprint print Hello,world!91Goolge的云计算Google云计算小结92Google云计算小结GoogleGoogle云计算应用云计算应用云计算应用云计算应用MapReduceMapReduceBigTableBigTableGFSGFSChubbChubby yGoogle云计算应用类型Google云计算小结94结束