google云计算培训课件.ppt

《google云计算培训课件.ppt》由会员分享，可在线阅读，更多相关《google云计算培训课件.ppt（42页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、www.si-Google云计算原理云计算原理研究院研究院 黄兵黄兵2021/9/261Reached Our GoalReached Our Goal 认识云计算（理解）理解Google 云计算实现原理（难点）可独立在GAE上开发云服务应用 了解TMF？以及云未来的发展（了解）2021/9/262初识云计算1Google云计算原理2GAE平台部署云服务3提 纲TM Forum 对云态度42021/9/263We have a dream We have a dream 愿景愿景愿景愿景:计算机的计算机的服务能力服务能力可以作为一种商品进行流通。就可以作为一种商品进行流通。就像水、电、像水、电

2、、气一样取之方便，费用低廉气一样取之方便，费用低廉2021/9/264云计算定义云计算定义图：云计算概念模型云云计计算算:是一种商 业计 算 模 型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够按需获取计算力、存储空间和 信 息 服 务。2021/9/265云计算服务的部署形式云计算服务的部署形式IaaS基础设施云基础设施云(代表：亚马逊的S3)SaaS 应用云应用云（代表：salesforce的CRM）PaaS 平台云平台云（代表：Google App Engine）私有云私有云(数据中心数据中心 内部网内部网)公共云公共云(服务提供商服务提供商 互连网互连网)混合云混合云

3、(公共和私有公共和私有)X as a service2021/9/266Amazon Amazon 云计算云计算1GB数据存放1个月为0.15美元每个服务器租用1小时为0.1美元1.Amazon的的IaaS云计算思路云计算思路弹性计算云EC2为企业提供计算服务简单存储服务S3为企业提供存储服务2.Amazon的的IaaS运用实例运用实例2021/9/267亚马逊IaaS应用案例：纽约时报使用使用亚马逊云计算服务亚马逊云计算服务效果：效果：在不到 24个小时的时间里处理了1100万篇文章费用：费用：累计花费240美元利用自己服务器利用自己服务器时间：时间：数月时间费用：费用：多得多的费用 202

4、1/9/268Google Google 云计算云计算1.Google的云计算思路的云计算思路“浏览器操作系统”2021/9/2692.隶属隶属PaaS的的Google云计算云计算Google Google 云计算云计算PaaSPaaS属于部署在云端云端的应用执行环境支持Python和JavaJava两种语言通过SDK调用Google的各种服务。如Google Map、Mail等用户可快速、廉价（可免费使用限定的流量和存储）地部署自己开发的应用（如创新的网站、游戏等）在下一章将具体介绍在下一章将具体介绍GAEGAE具体的应用具体的应用2021/9/2610Google Google 云计算云计

5、算SaaSSaaS3.隶属隶属SaaS的的Google云计算云计算提供在线“Word、Excel、PPT”提供在线MAP提供在线日历管理2021/9/2611Google云计算平台技术架构云计算平台技术架构分布式文件系统 Google Distributed File System并行数据处理 MapReduce分布式锁 Chubby结构化数据表 BigTableGoogleGoogle如何实现云？如何实现云？GoogleGoogle云计算应用云计算应用云计算应用云计算应用MapReduceMapReduceBigTableBigTableGFSGFSChubbChubby y将将将将在在在在

6、第第第第二二二二章章章章详详详详细细细细介介介介绍绍绍绍2021/9/2612云计算概念入门云计算概念入门Q&A2021/9/2613初识云计算1Google云计算原理2GAE平台部署云服务3提 纲TM Forum 对云态度42021/9/2614GoogleGoogle云计算原理云计算原理1234GoogleGoogle云计算应用云计算应用云计算应用云计算应用MapReduceMapReduceBigTableBigTableGFSGFSChubbChubby y2021/9/26152021/9/2616Google设计设计GFS的动机的动机Google需要支持需要支持海量数据存储的文件系

7、统的文件系统购置昂贵的分布式文件系统与硬件？是否可以在一堆廉价且不可靠的硬件上构建可靠的分布式文件系统？2021/9/2617GFS的设计思路的设计思路1.GFS设计原则：设计原则：机器失效不能视为异常现象异常现象能应付对大型大型/超大型超大型文件处理支持大量用户大量用户同时访问2.GFS组成组成GFS集群:一个的MasterMaster和多个ChunkServerChunkServer（块服务器）组成，并可以多客户端ClientClient访问3.GFS设计要点设计要点每个文件拆成若干个64M64M文件块文件块Chunk组成每个Chunk都由Master根据其创建时间指定Chunk Hand

8、le(64)Chunk Handle(64)文件块被保存在ChunkServer本地磁盘本地磁盘中缺省情况下3处热备份备份C Chunk块文件2021/9/2618GFS的设计思路的设计思路4.Client职责职责包含文件系统的APIAPI负责和ChunkServer和Master通信通信代表应用程序进行读写读写操作Client和Master进行元数据元数据操作Client和ChunkServer进行文件数据文件数据操作5.Master职责职责负责管理所有文件系统的元数据元数据元数据包括：命名空间，访问控制信息，文件到Chunk的映射信息等6.ChunkServer职责职责负责存储chunk文

9、件块Linux文件系统2021/9/2619GFS的系统架构的系统架构应用程序GFS客户端GFS数据块服务器Linux文件系统GFS主服务器文件命名空间Chunk 2EEE/foo/barGFS数据块服务器Linux文件系统标注：数据信息控制信息文件名，chunk索引向数据块服务器发指令返回数据块服务器状态Chunk句柄和位置Chunk句柄，查找数据返回数据信息2021/9/2620Question文件为什么要被化分为文件为什么要被化分为64M？Answer：1、可以减少Client和Master的之间的交互，减少Master的负载2、客户端可以在一个Chunk中完成许多操作3、可以减少TCP

10、三次握手时间。另外这些信息都要被Master管理的缺点：缺点：有冗余2021/9/2621GFS架构的特点架构的特点l采用中心服务器模式采用中心服务器模式Master可以方便地增加Chunk ServerMaster掌握系统内所有Chunk Server的情况，方便进行负载均衡不存在元数据的一致性问题l不缓存数据不缓存数据必要性：Client流式读取，非重复读写可行性：Master本身管理多个Server，很复杂2021/9/2622GFS容错机制容错机制lChunk Server容错容错每个Chunk有多个存储副本（默认是默认是3 3个个），分别存储于不通的服务器上每个Chunk又划分为若干

11、Block（64KB），每个Block对应一个32bit32bit的校验码的校验码，保证数据正确（若某个Block错误，则转移至其他Chunk副本）lMaster容错容错三类元数据：命名空间（目录结构）、Chunk与文件名的映射以及Chunk副本的位置信息前两类通过日志日志提供容错，Chunk副本信息存储于其它存储于其它Chunk Server。这样Master出现故障时可恢复2021/9/2623GFS实验效果图实验效果图ChunkServer 1ChunkServer 2ChunkServer 16MasterClient 1Client 2Client 16路由器 1路由器 2Maste

12、r2021/9/2624GoogleGoogle云计算原理云计算原理1234GoogleGoogle云计算应用云计算应用云计算应用云计算应用MapReduceMapReduceBigTableBigTableGFSGFSChubbChubby y2021/9/2625并行计算基础并行计算基础l摩尔定律正在走向终结摩尔定律正在走向终结单芯片容纳晶体管的增加，对制造工艺提出要求CPU制造18nm18nm技术，电子泄漏问题CPU主频已达3GHz3GHz时代，难以继续提高散热问题（发热太大，且难以驱散）功耗太高未来的发展：多核未来的发展：多核2021/9/2626什么样的问题适合并行计算？什么样的问题

13、适合并行计算？l斐波那契序列斐波那契序列(Fibonacci)Xl计算计算URL访问频率访问频率 YMap函数处理日志中web页面请求的记录，然后输出(URL,1)。Reduce函数把相同URL的value值都累加起来，产生(URL,记录总数)结果。2021/9/2627GoogleGoogle为什么需要为什么需要MapReduceMapReduce？lGoogle拥有海量数据，并且需要快速处理拥有海量数据，并且需要快速处理l什么是什么是MapReduce？Google MapReduce架构设计师Jeffrey DeanJeffery Dean设计一个新的抽象模型抽象模型，使我们只要执行的简

14、单计算简单计算，而将并行化、容错、数据分布、负载均衡的等杂乱细节放在一个库里，使并行编程时不必关心它们这就是MapReduce2021/9/2628Google Google 并行运算编程模型并行运算编程模型MapMapMap 原始数据原始数据 1原始数据原始数据 2原始数据原始数据 MReduceReduce结果结果 1结果结果R1、在编程的时候，开发者需、在编程的时候，开发者需要编写两个函数：要编写两个函数：Map:(in_key,in_value)Reduce:(key,value 1,value 2)2、Map操作产生结果是操作产生结果是对对3、在、在Map，Reduce之间系之间系统

15、把同一统把同一Key归类到归类到Reduce3、Reduce操作对相同的操作对相同的Key进行归类处理进行归类处理2021/9/2629MapReduceMapReduce实现机制实现机制用户程序(1)分割(1)分割(1)分割Master工作机M工作机M工作机M工作机R工作机R(2)指派Map(2)指派Reduce片段1片段4片段3片段2输入文件输入文件(3)Read(4)本地存储输出文件0输出文件1Map状态状态本地存储本地存储Reduce状态状态输出文件输出文件(5)远程读取(6)写入文件2021/9/2630单词计数 体现M/R算法Hello World Bye WorldHello C

16、hina Bye ChinaHello Si-tech Bye Si-tech 输入数据：输入数据：MapReduceHello ：3Bye ：3China ：2World ：2Si-tech：2Map(Key,Value)for(each world world in value)collect(world,1);Reduce(Key,Value)int count=0;for(each w in value)count+;collect(Key,count);1)2021/9/2631Hello World Bye WorldHello China Bye ChinaHello Si-te

17、ch Bye Si-tech 2)分割分割分割Hello World Bye WorldHello China Bye ChinaHello Si-tech Bye Si-tech KEY VALUEKEY VALUEKEY VALUE3)Hello World Bye WorldHello China Bye ChinaHello Si-tech Bye Si-tech MAPMAPMAP2021/9/26324)Map输出输出FoldFold输出输出2021/9/2633Fold输出输出5)Reduce输出输出Reduce2021/9/2634MapReduceMapReduce容错机制容

18、错机制l背景背景MapReduce设计初衷：由普通PC组成的集群来处理超大规模的超大规模的数据数据，所以有效的错误保障机制是必不可少lWorker容错容错Master周期性周期性的ping每个workerlMaster容错容错Master周期性的将Master的数据结构数据结构的写入磁盘写入磁盘，即检查点（checkpoint）Master数据结构包括:Map和Reduce任务的状态（空闲、工作中或完成)，以及Worker机器(非空闲任务的机器)的标识。2021/9/2635GoogleGoogle云计算原理云计算原理1234GoogleGoogle云计算应用云计算应用云计算应用云计算应用Ma

19、pReduceMapReduceBigTableBigTableGFSGFSChubbChubby y2021/9/2636初识云计算1Google云计算原理2GAE平台部署云服务3提 纲TM Forum 对云态度42021/9/2637GAEGAE部署云应用部署云应用Q&A课堂演示部署过程课堂演示部署过程2021/9/2638初识云计算1Google云计算原理2GAE平台部署云服务3提 纲TM Forum 对云态度42021/9/2639TMF See Sunny Future In Tele Management World AmericanTMFTMF简介简介1、电信管理论坛、电信管理论

20、坛,非盈利联盟组织非盈利联盟组织2、会员遍布全球、会员遍布全球195个国家，个国家，700+会会员公司员公司3、我们公司也是会员，享受会员权利、我们公司也是会员，享受会员权利4、业界广泛使用的、业界广泛使用的eTOM,SID,TAM,NGOSSTMF最新框架技术最新框架技术2021/9/2640结束语结束语1.云计算的出现并快速发展，一方面是虚拟化技术虚拟化技术、分布式计算分布式计算等技术发展的结果，另一方面也是互联网应用应用不断丰富趋势的体现。目前，虽然有Amazon、Google、IBM、Microsoft等在推，但云计算还没有一个统一的标准。2.云计算平台已经为很多用户所使用，但是云计算在行业标准、数据安全、服务质量、应用软件等方面也面临着各种问题，这些问题的解决需要技术的进一步发展。3.现有的研究大多集中于云体系结构、云存储、云数据管理、虚拟化、云安全、编程模型等技术2021/9/2641云计算云计算Q&A2021/9/2642