云计算技术原理和应用发展.pptx

《云计算技术原理和应用发展.pptx》由会员分享，可在线阅读，更多相关《云计算技术原理和应用发展.pptx（30页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、云计算技术原理和应用发展云计算：云计算：Cloud Computing 云计算已被业界视为互联云计算已被业界视为互联网产业的下一次革命，它网产业的下一次革命，它将带来工作方式和商业模将带来工作方式和商业模式的根本性改变式的根本性改变 云时代已经到来！云时代已经到来！主要内容主要内容云计算概念云计算概念及影响及影响云计算的主要服务形式和典型应用云计算的主要服务形式和典型应用典型云计算平台介绍典型云计算平台介绍云计算实验：云脑系统云计算实验：云脑系统如何进入云计算领域如何进入云计算领域云计算的核心技术云计算的核心技术云计算概念云计算概念及影响及影响 云计算（云计算（Cloud Computing）

2、是由分布式计算（）是由分布式计算（Distributed Computing）、并行处理（）、并行处理（Parallel Computing）、网格计算）、网格计算（Grid Computing）发展来的，是一种新兴的商业计算模型。）发展来的，是一种新兴的商业计算模型。中国网格计算、云计算专家刘鹏给出如下定义中国网格计算、云计算专家刘鹏给出如下定义：“云计算将计云计算将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和各种软件服务据需要获取计算力、存储空间和各种软件服务”。云计算模式即为电厂集中供电

3、模式云计算模式即为电厂集中供电模式，它，它的最终目标是将计算、的最终目标是将计算、服务和应用作为一种公共设施提供给公众，使人们能够像使用水、服务和应用作为一种公共设施提供给公众，使人们能够像使用水、电、煤气和电话那样使用计算机资源。电、煤气和电话那样使用计算机资源。LOGO分布式计算所谓分布式计算是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能所谓分布式计算是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来

4、得到最终的结果。最近的分布式计算项目已经被用于使用世界这些计算结果综合起来得到最终的结果。最近的分布式计算项目已经被用于使用世界各地成千上万位志愿者的计算机的闲置计算能力，通过因特网，您可以分析来自外太各地成千上万位志愿者的计算机的闲置计算能力，通过因特网，您可以分析来自外太空的电讯号，寻找隐蔽的黑洞，并探索可能存在的外星智慧生命；您可以寻找超过空的电讯号，寻找隐蔽的黑洞，并探索可能存在的外星智慧生命；您可以寻找超过10001000万位数字的梅森质数；您也可以寻找并发现对抗艾滋病病毒的更为有效的药物。万位数字的梅森质数；您也可以寻找并发现对抗艾滋病病毒的更为有效的药物。这些项目都很庞大，需要惊

5、人的计算量，仅仅由单个的电脑或是个人在一个能让人接这些项目都很庞大，需要惊人的计算量，仅仅由单个的电脑或是个人在一个能让人接受的时间内计算完成是决不可能的。受的时间内计算完成是决不可能的。分布式计算是利用互联网上的计算机的中央处理器的闲置处理能力来解决大型计算问分布式计算是利用互联网上的计算机的中央处理器的闲置处理能力来解决大型计算问题的一种计算科学。在两个或多个软件互相共享信息，这些软件既可以在同一台计算题的一种计算科学。在两个或多个软件互相共享信息，这些软件既可以在同一台计算机上运行，也可以在通过网络连接起来的多台计算机上运行。机上运行，也可以在通过网络连接起来的多台计算机上运行。LOGO

6、并行处理并行处理并行处理（并行处理（Parallel ProcessingParallel Processing）是计算机）是计算机系统中能同时执行两个或更多个处理机的一系统中能同时执行两个或更多个处理机的一种计算方法。处理机可同时工作于同一程序种计算方法。处理机可同时工作于同一程序的不同方面。并行处理的主要目的是节省大的不同方面。并行处理的主要目的是节省大型和复杂问题的解决时间。为使用并行处理，型和复杂问题的解决时间。为使用并行处理，首先需要对程序进行并行化处理，也就是说首先需要对程序进行并行化处理，也就是说将工作各部分分配到不同处理机中。而主要将工作各部分分配到不同处理机中。而主要问题是并

7、行是一个相互依靠性问题，而不能问题是并行是一个相互依靠性问题，而不能自动实现。此外，并行也不能保证加速。但自动实现。此外，并行也不能保证加速。但是一个在是一个在 n n 个处理机上执行的程序速度可能个处理机上执行的程序速度可能会是在单一处理机上执行的速度的会是在单一处理机上执行的速度的 n n 倍。倍。LOGO网格计算首先网格计算也是一种分布式计算。首先网格计算也是一种分布式计算。网格计算通过利用大量异构计算机（通常为桌面）的未用网格计算通过利用大量异构计算机（通常为桌面）的未用资源（资源（CPUCPU周期和磁盘存储），将其作为嵌入在分布式电周期和磁盘存储），将其作为嵌入在分布式电信基础设施中

8、的一个虚拟的计算机集群，为解决大规模的信基础设施中的一个虚拟的计算机集群，为解决大规模的计算问题提供了一个模型。网格计算的焦点放在支持跨管计算问题提供了一个模型。网格计算的焦点放在支持跨管理域计算的能力，这使它与传统的计算机集群或传统的分理域计算的能力，这使它与传统的计算机集群或传统的分布式计算相区别。布式计算相区别。网格计算与其他所有的分布式计算范例都有所区别：网格网格计算与其他所有的分布式计算范例都有所区别：网格计算的本质在于以有效且优化的方式来利用组织中各种异计算的本质在于以有效且优化的方式来利用组织中各种异构松耦合资源，来实现复杂的工作负载管理和信息虚拟化构松耦合资源，来实现复杂的工作

9、负载管理和信息虚拟化功能。功能。云计算的主要服务形式和典型应用云计算的主要服务形式和典型应用 云计算的主要服务形式有：云计算的主要服务形式有：SaaS(Software as a Service)，PaaS(Platform as a Service)，IaaS(Infrastructure as a Service)。(1)软件即服务软件即服务(SaaS)SaaS服务提供商将应用软件统一部署在自己的服务器上，用户根据需求通服务提供商将应用软件统一部署在自己的服务器上，用户根据需求通过互联网向厂商订购应用软件服务，服务提供商根据客户所定软件的数量、时过互联网向厂商订购应用软件服务，服务提供商根

10、据客户所定软件的数量、时间的长短等因素收费，并且通过浏览器向客户提供软件的模式。间的长短等因素收费，并且通过浏览器向客户提供软件的模式。这种服务模式的优势是，由服务提供商维护和管理软件、提供软件运行的这种服务模式的优势是，由服务提供商维护和管理软件、提供软件运行的硬件设施，用户只需拥有能够接入互联网的终端，即可随时随地使用软件。硬件设施，用户只需拥有能够接入互联网的终端，即可随时随地使用软件。客客户不再像传统模式那样花费大量资金在硬件、软件、维护人员，只需要支出一户不再像传统模式那样花费大量资金在硬件、软件、维护人员，只需要支出一定的租赁服务费用，通过互联网就可以享受到相应的硬件、软件和维护服

11、务。定的租赁服务费用，通过互联网就可以享受到相应的硬件、软件和维护服务。对于小型企业来说，对于小型企业来说，SaaS是采用先进技术的最好途径。是采用先进技术的最好途径。目前，目前，S是提供这类服务最有名的公司，是提供这类服务最有名的公司，Google Docs,Google Apps和和Zoho Office也属于这类服务。也属于这类服务。zoho全球第一大在线软件商全球第一大在线软件商Zoho成立于1996年，致力于在线办公的研究，是全球第一大在线软件提供商，由印度人Sridhar Vembu创立。ZOHO是AdventNet公司开发的一个办公室软件套装。Zoho提供了全方位的在线商务办公解

12、决方案，并且完全同现在主流程序兼容，可以直接导入现在主流办公系统的各种文件，同时还可以管理计划、客户，甚至你无需懂编程也可以创建网站应用程序。Zoho采用了AJAX技术，在可视化界面下操作非常人性化，Zoho还提供一些很人性化的功能，如自动保存、拼写检查等。右键菜单也同线下的办公软件一致。日前，宣布将正式登陆中国市场.这意味着ZOHO旗下包括字处理(Zoho Writer)、电子表格(Zoho Sheet)、演示幻灯片(Zoho Show)在内的全套在线 Office 解决方案将与中国用户见面.业内人士分析,ZOHO的加入无疑为本已炙手可热的在线软件市场又添一把火,而国内外巨头围绕在线企业商务

13、软件领域的博弈也成 为2008年整个IT界的一大亮点。Zoho服务列表 Zoho Show：在线的PowerPoint，免费 Zoho Writer：在线的Word，免费 Zoho Sheet：在线Excel，免费 Zoho Virtual Office：在线虚拟办公室，免费版支持10个用户 Zoho CRM：客户关系管理系统，免费版支持3个用户 Zoho Creator：可以订制模块生成web应用程序，免费 Zoho Planner：计划、提醒、备忘，免费 Zoho Chat：聊天室，免费 Zoho Challenge：问卷调查，免费版支持25个 Thandora：基于TAG的黄页，免费 S

14、ite 247：网站监视服务，免费 Zoho Polls：投票系统，免费 Zoho Mail：企业和专业邮箱用户的最佳选择 平台即服务平台即服务(PaaS)把开发环境作为一种服务来提供。这是一种分布式平台服务，厂商提供开把开发环境作为一种服务来提供。这是一种分布式平台服务，厂商提供开发环境、服务器平台、硬件资源等服务给客户，用户在其平台基础上定制开发自发环境、服务器平台、硬件资源等服务给客户，用户在其平台基础上定制开发自己的应用程序并通过其服务器和互联网传递给其他客户。己的应用程序并通过其服务器和互联网传递给其他客户。PaaS能够给企业或个人提供研发的中间件平台，提供应用程序开发、数能够给企业

15、或个人提供研发的中间件平台，提供应用程序开发、数据库、应用服务器、试验、托管及应用服务。据库、应用服务器、试验、托管及应用服务。Google App Engine,Salesforce的的平台，八百客的平台，八百客的800APP是是PaaS的代表产品。的代表产品。云计算的主要服务形式和典型应用云计算的主要服务形式和典型应用 基础设施基础设施即即服务服务(IaaS)IaaS即把厂商的由多台服务器组成的即把厂商的由多台服务器组成的“云端云端”基础设施，作为计量服务提基础设施，作为计量服务提供给客户。它将内存、供给客户。它将内存、I/O设备、存储和计算能力整合成一个虚拟的资源池为整设备、存储和计算能

16、力整合成一个虚拟的资源池为整个业界提供所需要的存储资源和虚拟化服务器等服务。这是一种托管型硬件方个业界提供所需要的存储资源和虚拟化服务器等服务。这是一种托管型硬件方式，用户付费使用厂商的硬件设施。式，用户付费使用厂商的硬件设施。Amazon Web服务（服务（AWS），），IBM的的BlueCloud等均是将基础设施作为等均是将基础设施作为服务出租。服务出租。IaaS的优点是用户只需低成本硬件，的优点是用户只需低成本硬件，按需租用相应计算能力和存储能力，按需租用相应计算能力和存储能力，大大降低了用户在硬件上的开销大大降低了用户在硬件上的开销。GoogleDocs类似于微软的类似于微软的Offi

17、ce的一套在线办公软件。用的一套在线办公软件。用户只需一台接入互联网的计算机和浏览器即可在线处理和搜索文户只需一台接入互联网的计算机和浏览器即可在线处理和搜索文档、表格、幻灯片，并可以通过网络和他人分享并设置共享权限。档、表格、幻灯片，并可以通过网络和他人分享并设置共享权限。http:/ Google AppEngine使用户可以使用户可以使用使用Python和和Java在在Google的基础架构上开发和部署运行自己的应用程序。的基础架构上开发和部署运行自己的应用程序。每个每个Google AppEngine应用程序可以使用达到应用程序可以使用达到500MB的持久存储空的持久存储空间及可支持每

18、月间及可支持每月500万综合浏览量的带宽和万综合浏览量的带宽和CPU，并且可根据用并且可根据用户的访问量和数据存储需要的增长轻松扩展。户的访问量和数据存储需要的增长轻松扩展。其它与其它与“云云”相关应用：相关应用：云安全云安全、云存储云存储、云下载、云下载云安全云安全“云安全（云安全（Cloud Security）”计划是计划是网网络时代络时代信息安全的最新体现，它融合了并信息安全的最新体现，它融合了并行处理、行处理、网格计算网格计算、未知病毒行为判断等、未知病毒行为判断等新兴技术和概念，通过网状的大量新兴技术和概念，通过网状的大量客户端客户端对网络中软件行为的异常监测，获取互联对网络中软件行

19、为的异常监测，获取互联网中木马、恶意程序的最新信息，传送到网中木马、恶意程序的最新信息，传送到Server端进行自动分析和处理，再把病毒端进行自动分析和处理，再把病毒和木马的解决方案分发到每一个客户端。和木马的解决方案分发到每一个客户端。整个整个互联网互联网，变成了一个超级大的，变成了一个超级大的杀毒软杀毒软件件，这就是云安全计划的宏伟目标。，这就是云安全计划的宏伟目标。云存储云存储云存储是在云计算云存储是在云计算(cloud computing)概念上延概念上延伸和发展出来的一个新的概念，是指通过集群应伸和发展出来的一个新的概念，是指通过集群应用、用、网格技术网格技术或分布式文件系统等功能，

20、将网络或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。访问功能的一个系统。当云计算系统运算和处理当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云就转变成为一个云存储系统存储系统，所以云存储是一个，所以云存储是一个以数据存储和管理为核心的云计算系统。以数据存储和管理为核心的

21、云计算系统。云下载“云下载”是云计算的一种，云计算是一种基于网络的架构，它的特点是利用网络使多台计算机共享信息以处理相同或相似的任务，使得计算变得方便快捷。可是，云计算在这个概念被提出来前就已经存在了，所以也算是故弄玄虚。云下载给你举个例子吧：迅雷。云计算时代，可以抛弃U盘等移动设备，只需要进入Google Docs页面，新建文档，编辑内容，然后，直接将文档的URL分享给你的朋友或者上司，他可以直接打开浏览器访问URL。我们再也不用担心因PC硬盘的损坏而发生资料丢失事件。云计算的核心技术云计算的核心技术 编程模型编程模型 海量数据分布存储技术海量数据分布存储技术 海量数据管理技术海量数据管理技

22、术 虚拟化技术虚拟化技术 云计算平台管理技术云计算平台管理技术编程模型编程模型 为了使云计算环境下的编程十分简单，为了使云计算环境下的编程十分简单，Google开发了开发了java、Python、C+编程工具编程工具MapReduce，它是一种简化的分布式编程模型和高效的任，它是一种简化的分布式编程模型和高效的任务调度模型，用于大规模数据集（大于务调度模型，用于大规模数据集（大于1TB）的并行运算。）的并行运算。MapReduce模式的思想是将要执行的问题分解成模式的思想是将要执行的问题分解成Map(映射映射)和和Reduce(化简化简)的方式，先通过的方式，先通过Map程序将数据切割成不相关

23、的区块，分程序将数据切割成不相关的区块，分配（调度）给大量计算机处理，达到分布式运算的效果，再通过配（调度）给大量计算机处理，达到分布式运算的效果，再通过Reduce程序将结果汇整输出。程序将结果汇整输出。GFS是一个可扩展的分布式文件系统，用于大型的、分布式是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。的、对大量数据进行访问的应用。一个一个GFS集群由一个主服务器和大量的块服务器构成，并被集群由一个主服务器和大量的块服务器构成，并被许多客户访问。主服务器存储文件系统所有的元数据，包括名字许多客户访问。主服务器存储文件系统所有的元数据，包括名字空间、访问控制信息

24、、从文件到块的映射以及块的当前位置。它空间、访问控制信息、从文件到块的映射以及块的当前位置。它也控制系统范围的活动，如块租约管理，孤儿块的垃圾收集，块也控制系统范围的活动，如块租约管理，孤儿块的垃圾收集，块服务器间的块迁移。主服务器定期通过服务器间的块迁移。主服务器定期通过HeartBeat消息与每一个消息与每一个块服务器通信，给块服务器传递指令并收集它的状态。块服务器通信，给块服务器传递指令并收集它的状态。GFS中的中的文件被切分为文件被切分为64MB的块并以冗余存储，每份数据在系统中保存的块并以冗余存储，每份数据在系统中保存3个以上备份。个以上备份。客户与主服务器的交换只限于对元数据的操作

25、，所有数据方面客户与主服务器的交换只限于对元数据的操作，所有数据方面的通信都直接和块服务器联系，这大大提高了系统的效率，防止的通信都直接和块服务器联系，这大大提高了系统的效率，防止主服务器负载过重。主服务器负载过重。海量数据分布存储技术海量数据分布存储技术 数据管理技术数据管理技术 云计算需要对分布的、海量的数据进行处理、分析，因此，数云计算需要对分布的、海量的数据进行处理、分析，因此，数据管理技术必需能够高效的管理大量的数据。云计算系统中的数据据管理技术必需能够高效的管理大量的数据。云计算系统中的数据管理技术主要是管理技术主要是Google的的BT(BigTable)数据管理技术和数据管理技

26、术和Hadoop团团队开发的开源数据管理模块队开发的开源数据管理模块HBase。BT是建立在是建立在GFS,Scheduler,Lock Service和和MapReduce之之上的一个大型的分布式数据库，与传统的关系数据库不同，它把所上的一个大型的分布式数据库，与传统的关系数据库不同，它把所有数据都作为对象来处理，形成一个巨大的表格，用来分布存储大有数据都作为对象来处理，形成一个巨大的表格，用来分布存储大规模结构化数据。规模结构化数据。Google的很多项目使用的很多项目使用BT来存储数据，包括网页查询，来存储数据，包括网页查询，Google earth和和Google金融。这些应用程序对金

27、融。这些应用程序对BT的要求各不相同：的要求各不相同：数据大小（从数据大小（从URL到网页到卫星图象）不同，反应速度不同（从后到网页到卫星图象）不同，反应速度不同（从后端的大批处理到实时数据服务）。对于不同的要求，端的大批处理到实时数据服务）。对于不同的要求，BT都成功的提都成功的提供了灵活高效的服务。供了灵活高效的服务。虚拟化技术虚拟化技术 通过虚拟化技术可实现软件应用与底层硬件相隔离，它包括将通过虚拟化技术可实现软件应用与底层硬件相隔离，它包括将单个资源划分成多个虚拟资源的裂分模式，也包括将多个资源整合单个资源划分成多个虚拟资源的裂分模式，也包括将多个资源整合成一个虚拟资源的聚合模式。虚拟

28、化技术根据对象可分成存储虚拟成一个虚拟资源的聚合模式。虚拟化技术根据对象可分成存储虚拟化、计算虚拟化、网络虚拟化等，计算虚拟化又分为系统级虚拟化、化、计算虚拟化、网络虚拟化等，计算虚拟化又分为系统级虚拟化、应用级虚拟化和桌面虚拟化。应用级虚拟化和桌面虚拟化。云计算平台管理技术云计算平台管理技术 云计算资源规模庞大，服务器数量众多并分布在不同的地点，云计算资源规模庞大，服务器数量众多并分布在不同的地点，同时运行着数百种应用，如何有效的管理这些服务器，保证整个系同时运行着数百种应用，如何有效的管理这些服务器，保证整个系统提供不间断的服务是巨大的挑战。统提供不间断的服务是巨大的挑战。云计算系统的平台

29、管理技术能够使大量的服务器协同工作，方便云计算系统的平台管理技术能够使大量的服务器协同工作，方便的进行业务部署和开通，快速发现和恢复系统故障，通过自动化、的进行业务部署和开通，快速发现和恢复系统故障，通过自动化、智能化的手段实现大规模系统的可靠运营。智能化的手段实现大规模系统的可靠运营。典型云计算平台介绍典型云计算平台介绍 Google 的云计算平台的云计算平台 Google公布的云计算技术主要由公布的云计算技术主要由MapReduce、Google文件系统文件系统(GFS)、BigTable组成。组成。Google 还构建其他云计算组件，包括一个领域描述语言还构建其他云计算组件，包括一个领域

30、描述语言以及分布式锁服务机制等。以及分布式锁服务机制等。Sawzall是一种建立在是一种建立在 MapReduce基础上的领域语言，专门用于大规模的信息处基础上的领域语言，专门用于大规模的信息处理。理。Chubby是一个高可用、分布式数据锁服务，当有机器是一个高可用、分布式数据锁服务，当有机器失效时，失效时，Chubby使用使用Paxos算法来保证备份。算法来保证备份。IBM“蓝云蓝云”计算平台计算平台 “蓝云蓝云”基于基于IBM Almaden研究中心的云基础架构，采用了研究中心的云基础架构，采用了Xen和和PowerVM虚拟化软件，虚拟化软件，Linux操作系统映像以及操作系统映像以及Ha

31、doop软件软件(Google File System以及以及MapReduce的开源实现的开源实现)。IBM已经正式推出了基于已经正式推出了基于x86芯片服务器系统的芯片服务器系统的“蓝云蓝云”产品。产品。由图可知，由图可知，“蓝云蓝云”计算平台由一个数据计算平台由一个数据中心、中心、IBM Tivoli部署部署管理软件管理软件(Tivoli provisioning manager)、IBM Tivoli监控软件监控软件(IBM Tivoli monitoring)、IBM WebSphere应用应用服务器、服务器、IBM DB2数数据库以及一些开源信息据库以及一些开源信息处理软件和开源虚

32、拟化处理软件和开源虚拟化软件共同组成。软件共同组成。Amazon将自己的弹性计算云建立在公司内部的大规模集群计算的平台上，而用户可以通过弹性计算云的网络界面去操作在云计算平台上运行的各个实例(instance)。用户使用实例的付费方式由用户的使用状况决定，即用户只需为自己所使用的计算平台实例付费，运行结束后计费也随之结束。Amazon的弹性计算云的弹性计算云 EC2系统的使用模式系统的使用模式 云登陆实现云登陆实现云文件系统实现云文件系统实现云存储实现云存储实现云监控实现云监控实现云计算器实现云计算器实现 云计算系统实例云计算系统实例云脑云脑 机群系统：共机群系统：共5台电脑，一台作为主服务器

33、和监台电脑，一台作为主服务器和监控服务器，两台作为应用节点服务器和存储节点服控服务器，两台作为应用节点服务器和存储节点服务器，两台作为计算节点服务器；务器，两台作为计算节点服务器；基础软件：基础软件：Linux、MPICH2.0（免费的消息传（免费的消息传递编程接口系统）、递编程接口系统）、JDK（Java运行环境）、运行环境）、Tomcat、MySQL数据库；数据库；精通精通linux操作系统，熟悉操作系统，熟悉linux环境下环境搭建和编程；环境下环境搭建和编程；精通UML、XML、JavaScript脚本语言、Java语言及相关 开发工具、多线程编程、网络编程，深刻理解算法设计、数据结构和面向对象思想；精通数据库原理和数据库应用，熟练掌握MySql、Oracle等两种以上数据库管理系统；熟悉Google GFS/Bigtable/Mapreduce原理，熟悉对开源框架Hadoop的配置和使用;熟悉虚拟化技术，如Xen,Vmware,KVM等，熟悉分布式虚拟化；深入理解云计算体系架构、分布式计算、网格计算、并向计算、分布式存储、计算机网络和存储结构；