云计算技术以及体系结构.ppt

《云计算技术以及体系结构.ppt》由会员分享，可在线阅读，更多相关《云计算技术以及体系结构.ppt（33页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、关于云计算技术及体系结构第一张，PPT共三十三页，创作于2022年6月一、什么是云计算一、什么是云计算云计算（cloud computing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。狭义云计算指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。它意味着计算能力也可作为一种商品

2、通过互联网进行流通。第二张，PPT共三十三页，创作于2022年6月云计算背景云计算背景云计算是继1980年代大型计算机到客户端-服务器的大转变之后的又一种巨变。 云计算（Cloud Computing）是分布式计算（Distributed Computing）、并行计算（Parallel Computing）、效用计算（Utility Computing）、网络存储（Network Storage Technologies）、虚拟化（Virtualization）、负载均衡（Load Balance）等传统计算机和网络技术发展融合的产物。第三张，PPT共三十三页，创作于2022年6月云计算的兴

3、起云计算的兴起云计算是近年来一个热门的技术名词，很多专家认为，云计算会改变互联网的技术基础，甚至会影响整个产业的格局。正因为如此，很多大型企业都在研究云计算技术和基于云计算的服务，亚马逊、谷歌、微软、IBM、SUN 等IT 巨头都在其中。第四张，PPT共三十三页，创作于2022年6月云计算的兴起云计算的兴起几年之内,云计算已从新兴技术发展成为当今的热点技术。从2003 年Google 公开发布的核心文件到2006 年Amazon EC2（亚马逊弹性计算云）的商业化应用，再到美国电信巨头AT&T（美国电话电报公司）推出的Synaptic Hosting（动态托管）服务，云计算从节约成本的工具到盈

4、利的推动器，从ISP（网络服务提供商）到电信企业，已然成功地从内置的IT 系统演变成公共的服务。2012 年更是云计算快速发展的一年，各种云技术、云方案将陆续出台，无论是早期亚马逊的Cloud Drive，还是2011 年苹果公司推出的iCloud，或是2012 年微软推出的System Center 系统等，都把目标盯紧了云计算这块大“肥肉”。第五张，PPT共三十三页，创作于2022年6月云计算的定义云计算的定义Wiki定义：云计算是一种通过Internet以服务的方式提供动态可伸缩的虚拟化的资源的计算模式。美国国家标准与技术研究院（NIST）定义：云计算是一种按使用量付费的模式，这种模式提

5、供可用的、便捷的、按需的网络访问， 进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。“云计算”概念现在被大量运用到生产环境中，国内的“阿里云”与云谷公司的XenSystem，以及在国外已经非常成熟的Intel 和IBM，各种“云计算”的应服务范围正日渐扩大，影响力也无可估量。第六张，PPT共三十三页，创作于2022年6月云计算常与网格计算、效用计算区别云计算常与网格计算、效用计算区别网格计算：分布式计算的一种，由一群松散耦合的计算机组成的一个超级虚拟计算机，常用来执行一些大型任务。效用计算：

6、IT资源的一种打包和计费方式，比如按照计算、存储分别计量费用，像传统的电力等公共设施一样。云计算部署依赖于计算机集群（但与网格的组成、体系结构、目的、工作方式大相径庭），也吸收了自主计算和效用计算的特点。第七张，PPT共三十三页，创作于2022年6月云计算主要经历了四个阶段才发展到现在这样比较成熟的水平，这四个阶段依次是电厂模式、效用计算、网格计算和云计算。第八张，PPT共三十三页，创作于2022年6月云计算的服务云计算的服务形式形式基础设施即服务（IaaS）：消费者通过Internet可以从完善的计算机基础设施获得服务。平台即服务（PaaS）：PaaS实际上是指将软件研发的平台作为一种服务，

7、以SaaS的模式提交给用户。因此，PaaS也是SaaS模式的一种应用。但是，PaaS的出现可以加快SaaS的发展，尤其是加快SaaS应用的开发速度。软件即服务（SaaS）：它是一种通过Internet提供软件的模式，用户无需购买软件，而是向提供商租用基于Web的软件，来管理企业经营活动。第九张，PPT共三十三页，创作于2022年6月第十张，PPT共三十三页，创作于2022年6月二、云计算体系结构 云计算基本原理：利用非本地或远程服务器（集群）的分布式计算机为互联网用户提供服务（计算、存储、软硬件等服务）。这使得用户可以将资源切换到需要的应用上，根据需求访问计算机和存储系统。云计算可以把普通的服

8、务器或者PC连接起来以获得超级计算机计算机的计算和存储等功能，但是成本更低。云计算真正实现了按需计算，从而有效地提高了对软硬件资源的利用效率。云计算的出现使高性并行计算不再是科学家和专业人士的专利，普通的用户也能通过云计算享受高性能并行计算所带来的便利，使人人都有机会使用并行机，从而大大提高了工作效率和计算资源的利用率。云计算模式中用户不需要了解服务器在哪里，不用关心内部如何运作，通过高速互联网就可以透明地使用各种资源。第十一张，PPT共三十三页，创作于2022年6月二、二、云计算体系结构云计算体系结构云计算是全新的基于互联网的超级计算理念和模式，实现云计算需要多种技术结合，并且需要用软件实现

9、将硬件资源进行虚拟化管理和调度，形成一个巨大的虚拟化资源池，把存储于个人电脑、移动设备和其他设备上的大量信息和处理器资源集中在一起，协同工作。按照最大众化、最通俗理解云计算就是把计算资源都放到互联网上，互联网即是云计算时代的云。计算资源则包括了计算机硬件资源（如计算机设备、存储设备、服务器集群、硬件服务等）和软件资源（如应用软件、集成开发环境、软件服务）。第十二张，PPT共三十三页，创作于2022年6月二、二、云计算体系结构云计算体系结构云计算体系结构： 云计算平台是一个强大的“云”网络，连接了大量并发的网络计算和服务，可利用虚拟化技术扩展每一个服务器的能力，将各自的资源通过云计算平台结合起来

10、，提供超级计算和存储能力。通用的云计算体系结构如下图所示：第十三张，PPT共三十三页，创作于2022年6月云计算体系结构云用户端：提供云用户请求服务的交互界面，也是用户使用云的入口，用户通过Web浏览器可以注册、登录及定制服务、配置和管理用户。打开应用实例与本地操作桌面系统一样。服务目录：云用户在取得相应权限（付费或其他限制）后可以选择或定制的服务列表，也可以对已有服务进行退订的操作，在云用户端界面生成相应的图标或列表的形式展示相关的服务。第十四张，PPT共三十三页，创作于2022年6月云计算体系结构云计算体系结构管理系统和部署工具：提供管理和服务，能管理云用户，能对用户授权、认证、登录进行管

11、理，并可以管理可用计算资源和服务，接收用户发送的请求，根据用户请求并转发到相应的相应程序，调度资源智能地部署资源和应用，动态地部署、配置和回收资源。监控：监控和计量云系统资源的使用情况，以便做出迅速反应，完成节点同步配置、负载均衡配置和资源监控，确保资源能顺利分配给合适的用户。服务器集群：虚拟的或物理的服务器，由管理系统管理，负责高并发量的用户请求处理、大运算量计算处理、用户Web应用服务，云数据存储时采用相应数据切割算法采用并行方式上传和下载大容量数据。用户可通过云用户端从列表中选择所需的服务，其请求通过管理系统调度相应的资源，并通过部署工具分发请求、配置Web应用。第十五张，PPT共三十三

12、页，创作于2022年6月云计算体系结构云计算体系结构云计算服务层次：在云计算中，根据其服务集合所提供的服务类型，整个云计算服务集合被划分成4个层次：应用层、平台层、基础设施层和虚拟化层。这4个层次每一层都对应着一个子服务集合，为云计算服务层次如下图所示：第十六张，PPT共三十三页，创作于2022年6月云计算体系结构云计算体系结构云计算的服务层次是根据服务类型即服务集合来划分，与大家熟悉的计算机网络体系结构中层次的划分不同。在计算机网络中每个层次都实现一定的功能，层与层之间有一定关联。而云计算体系结构中的层次是可以分割的，即某一层次可以单独完成一项用户的请求而不需要其他层次为其提供必要的服务和支

13、持。在云计算服务体系结构中各层次与相关云产品对应。应用层对应SaaS软件即服务如：Google APPS、SoftWare+Services；平台层对应PaaS平台即服务如：IBM IT Factory、Google APPEngine、F；基础设施层对应IaaS基础设施即服务如：Amazo Ec2、IBM Blue Cloud、Sun Grid；虚拟化层对应硬件即服务结合Paas提供硬件服务，包括服务器集群及硬件检测等服务。第十七张，PPT共三十三页，创作于2022年6月云计算体系结构云计算技术层次：云计算技术层次和云计算服务层次不是一个概念，后者从服务的角度来划分云的层次，主要突出了云服务

14、能给我带来什么。而云计算的技术层次主要从系统属性和设计思想角度来说明云，是对软硬件资源在云计算技术中所充当角色的说明。从云计算技术角度来分，云计算大约有4部分构成：物理资源、虚拟化资源、中间件管理部分和服务接口，如下图所示：服务接口：统一规定了在云计算时代使用计算机的各种规范、云计算服务的各种标准等，用户端与云端交互操作的入口，可以完成用户或服务注册，对服务的定制和使用。第十八张，PPT共三十三页，创作于2022年6月云计算体系结构云计算体系结构第十九张，PPT共三十三页，创作于2022年6月云计算体系结构云计算体系结构服务管理中间件：在云计算技术中，中间件位于服务和服务器集群之间，提供管理和

15、服务即云计算体系结构中的管理系统。对标识、认证、授权、目录、安全性等服务进行标准化和操作，为应用提供统一的标准化程序接口和协议，隐藏底层硬件、操作系统和网络的异构性，统一管理网络资源。其用户管理包括用户身份验证、用户许可、用户定制管理；资源管理包括负载均衡、资源监控、故障检测等；安全管理包括身份验证、访问授权、安全审计、综合防护等；映像管理包括映像创建、部署、管理等。虚拟化资源：指一些可以实现一定操作具有一定功能，但其本身是虚拟而不是真实的资源，如计算池，存储池和网络池、数据库资源等，通过软件技术来实现相关的虚拟化功能包括虚拟环境、虚拟系统、虚拟平台。第二十张，PPT共三十三页，创作于2022

16、年6月云计算体系结构云计算体系结构物理资源：主要指能支持计算机正常运行的一些硬件设备及技术，可以是价格低廉的PC，也可以是价格昂贵的服务器及磁盘阵列等设备，可以通过现有网络技术和并行技术、分布式技术将分散的计算机组成一个能提供超强功能的集群用于计算和存储等云计算操作。在云计算时代，本地计算机可能不再像传统计算机那样需要空间足够的硬盘、大功率的处理器和大容量的内存，只需要一些必要的硬件设备如网络设备和基本的输入输出设备等。第二十一张，PPT共三十三页，创作于2022年6月三、三、典型云计算平台典型云计算平台云计算的研究吸引了不同技术领域巨头，因此对云计算理论及实现架构也有所不同。如亚马逊利用虚拟

17、化技术提供云计算服务，推出S3（Simple Storage Service）提供可靠、快速、可扩展的网络存储服务，而弹性可扩展的云计算服务器EC2（Elastic Compute Cloud）采用Xen虚拟化技术，提供一个虚拟的执行环境（虚拟机器），让用户通过互联网来执行自己的应用程序。IBM将包括Xen和PowerVM虚拟的Linux 操作系统镜像与Hadoop并行工作负载调度。下面以Google公司的云计算核心技术和架构作基本讲解。云计算的先行者Google的云计算平台能实现大规模分布式计算和应用服务程序，平台包括MapReduce分布式处理技术、Hadoop框架、分布式的文件系统GFS

18、、结构化的BigTable存储系统以及Google其他的云计算支撑要素。现有的云计算通过对资源层、平台层和应用层的虚拟化以及物理上的分布式集成，将庞大的IT资源整合在一起。更重要的是，云计算不仅仅是资源的简单汇集，它为我们提供了一种管理机制，让整个体系作为一个虚拟的资源池对外提供服务，并赋予开发者透明获取资源、使用资源的自由。第二十二张，PPT共三十三页，创作于2022年6月1 1、MapReduceMapReduce分布式处理技术分布式处理技术MapReduce是Google开发的Java、Python、C+编程工具，用于大规模数据集（大于1TB）的并行运算，也是云计算的核心技术，一种分布式

19、运算技术，也是简化的分布式编程模式，适合用来处理大量数据的分布式运算，用于解决问题的程序开发模型，也是开发人员拆解问题的方法。MapReduce模式的思想是将要执行的问题拆解成Map（映射）和Reduce（化简）的方式，先通过Map程序将数据切割成不相关的区块，分配（调度）给大量计算机处理达到分布运算的效果，再通过Reduce程序将结果汇整，输出开发者需要的结果。MapReduce的软件实现是指定一个Map（映射）函数，把键值对（key/value）映射成新的键值对（key/value），形成一系列中间形式的key/value对，然后把它们传给Reduce（化简）函数，把具有相同中间形式key

20、的value合并在一起. map和reduce函数具有一定的关联性1. map (k1,v1) - list(k2,v2) 2. reduce (k2,list(v2) -list(v2) 第二十三张，PPT共三十三页，创作于2022年6月1 1、MapReduceMapReduce分布式处理技术分布式处理技术其中v1、v2可以是简单数据，也可以是一组数据，对应不同的映射函数规则。在 Map过程中将数据并行，即把数据用映射函数规则分开，而Reduce则把分开的数据用化简函数规则合在一起，也就是说Map是一个分的过程，Reduce则对应着合。MapReduce应用广泛，包括简单计算任务、海量输入

21、数据、集群计算环境等，如分布grep、分布排序、单词计数、Web连接图反转、每台机器的词矢量、Web访问日志分析、反向索引构建、文档聚类、机器学习、基于统计的机器翻译等。 第二十四张，PPT共三十三页，创作于2022年6月2 2、HadoopHadoop架构架构在Google发表MapReduce后，2004年开源社群用Java搭建出一套Hadoop框架，用于实现MapReduce 算法，能够把应用程序分割成许多很小的工作单元，每个单元可以在任何集群节点上执行或重复执行。此外，Hadoop 还提供一个分布式文件系统GFS（Google file system），是一个可扩展、结构化、具备日志的

22、分布式文件系统，支持大型、分布式大数据量的读写操作，其容错性较强。而分布式数据库（BigTable）是一个有序、稀疏、多维度的映射表，有良好的伸缩性和高可用性，用来将数据存储或部署到各个计算节点上。 Hadoop 框架具有高容错性及对数据读写的高吞吐率，能自动处理失败节点，如图所示为Google Hadoop架构。在架构中MapReduce API提供Map和Reduce处理、GFS分布式文件系统和BigTable分布式数据库提供数据存取。基于Hadoop可以非常轻松和方便完成处理海量数据的分布式并行程序，并运行于大规模集群上。第二十五张，PPT共三十三页，创作于2022年6月GoogleGo

23、ogle云计算执行过程云计算执行过程云计算服务方式多种多样，通过对Google云计算架构及技术的理解，在此给出用户将要执行的程序或处理的问题提交云计算的平台Hadoop，其执行过程如图所示：第二十六张，PPT共三十三页，创作于2022年6月GoogleGoogle云计算执行过程云计算执行过程如图所示的Google云计算执行过程包括以下步骤。（1）将要执行的MPI程序复制到Hadoop框架中的Master和每一台Worker机器中。（2）Master选择由哪些Worker机器来执行Map程序与Reduce程序。（3）分配所有的数据区块到执行Map程序的Worker机器中进行Map（切割成小块数据

24、）。（4）将Map后的结果存入Worker机器。 （5）执行Reduce程序的Worker机器，远程读取每一份Map结果，进行混合、汇整与排序，同时执行Reduce程序。（6）将结果输出给用户（开发者）。在云计算中为了保证计算和存储等操作的完整性，充分利用MapReduce的分布和可靠特性，在数据上传和下载过程中根据各Worker节点在指定时间内反馈的信息判断节点的状态是正常还是死亡，若节点死亡则将其负责的任务分配给别的节点，确保文件数据的完整性。第二十七张，PPT共三十三页，创作于2022年6月核心技术核心技术1、编程模式 2、海量数据分布存储技术 3、海量数据管理技术 4、虚拟化技术 5、

25、云计算平台管理技术第二十八张，PPT共三十三页，创作于2022年6月四、四、云计算应用云计算应用云计算的表现形式多种多样，简单的云计算在人们日常网络应用中随处可见，如腾讯QQ空间提供在线制作Flash图片，彩字秀提供的个性文字图片的处理，Google Doc和Google Apps、zoho、用远程软件进行Office处理。对于众多的服务，可以将云计算提供的服务细分为以下7个类型。（1）SaaS（软件即服务）。软件厂商将应用软件统一部署在服务器或服务器集群上，通过互联网提供软件给用户。用户也可以根据自己实际需要向软件厂商定制或租用适合自己的应用软件，通过租用方式使用基于Web的软件来管理企业经

26、营活动。软件厂商负责管理和维护软件，对于许多小型企业来说，SaaS是采用先进技术的最好途径，它消除了企业购买、构建和维护基础设施和应用程序的需要，近年来，SaaS的兴起已经给传统软件企业带来强劲的压力。在这种模式下，客户不再像传统模式那样花费大量投资用于硬件、软件、人员，而只需要支出一定的租赁服务费用，通过互联网便可以享受到相应的硬件、软件和维护服务，享有软件使用权和不断升级，这是网络应用最具效益的营运模式。第二十九张，PPT共三十三页，创作于2022年6月四、四、云计算应用云计算应用SaaS通常被用在企业管理软件领域、产品技术和市场，国内的厂商以八百客、沃利森为主，主要开发CRM、ERP等在

27、线应用。用友、金蝶等老牌管理软件厂商也推出在线财务SaaS产品。国际上其他大型软件企业中，微软提出了Software+SaaS的模式，谷歌推出了与微软Office竞争的Google Apps，Oracle在收购Sieble升级Sieble on-demand后推出Oracle On-demand，SAP推出了传统和SaaS的杂交（Hybrid）模式。（2）平台即服务。平台即服务PaaS（Platform as a service）是提供开发环境、服务器平台、硬件资源等服务给用户，用户可以在服务提供商的基础架构基础上开发开发程序并通过互联网和其服务器传给其他用户。PaaS能够提供企业或个人定制研

28、发的中间件平台，提供应用软件开发、数据库、应用服务器、试验、托管及应用服务，为个人用户或企业的团队协作。在云计算服务中，平台即服务包括以下类型服务。 提供集成开发环境。云服务提供商开发、测试、部署、维护应用程序等服务，满足不同用户需要的不同开发周期和集成开发环境，多用户互动测试，版本控制，部署和回滚。第三十张，PPT共三十三页，创作于2022年6月四、四、云计算应用云计算应用 集成Web服务和数据库。支持SOAP和REST的接口，组成多个网络服务，支持多用户使用不同数据库的平台，协作用户实现云计算设计。 支持团队协作。平台服务通过共享代码和预定义方式，可以界定、更新和跟踪设计人员，开发、测试、

29、质量控制完成团队协作。 提供实用设备。以租用方式提供相应设备（如大型集群系统，存储系统等）以端到端方式给用户。平台系统比应用软件系统复杂，是一系列的软件硬件协议的系统集合。把平台独立于软件之外来另立为单独的服务项目，能够让服务更具有目的化，易于管理和维护。PaaS能给客户带来更高性能、更个性化的服务，也是SaaS今后发展的趋势，一个SaaS软件也能给客户在互联网上提供开发（自定义）、测试、在线部署应用程序的功能，那么这就叫提供平台服务PaaS。Salesforce的平台和八百客的800APP是PaaS的代表产品。PaaS厂商也吸引软件开发商在PaaS平台上开发、运行并销售在线软件。第三十一张，

30、PPT共三十三页，创作于2022年6月四、四、云计算应用云计算应用（3）按需计算（Utility Computing）。按需计算，是将多台服务器组成的云端计算资源包括计算和存储，作为计量服务提供给用户，由IT领域巨头如IBM的蓝云、Amazon的AWS及提供存储服务的虚拟技术厂商的参与应用与云计算结合的一种商业模式，它将内存、I/O设备、存储和计算能力整合成一个虚拟的资源池为整个业界提供所需要的存储资源和虚拟化服务器等服务。按需计算用于提供数据中心创建的解决方案，帮助企业用户创建虚拟的数据中心，诸如3Tera的AppLogic，Cohesive Flexible Technologies的按需

31、实现弹性扩展的服务器。Liquid Computing公司的LiquidQ提供类似的服务，能帮助企业将内存、I/0、存储和计算容量通过网络集成为一个虚拟的资源池提供服务。按需计算方式的优点在于用户只需要低成本硬件，按需租用相应计算能力或存储能力，大大降低了用户在硬件上的开销。（4）MSP（管理服务提供商）。管理服务是面向IT厂商的一种应用软件，常用于应用程序监控服务、桌面管理系统、邮件病毒扫描、反垃圾邮件服务等。目前瑞星杀毒软件早已推出云杀毒的方式，而SecureWorks、IBM提供的管理安全服务属于应用软件监控服务类。第三十二张，PPT共三十三页，创作于2022年6月感谢大家观看第三十三张，PPT共三十三页，创作于2022年6月