云计算课件.ppt

《云计算课件.ppt》由会员分享，可在线阅读，更多相关《云计算课件.ppt（55页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、云 计 算Cloud Computing广东省计算中心广东省高性能计算重点实验室徐迪威2023/1/241云计算的概念及其发展云计算的概念及其发展1云计算关键技术云计算关键技术2314云计算体系架构云计算展望云计算展望提提 纲纲2023/1/242云云计计算算的的演演进进云云计计算算后后网网络络时时代代2023/1/243什么是云计算？云计算是一种基于互联网互联网的超级计算超级计算模式，也是一种创新的商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和各种软件服务。2023/1/244CloudDefinition-US Federal G

2、overnmentCloudcomputingisapay-per-usemodelforenablingavailable,convenient,on-demandnetworkaccesstoasharedpoolofconfigurablecomputingresources(e.g.,networks,servers,storage,applications,services)thatcanberapidlyprovisionedandreleasedwithminimalmanagementeffortorserviceproviderinteraction.Thiscloudmod

3、elpromotesavailabilityandiscomprisedoffivekey characteristics,threedelivery models,andfourdeployment models.Definition5CharacteristicsSelf ServiceAnywhere AccessResource PoolingElasticMeteredDeliverySAASPAASIAASDeploymentPublicCommunityPrivateHybrid2023/1/245云计算的技术背景 云计算是并行计算(Parallel Computing)、分布式

4、计算(Distributed Computing)和网格计算(Grid Computing)的发展，或者说是这些计算机科学概念的商业实现。云计算是虚拟化(Virtualization)、SOA(Service Oriented Architecture)等概念混合演进并跃升的结果。2023/1/246云计算的概念模型2023/1/247HP Federal Practice Lead“EverythingasaService”Delivered by CloudBackupSearchEmailSocialNetworkingStorageLocation-basedServicesMobil

5、eServicesManagementAppsBusinessAppsMediaSharingCloudComputingMeansManyDifferentThingstoDifferentPeople2023/1/248云计算的服务类型软件即服务SaaS(SoftwareasaService)平台即服务PaaS(PlatformasaService)基础设施即服务IaaS(InfrastructureasaService)AmazonEC2IBMBlueCloud世纪互联GoogleAppEngineFWindowsAzure百度GoogleAppsMicrosoftOfficeLiveF

6、acebook阿里巴巴2023/1/249102023/1/24云计算的特点计算能力，存储能力，服务能力CPU，服务器，存储，操作系统超大规模分布式节点，互联网接入虚拟化按需所用，按时/按量计费高扩展性大大降低软硬件投资和维护成本按需服务节点互备，避免单点故障低成本专业的安全措施和技术团队高可靠性安全2023/1/2411-12-n数据在云端：不怕丢失，不必备份，可以任意点的恢复。n软件在云端：不必下载自动升级。n无所不在的计算：在任何时间，任意地点，任何设备登录后就可以进行计算服务。n无限强大的计算：具有无限空间的，无限速度。硬件为中心软件为中心服务为中心PCC/S云计算云计算的优势2023

7、/1/24买外部服务实现模式技术模式商业模式人机界面传统方式云计算可扩展，有弹性，动态，多用户所用即所付通过Internet使用(IP,HTML,HTTP)买设备开发系统用户单一支付设备和劳动力费用互联网/局域网云计算带来的变化云计算带来的变化2023/1/2413典型的云计算平台GoogleMapReduceAmazonEC2MicrosoftWindowsAzureIBMBlueCloud2023/1/2414谷歌云计算GoogleMapReduce2023/1/2415MapReduce是Google开发的Java、Python、C+编程工具，用于大规模数据集（大于1TB）的并行运算，也

8、是云计算的核心技术，一种分布式运算技术，也是简化的分布式编程模式，适合用来处理大量数据的分布式运算，用于解决问题的程序开发模型，也是开发人员拆解问题的方法。MapReduce模式的思想是将要执行的问题拆解成Map（映射）和Reduce（化简）的方式，先通过Map程序将数据切割成不相关的区块，分配给大量计算机处理达到分布运算的效果，再通过Reduce程序将结果汇整，输出开发者需要的结果。MapReduce2023/1/2416MapReduceANewModelandSystemTwo phases of data processingMap:(in_key,in_value)(keyj,val

9、uej)|j=1kReduce:(key,value1,valuem)(key,f_value)1718GFSArchitectureGoogle48%MSN19%Yahoo33%Filesbrokenintochunks(typically64MB)MastermanagesmetadataDatatransfershappendirectlybetweenclients/chunkserversClientClientClientReplicasMastersGFS MasterGFS MasterC0C1C2C5Chunkserver 1C0C2C5Chunkserver NC1C3C5

10、Chunkserver 2ClientClientClientClientClientClient2023/1/2418Google云计算中心2023/1/2419亚马逊弹性计算云AmazonElasticComputeCloud2023/1/2420AmazonElasticComputeCloud(EC2)$.10perserverhourVirtualComputeCloudElasticCapacity1.7GHzx861.7GBRAM160GBDisk250MB/SecondNetworkNetworkSecurityModelTimeorTraffic-basedScaling,L

11、oadtesting,SimulationandAnalysis,Rendering,SoftwareasaServicePlatform,Hosting$.10-$.18perGBdatatransfer2023/1/2421EC2SOAP/QueryAPIImages:RegisterImageDescribeImagesDeregisterImageInstances:RunInstancesDescribeInstancesTerminateInstancesGetConsoleOutputRebootInstancesKeypairs:CreateKeyPairDescribeKey

12、PairsDeleteKeyPairImage Attributes:ModifyImageAttributeDescribeImageAttributeResetImageAttributeSecurity Groups:CreateSecurityGroupDescribeSecurityGroupsDeleteSecurityGroupAuthorizeSecurityGroupIngressRevokeSecurityGroupIngress2023/1/2422典型应用典型应用2023/1/2423MicrosoftWindowsAzure2023/1/2424MicrosoftWi

13、ndowsAzure一个基于Internet的云服务平台。提供操作系统和一系列的开发服务，各种服务可进行自由组合。2023/1/2425IBMBlueCloud2023/1/2426-27-IBMBlueCloud资源管理栈监控ProvisioningBaremetal&XenVMDataCenterApache云计算基础设施，可提供托管或现场解决方案。2023/1/24云计算的概念及其发展云计算的概念及其发展1云计算关键技术云计算关键技术2314云计算体系架构结论与展望结论与展望提提 纲纲2023/1/2428云计算技术体系结构2023/1/2429服务接口层（服务接口、服务注册、服务查找、

14、服务访问）管理中间件层（用户管理、资源管理、安全管理、映像管理）虚拟化资源层（计算资源池、网络资源池、存储资源池、数据库资源池）物理资源层（服务器集群、网络设备、存储设备、数据库）SaaSPaaSIaaS云计算技术体系云计算技术体系-服务层次关系服务层次关系技术体系技术体系服务层次服务层次30IaaS实现机制实现机制用户交互接口向应用以WebServices方式提供访问接口，获取用户需求。服务目录是用户可以访问的服务清单。系统管理模块负责管理和分配所有可用的资源，其核心是负载均衡。配置工具负责在分配的节点上准备任务运行环境。监视统计模块负责监视节点的运行状态，并完成用户使用节点情况的统计。20

15、23/1/2431Hadoop架构在Google发表MapReduce后，2004年开源社群用Java搭建出一套Hadoop框架，用于实现MapReduce 算法，能够把应用程序分割成许多很小的工作单元，每个单元可以在任何集群节点上执行或重复执行。Hadoop 提供一个分布式文件系统GFS（Google file system），是一个可扩展、结构化、具备日志的分布式文件系统，支持大型、分布式大数据量的读写操作，其容错性较强。分布式数据库（BigTable）是一个有序、稀疏、多维度的映射表，有良好的伸缩性和高可用性，用来将数据存储或部署到各个计算节点上。Hadoop 框架具有高容错性及对数据读

16、写的高吞吐率，能自动处理失败节点。在架构中MapReduce API提供Map和Reduce处理，GFS分布式文件系统和BigTable分布式数据库提供数据存取。基于Hadoop可以非常轻松和方便完成处理海量数据的分布式并行程序，并运行于大规模集群上。HadoopHadoopHadoopHadoopMapReduce APIMapReduce API(Map,Reduce)(Map,Reduce)BigTableBigTableBigTableBigTable(Database)(Database)(Database)(Database)GFS(File System)GFS(File Sys

17、tem)GFS(File System)GFS(File System)2023/1/2432云计算的概念及其发展云计算的概念及其发展1云计算关键技术云计算关键技术2314云计算体系架构云计算体系架构结论与展望结论与展望提提 纲纲2023/1/24331、MapReduce编程模型MapReduce是一种编程模型，用于大规模数据集的并行运算。概念“Map（映射）”和“Reduce（化简）”和它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。MapReduce软件实现是指定一个Map（

18、映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（化简）函数，用来保证所有映射的键值对中的每一个共享相同的键组。MapReduce2023/1/24341、Map/Reduce编程模型Parallel/DistributedComputingProgrammingModelInputsplitshuffleoutput读入数据读入数据:key/value对的记录格式数据Map:从每个记录里extractsomethingmap(in_key,in_value)-list(out_key,intermediate_value)处理inputkey/valuepair输出中

19、间结果key/valuepairsShuffle:混排交换数据把相同key的中间结果汇集到相同节点上Reduce:aggregate,summarize,filter,etc.reduce(out_key,list(intermediate_value)-list(out_value)归并某一个key的所有values，进行计算输出合并的计算结果(usuallyjustone)输出结果输出结果2023/1/24352、虚拟化技术虚拟化是指计算元件在虚拟的基础上而不是真实的基础上运行，是一个为了简化管理、优化资源的解决方案。虚拟化技术可以扩大硬件的容量，简化软件的重新配置过程。虚拟化是一组模式和

20、技术的集合，这些技术提供了支持资源的逻辑表示所需的功能，以及通过标准接口将其呈现给这些资源的用户所需的功能。2023/1/24362、虚拟化技术第一种，单一资源的多个逻辑表示：第一种，单一资源的多个逻辑表示：这种模式是虚拟化最广泛使用的模式之一。它只包含一个物理资源，但是它向用户呈现的逻辑表示却仿佛它包含多个资源一样。用户与这个虚拟资源进行交互时就仿佛自己是惟一的用户一样，而不会考虑他正在与其他用户一起共享资源。虚拟机就是这种模式的一个例子。硬件物理分区和逻辑分区或软件产品(如 VMware、Microsoft Virtual Server 和 Xen)都实现了服务器的虚拟化。数据库视图的使用

21、将数据与用户隔离开来，这样可以基于用户的角色和身份验证对资源进行访问，即使在所有用户同时访问相同的数据库时，也不会出现任何问题。实现虚拟化时常常使用的一些模式和技术：实现虚拟化时常常使用的一些模式和技术：2023/1/24372、虚拟化技术第二种：多个资源的单一逻辑表示第二种：多个资源的单一逻辑表示：这种模式包含了多个组合资源，以便将这些资源表示为提供单一接口的单个逻辑表示形式。在利用多个功能不太强大的资源来创建功能强大且丰富的虚拟资源时，这是一种非常有用的模式。存储虚拟化就是这种模式的一个例子。IBM的SANVolumeController可以将几个存储卷组合在一起，将它们呈现为一个大型的单

22、一存储设备，用户并不知道自己的数据被分散到了多个磁盘上。实现虚拟化时常常使用的一些模式和技术：实现虚拟化时常常使用的一些模式和技术：2023/1/24382、虚拟化技术第三种，在多个资源之间提供单一逻辑表示：第三种，在多个资源之间提供单一逻辑表示：这种模式包括一个以多个可用资源之一的形式表示的虚拟资源。虚拟资源会根据指定的条件来选择一个物理资源实现，例如资源的利用、响应时间或临近程度。尽管这种模式与第二种模式非常类似，但是它们之间有一些细微的差别。首先，每个物理资源都是一个完整的副本，它们不会在逻辑表示层上聚集在一起。其次，每个物理资源都可以提供逻辑表示所需要的所有功能，而不是像第二种模式那样

23、只能提供部分功能（例如，第二种模式是文件的一部分，这种模式是文件的一个完全副本）。这种模式的一个常见例子是使用应用程序容器来均衡任务负载。在将请求或事务提交给应用程序或服务时，用户并不关心到底是几个容器中执行的哪一个应用程序的副本为请求或事务提供服务，用户只是希望请求或事务得到处理。实现虚拟化时常常使用的一些模式和技术：实现虚拟化时常常使用的一些模式和技术：2023/1/24392、虚拟化技术第四种，单个资源的单一逻辑表示：第四种，单个资源的单一逻辑表示：这是用来表示单个资源的一种简单模式，就仿佛它是别的什么资源一样。启用Web的企业后台应用程序就是一个常见的例子。在这种情况下，我们不是修改后

24、台的应用程序，而是创建一个前端来表示Web界面，它会映射到应用程序接口中。这种模式允许通过对后台应用程序进行最少的修改（或根本不加任何修改）来重用一些基本的功能。也可以根据无法修改的组件，使用相同的模式构建服务。实现虚拟化时常常使用的一些模式和技术：实现虚拟化时常常使用的一些模式和技术：2023/1/24402、虚拟化技术第五种，复合或分层虚拟化：第五种，复合或分层虚拟化：这种模式是上述一种或多种模式的组合，它使用物理资源来提供丰富的功能集。信息虚拟化是这种模式一个很好的例子。它提供了底层所需要的功能，这些功能用于管理对资源、包含有关如何处理和使用信息的元数据以及对信息进行处理的操作的全局命名

25、和引用。实现虚拟化时常常使用的一些模式和技术：实现虚拟化时常常使用的一些模式和技术：IBMWebSphereInformationServer就是这样一个例子，它提供了一些利用到异构资源和统一元数据的广泛连接来集成、丰富和传递信息所需的功能，有些体系架构或框架，例如OpenGridServicesArchitecture(OGSA)或者GridComputingComponents，实际上都是虚拟化的组合或虚拟化的不同层次。这个框架中的每一层都是更低一层的抽象，它为上层提供了一个定义好的接口。随着我们在这个架构中的层次(或框架堆栈)的上升，底层提供的资源都组合成了更复杂的功能。例如，任务负载虚

26、拟化和信息虚拟化就为已经虚拟化过的基础设施(系统、存储和网络)提供了更高级的虚拟化。2023/1/24412、虚拟化技术2023/1/24423、面向服务的体系架构(SOA)面向服务的体系结构（SOA）是一个组件模型，是指为了解决在Internet环境下业务集成的需要，通过连接能完成特定任务的独立功能实体实现的一种软件系统架构。SOA将应用程序的不同功能单元（称为服务）通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的，它独立于实现服务的硬件平台、操作系统和编程语言。这使得构建在各种这样的系统中的服务可以以一种统一和通用的方式进行交互。SOA是一种软件架构设计的模型和

27、方法论。从业务角度来看，一切以最大化“服务”的价值为出发点，SOA利用企业现有的各种软件体系，重新整合并构建起一套新的软件架构。这套软件架构能够随着业务的变化，随时灵活地结合现有服务，组成新软件，共同服务于整个企业的业务体系。简单的理解，我们可以把SOA看作是模块化的组件，每个模块都可以实现独立功能，而不同模块之间的结合则可以提供不同的服务，模块之间的接口遵循统一标准，可以实现低成本的重构和重组。在SOA的技术框架下，可以把杂乱无章的庞大系统整合成一个全面有序的系统，从而增加企业在业务发展过程中应用系统的灵活性，实现最大的IT资产利用率。2023/1/2443SOA参考模型参考模型服务中介服务

28、中介(服务总线服务总线)(服务注册、调用、路由、事件框架）服务注册、调用、路由、事件框架）中间件（提供实现级构件框架以及基础公共服务）交互服务信息服务流程服务企业应用服务接入服务伙伴服务开发工具业务流程建模服务建模服务构件开发服务构件组装IT服务管理工具(服务/应用/资源)安全监控管理部署安全事务监控基础架构基础架构企业服务总线ESB接入层接入层IE手机网站其他接入PortletsPortletsWebServices接入服务组件服务层服务层组件层组件层资源层资源层企业现有系统数据企业组件企业组件企业组件简单服务组合服务表示层表示层统一接入服务统一接入服务商业流程商业流程第3方企业服务适配器E

29、jb,jms,jndi,架架构构图图2023/1/2445构件粗粒度化组织结构松散化互操作标准化构建方式快捷组编化SOA技术本质 软软 件件 复复 用用软软 件件 互互 操操作作业务敏捷性合适粒度封装原则合适粒度封装原则松耦合松耦合原则原则标准化原则标准化原则一个中心一个中心两个基本点两个基本点三个原则三个原则四个变化四个变化2023/1/24463、面向服务的体系架构(SOA)SOA基本特征：可从外部访问随时可用粗粒度的服务接口分级松散耦合可重用的服务服务接口设计管理标准化的服务接口支持各种消息模式精确定义的服务契约ServiceComponentArchitecture2023/1/244

30、74、云存储通过集群应用、网格技术、分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能。2023/1/24484、云存储云存储架构2023/1/24494、云存储云存储技术云存储技术Google File System(GFS)Hadoop Distributed File System(HDFS)文件系统文件系统组件失败管理组件失败管理文件大小文件大小数据写方式数据写方式数据流和控制流数据流和控制流传统分布式文件系统作为异常处理大量少文件修改现存数据数据流和控制流结合GFS不作为异常处理少量大文件在文件末尾附加数据数据流和

31、控制流分开GFS与传统分布式文件系统的比较与传统分布式文件系统的比较2023/1/24504、云存储-GFSGoogle File System(GFS)GFS系统由一个Master和大量块服务器构成。Master存放文件系统的所有元数据，包括名字空间、存取控制、文件分块信息、文件块的位置信息等。GFS中的文件切分为64MB的块进行存储。在GFS文件系统中，采用冗余存储的方式来保证数据的可靠性。每份数据在系统中保存3个以上的备份。为了保证数据的一致性，对于数据的所有修改需要在所有的备份上进行，并用版本号的方式来确保所有备份处于一致的状态。客户端不通过Master读取数据，避免了大量读操作使Ma

32、ster成为系统瓶颈。客户端从Master获取目标数据块的位置信息后，直接和块服务器交互进行读操作。2023/1/24514、云存储-HDFSHadoop Distributed File System(HDFS)HDFS采用master/slave架构。一个HDFS集群是有由一个Namenode和一定数目的Datanode组成。Namenode是一个中心服务器，负责管理文件系统的namespace和客户端对文件的访问。Datanode在集群中一般是一个节点一个，负责管理节点上它们附带的存储。在内部，一个文件其实分成一个或多个block，这些block存储在Datanode集合里。Nameno

33、de执行文件系统的namespace操作，例如打开、关闭、重命名文件和目录，同时决定block到具体Datanode节点的映射。Datanode在Namenode的指挥下进行block的创建、删除和复制。2023/1/2452云计算的概念及其发展云计算的概念及其发展1云计算关键技术云计算关键技术2314云计算体系架构云计算体系架构结论与展望结论与展望提提 纲纲2023/1/2453随着web2.0和通信技术的快速发展，云计算产业在全世界风起云涌。目前，我国正处于“十二五”中期，调整经济结构、转变经济增长方式仍是经济发展的主要任务，云计算能够促进社会创新能力的发挥、催生新的商兴模式、提升经济发展效益与质量，转变经济增长方式。云计算是一种开放的模式，云安全是云计算发展必须解决的关键问题。云计算为数据资产提供了保存、访问的途径，如何盘活数据资产，使其为国家治理、企业决策乃至个人生活服务，是云计算内在的灵魂和必然的升级方向。云计算发展趋势：l大数据的支持l闲置资源的整合利用l云服务的社会化和个性化l云计算开源社区l桌面云部署2023/1/2454广东省计算中心Guangdong Computing CenterTel:86-20-83549721徐迪威Adey X2023/1/2455