云计算关键技术探究.docx

云计算关键技术探究徐迪威广东省高性能计算重点实验室，广州 510033摘要：云计算是一种基于互联网超级计算模式，也是一种创新商业计算模型。经过近三年来理念推广和案例运作，云计算正越来越为人们所承受，成为IT开展风向标。通过探讨云计算关键技术，提醒了云计算是多种新技术整合部署。关键词：云计算；虚拟化；效劳模式1 云计算概述云计算Cloud Computing是于2007年提出一种新型计算模式，是分布式计算Distributed Computing、网格计算Grid Computing和并行计算Parallel Computing商用开展，是虚拟化Virtualization、效用计算Utility Computing、面向效劳体系构造SOA等概念混合演进并跃升结果。通过云计算，网络效劳提供者可以在瞬息之间，处理数以千万计甚至亿计信息，实现和超级计算机同样强大效能，同时，用户可以按需计量地使用这些效劳，从而实现将计算作为一种公用设施来提供梦想。云计算是一种基于互联网超级计算模式，也是一种创新商业计算模型。Amazon、IBM、Google、Microsoft、Oracle等众多国际厂商推出了各自云计算平台。我国在阿里巴巴、百度、世纪互联、中国移动等公司带动下，正在构筑强大“中国云。珠三角各市紧跟技术开展，也在密锣紧鼓地建立效劳本地“云计算中心。云计算代表了信息时代未来，把互联网变成一种全新计算平台，能够在网络上实现按需购置与按使用付费业务模式，有广阔开展前途。云计算平台云计算中心为电子商务、电子政务、物联网、数字城市、数字娱乐等应用提供了强有力支撑。2 云计算体系构造云计算效劳层次分为：根底设施即效劳IaaS、平台即效劳PaaS和软件即效劳SaaS三个层次。IaaS是云计算效劳根底层，它把根底资源封装成效劳；PaaS负责资源动态扩展和容错管理；SaaS是云计算效劳高层，它将特定应用软件功能封装成效劳。云计算技术体系可分为：物理资源层、虚拟化资源层、管理中间件层和效劳接口层四个层次。物理资源层提供物理设施效劳，如效劳器集群、存储器、网络设备、数据库、软件等；虚拟化层把一样类型资源整合构成同构资源池，如计算资源池、存储资源池等；管理中间件层负责资源管理、任务管理、用户管理和平安管理等工作；效劳接口层将云计算能力封装成标准Web Services效劳。云计算技术体系与效劳层次关系如图1所示。Apache Hadoop是云计算最常见一个架构，是用Java语言实现分布式系统根底软件框架，由Hadoop Core、HBase、Zookeeper三个子工程组成，实现了分布式文件系统HDFSHadoop Distributed File System。HDFS有着高容错性fault-tolerent特点，并且设计用来部署在低廉硬件上。而且它提供高传输率来访问应用程序数据，适合那些有着超大数据集应用程序。HDFS放宽了对POSIXPortable Operating System Interface要求，这样可以流形式访问文件系统中数据。图1 云计算技术体系效劳层次关系图3 云计算关键技术得益于并行计算、虚拟化、面向效劳架构SOA等新技术开展，云计算得以快速推广，计算方法、存储方式、效劳模式得以不断创新。 虚拟化Virtualization虚拟化作为云计算核心特征，是云计算依托根底。虚拟化技术是指计算元件在虚拟根底上而不是真实根底上运行，它可以扩大硬件容量，简化软件重新配置过程，减少软件虚拟机相关开销和支持更广泛操作系统方面。在云计算实现中，计算系统虚拟化是一切建立在“云上效劳与应用根底。虚拟化技术目前主要应用在CPU、操作系统、效劳器等多个方面，是提高效劳效率最正确解决方案。3.2 IaaS/PaaS/SaaS效劳模式效劳模式创新是云计算一个重要特性。云计算彻底实现了计算机软硬件都是效劳变革，今后用户所需要东西只有一种效劳，包括：计算效劳、网络效劳、软件效劳、平台效劳、存储效劳等。l 根底设施即效劳Infrastructure as a Service, IaaSIaaS就是将根底设施主要为计算资源、网络资源和存储资源作为效劳出租。这意味着虚拟计算机不仅具有有保证处理能力，而且为存储和 Internet 访问预留了带宽。实际上，IaaS 具有在有特定效劳质量约束情况下出租计算机或数据中心能力，使之能执行任意操作系统和软件。IaaS使用分为公共和私有两种。公共IaaS采用Internet上公共效劳器池，如亚马逊弹性计算云Amazon Elastic Compute Cloud, Amazon EC2，而私有IaaS那么使用企业内部数据中心一组公共或私有效劳器池。l 平台即效劳Platform as a Service, PaaSPaaS就是 IaaS 加上一个用于给定应用定制软件栈，可描述为一个完整虚拟平台，它包括操作系统和围绕特定应用必需效劳。PaaS包含一个软件层，并作为一项效劳提供此软件层，这项效劳可用来构建更高水平效劳，如SaaS。l 软件即效劳Software as a Service, SaaSSaaS是一种基于互联网提供软件效劳应用模式，是管理软件开展趋势，也是云计算部署最正确实践。由于SaaS依托对象为软件和互联网，因此它具有网联网特性、多重租赁特性和易用特性。 并行计算和并行算法并行计算是相对于串行计算通常针对单个CPU或单台计算机而提出并发计算方法，它将进程相对独立地分配于不同节点上，由各自独立操作系统调度，享有独立CPU和内存资源内存可以共享；进程间相互信息交换通过消息传递。并行计算机通常是多指令多数据MIMD系统，主要构造类型有：并行向量处理机PVP、对称多处理机SMP、大规模并行处理机MPP、分布式共享存储处理机DSM、工作站机群COW和网格机Gird, Cluster of Clusters，全球超级计算机TOP500中大多采用COW和MPP构造，而PVP已退出历史舞台；主要存储访问模型有：一致性存储访问UMA、非一致性存储访问NUMA、一致性高速缓存非均匀存储访问CC-NUMA、缓存存储访问COMA和非远程存储访问NORMA。并行计算模型主要为PRAMParallel Random Access Machine、BSPBulk Synchronous Parallel和LogP。PRAM是单指令流多数据流SIMD并行机中一种具有共享存储模型，其优点是构造简单、便于进展理论分析；BSP计算模型又称大同步模型，其放弃了程序局部性原理，从而简化程序与实现设计；LogP使用了L(Latency)、O(Overhead)、G(Gap)、P(Processor)四个参数来描述这个模型，采用了消息同步技术。并行程序开发环境主要有：MPIMessage Passing Interface、OpenMP和PVMParallel Virtual Machine。MPI由标准消息传递函数及相关辅助函数构成，多个进程通过调用这些函数类似调用子程序进展通信；OpenMP是为在多处理机上编写并行程序而设计一个应用编程接口，包括一套编译指导语句和一个用来支持它函数库；PVM将各种异构计算机集合看成一个通用并行计算环境，可满足用户选择适合程序设计方式表达应用算法和选择最适宜硬件体系构造执行，支持软件重用。MPI多用在集群cluster系统，而OpenMP那么用在共享存储系统如SMP、DSM。3.4 Web2.0互联网2.0是相对Web1.0新一类互联网应用统称。Web1.0主要特点在于用户通过浏览器获取信息，Web2.0那么更注重用户交互作用，用户既是网站内容消费者浏览者，同时也是网站内容制造者。Web使用以交互性和未来社会性网络为导向，它以Blog博客、RSS聚合内容、SNS社交网络、P2P、Wiki百科全书、IM即时通讯等社会软件应用为核心，依据六度分隔、XML、Ajax等新理论和技术实现互联网新一代模式。Information Technology中“Information，因为只有丰富Information才是Internet开展之道。 面向效劳体系构造Service-Oriented Architecture, SOASOA是一个组件模型，它将应用程序不同功能单元称为效劳通过这些效劳之间定义良好接口和契约联系起来。接口是采用中立方式进展定义，它应该独立于实现效劳硬件平台、操作系统和编程语言。这使得构建在各种这样系统中效劳可以一种统一和通用方式进展交互。SOA是一种架构，云计算是基于某个架构之上结果，云计算有很多方面与SOA有穿插。有效SOA治理是非常重要。SOA治理也称为效劳治理，指是保证一些核心功能在整个生命周期开发、平安、性能以及其他策略上能保持一致。随着云计算和SOA不断融合，对治理策略、治理技术需求日益迫切。 云平安Cloud Security云平安经过样本收集和MD5端匹配技术开展阶段，目前已开展到了第三代可信云平安。可信云平安主要功能是云端收集+自动识别鉴定，云端鉴定器可随时增加。客户端提交几个字节 DNA 指纹数据到云端匹配，是将传统杀毒引擎和互联网应用相结合产物。可信云平安特点是网上自动平安检测和防御，客户端可以优化到很小，以提高性能、减少资源消耗。云端探针自动完成样本收集、鉴定和实时响应。 云存储Cloud Storage云存储是在云计算概念上延伸和开展出来一个新概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能一个系统。云存储核心是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储效劳转变。图2 云存储构造模型云存储构造模型由存储层、根底管理层、应用接口层和访问层四层组成，如图2所示。存储层由存储设备和统一存储设备管理系统构成；根底管理层是云存储最核心局部，实现云存储中多个存储设备之间协同工作；应用接口层可由用户开发不同应用效劳接口，提供不同应用效劳；访问层提供用户授权认证效劳。传统存储系统利用紧耦合对称TCS架构，这种架构设计旨在解决高性能计算问题，目前其正在向外扩展成为云存储从而满足快速呈现市场需求。下一代架构已经采用了松弛耦合非对称LCA架构，集中元数据和控制操作。它不是通过执行某个策略来使每个节点知道每个行动所执行操作，而是利用一个数据路径之外中央元数据控制效劳器。4 完毕语云计算具有超大规模、虚拟化、高可用性、高可靠性、按需效劳、及其廉价等特点。云计算经历近年许多成功案例和经历后，正在迅速得到普及应用，是IT开展风向标。随着多核处理器、异构计算和多级存储混合并行技术开展，云计算将更加依赖于集中式处理数据中心，与SOA结合也将更加严密。参考文献：1 刘鹏. 云计算M. 北京：电子工业出版社，20212 王鹏. 走进云计算M. 北京：人民邮电出版社，20213 孙世新，卢光芒等. 并行计算及其应用M. 北京：机械工业出版社，20064 IBM, Sun Microsystems, etc. Open Cloud ManifestoP, 20215 百度百科6 Wikipedia. Exploration of the Key Technique of Cloud ComputingXU Di-wei(The Key Lab of High Performance Computing of Guangdong Province, Guangzhou 510033)Abstract: Cloud Computing is a internet-based mode of supercompute, and is an innovative business computing model. It has been accepted by more and more people and becomes a vane of information technology via concept announcing and case deploying in recent year. By discussing its key technique, the paper opens out that Cloud Computing is the integration of several new techniques.Keywords: Cloud Computing; Virtualization; Service Mode