云计算的关键技术与挑战.ppt

《云计算的关键技术与挑战.ppt》由会员分享，可在线阅读，更多相关《云计算的关键技术与挑战.ppt（42页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、云计算的关键技术与挑战主要内容云计算的关键技术云计算的技术挑战Google file System介绍云计算的关键技术云计算的技术挑战Google file System介绍云计算的关键技术快速部署资源调度多租户海量数据处理大规模消息通信大规模分布式存储许可证管理和计费云计算的关键技术快速部署并行部署技术将传统的顺序部署方式改为并行执行，同时执行多个部署任务，将虚拟机同时部署到多个物理及上制约部署速度因素部署服务器的读写能力或部署系统的有限网络带宽协同部署技术将虚拟机镜像在多个目标物理机之间的网络中传输，提高部署速度制约部署速度因素目标物理机之间的网络带宽总和云计算的关键技术资源调度资源调度在

2、特定的资源环境下，根据一定的资源使用规则，在不同的资源使用者之间进行资源调整的过程两种途径调整计算任务的资源使用量转移计算任务云计算的新挑战海量规模满足服务级别协定云计算的关键技术多租户技术多租户技术大量用户共享同一堆栈的软、硬件资源，每个用户按需使用资源，能够对软件服务进行客户化配置而不影响其他用户的使用采用多租户技术的SaaS应用特征SaaS应用基于Web的租户能够对SaaS平台本身进行扩展技术难点数据隔离、客户化配置、架构扩展、性能定制云计算的关键技术海量数据处理海量数据处理对大规模数据的计算和分析，通常数据的规模可达TB甚至PB级别典型例子搜索引擎并行计算模型River编程模型MapR

3、educe编程模型云计算的关键技术大规模消息通信同步消息通信异步消息通信云计算中新的挑战足够稳定能够伸缩保证安全高效率云计算的关键技术大规模分布式存储大规模分布式存储技术分布式文件系统FranqupaniGoogle File System云存储服务Amazon Simple Storage ServiceGoogle BigTable云计算的关键技术许可证管理与计费IT基础设施的许可证管理与计费模式按需付费按使用计费大量提供商还未制定产品在云计算环境下的计费模式较成熟的是Amazon提供的EC2和S3的按量计费模式云计算的关键技术云计算的技术挑战Google file System介绍云计算

4、的技术挑战安全性可用性可伸缩性信息保密高性能标准化云计算的技术挑战安全性云计算特有的安全问题传统观念转变政策法规保障云中每个节点都可能受到攻击现有软件系统安全防护模式如何改变云计算的技术挑战可用性软件系统在一定时间内正常工作的时间占总时间的比重，通常用百分比衡量云计算环境能够在最大程度上减少资源的不可用对业务系统的影响通过技术创新，保证即使软、硬件出现问题服务仍然可用云计算的技术挑战可伸缩性通过资源的增加或减少来应对负载的变化，并保持一致的性能垂直伸缩在现有的服务节点上增加或减少资源水平伸缩在现有的服务节点上增加或减少服务节点云计算的技术挑战信息保密信息的内容不应该被未授权的人得到非法用户访问

5、难度较大数据在云的大规模分布式存储机制中，完整的数据实体被打散存储在不同的服务器上，而每个数据块可包含不同的数据实体根本方法从逻辑上甚至物理上将多个用户的数据隔离云计算的技术挑战高性能云环境所承担的计算、存储和通信方面的负载大于传统的计算环境服务器虚拟化技术CPU开销较小内存性能开销较大（访问冲突）大规模数据处理技术MapReduce适用性问题原语设计导致的性能问题大量的网络消息通信问题分布式存储技术面对网络不可控的环境云计算的技术挑战标准化维护多个云之间的数据同步、应用版本同步、应用在多个云之间的互操作云计算的标准化工作还在酝酿之中开放式云宣言(Open Cloud Manifesto)总结

6、云计算的特点和现有挑战建立开放的云基础设施将是未来云计算领域的发展趋势对开放标准的呼吁云计算的关键技术云计算的技术挑战Google file System介绍Google 文件系统(GFS)适用于大规模数据密集型应用程序的可扩展分布式文件系统多个部署GFS的集群已经建成目前最大的集群为：1000多个存储节点300+TB的存储容量可供不同机器上的上百用户同时读取介绍与之前的分布式文件系统一样，需要达到性能、可扩展性、可靠性等GFS的设计源于对Google应用程序的负载和技术环境的观察介绍：观察1控件的故障时常发生系统集成了实时监控、错误检测、容错性和自动恢复等功能超大文件（与普通文件相比）GB大

7、小的文件很正常介绍：观察2大部分文件修改都是添加新的内容需要考虑优化性能和保证原子性协同设计应用程序和API有利于增加整个系统的灵活性设计集群包含一个master和多个chunkservers，并且可供多个用户读取Master维护文件系统的所有元数据命名空间、控制信息、桶（包括副本）位置等周期性地与chunkserver进行交流，发送HeartBeat 消息来给出命令并检查状态帮助决定chunk的位置和副本确定当读取或写入文件，用户从Master获得chunk的位置，并直接与chunkserver通信Master并不是读写的瓶颈chunkservers文件分裂成chunks，每个chunk拥有

8、一个不变的全局的独一无二的64位chunk句柄句柄在chunk创建的时候由master分配Chunk的大小为64MB默认每个chunk复制到三个服务器上用户应用程序使用文件系统API读写时与master和chunkserver进行通信与master交互获得元数据与chunkserver交互获得数据只缓存元数据信息 数据太大不能放在缓存中Chunk 位置Master并不保留关于chunk及其副本位置的永久记录启动时通过询问chunkserver获得通过HeartBeat消息并控制新chunk位置来更新信息操作日志记录所有关键元数据的修改存储在master上并复制到其它机器上规定并行操作的顺序所有

9、副本完成修改后再反馈给用户用来恢复文件系统状态系统交互：修改顺序所有的chunk副本之间存在修改顺序Master选取一个副本称为原始副本原始副本选取之后连续的修改顺序副本对于master来说最小化了管理的开销系统交互：修改顺序记录添加的原子操作用户指定写入的数据，GFS选择并返回写入的偏移量，并将数据一次追加到每个副本的后面Google分布式应用程序经常使用不需要分布式锁管理器GFS选择偏移量，不是用户如何添加记录与修改的过程类似原始副本告诉第二个副本偏移位置（与原始副本一样）追加数据如果某一副本在追加数据过程中发生故障，用户会重新尝试相同chunk的副本可能包含不同的数据包括相同记录全部或部

10、分的副本GFS并不保证所有的副本的每位都相等只能保证写入的数据是一次完成的所有chunk副本必须写入相同偏移量的位置副本位置放置位置策略需考虑数据可靠性和网络带宽副本不仅放置在不同的机器上，也放置在不同的rack上写入操作影响到多个rackChunk创建由master创建和放置放置在低于平均磁盘使用率的chunkserver上在一个chunkserver上限制最近创建的数目检测过期的数据Master通过使用chunk版本号来区分现在和过期的数据获取数据时增加版本号当副本不再有效时，其版本不再增加当chunkserver报告chunk及其版本的时候Master检测过期的副本在垃圾收集的时候删除过

11、期的副本垃圾收集当用户删除文件，master像其他操作一样写日志，并修改文件名设为隐藏文件Master在3天内扫描文件系统命名空间的时候删除隐藏文件元数据也会被擦除在HeartBeat消息里，chunkservers发送给master所拥有的chunk，master发送给它没有元数据的文件，chunkserver之后在自己节点将文件删掉容错性：高有效性快速恢复Master和chunkserver可以在数秒内重新启动Chunk复制Server复制当原来的master发生故障后，“影子”master提供只读服务Master上的所有副本都更改后才完成修改容错性：数据完整性Chunkserver使用校验和来检测错误数据副本的每个位并不全部相同，因此chunkserver维护自己的校验和每次读取，chunkserver在发送chunk的时候都会检验校验和写入数据后会更新校验和小结云计算产生、发展、推广过程中的新技术云计算的不足和面临的挑战GFS中的主要技术谢谢！