基于云计算的在线操作系统研究.pdf

《基于云计算的在线操作系统研究.pdf》由会员分享，可在线阅读，更多相关《基于云计算的在线操作系统研究.pdf（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第 31卷Vol?31?第 3期No?3西 华 师 范 大 学 学 报(自 然 科 学 版)Journal of ChinaW estNor malUniversity(Natural Sciences)2010年 9月Sep?2010文章编号:1673?5072(2010)03?0314?05?收稿日期:2010-03-08基金项目:四川省教育厅重点科研项目(08ZA018);西华师范大学校级科研项目(06A002)作者简介:滕?云(1971-),男,四川蓬溪人,西华师范大学计算机学院讲师,主要从事软件理论、算法理论和计算机操作系统教学及研究.基于云计算的在线操作系统研究滕?云,唐新国,罗?

2、宇(西华师范大学计算机学院,四川 南充?637009)摘?要:云计算成为近年来研究的热点.本文提出了基于云计算和网格计算的网络环境,即是使用基于云计算和网格计算的 W eb OS.使用云计算可以把整个操作系统移动网络上,而网格计算作为附加特性以增强云计算的性能和效率.用户只需一台可连接互联网的最小配置的计算机,通过浏览器访问运行在服务器上的所有基于网络的应用,即可达到最容易、最高效的使用方式.关键词:云计算;网格计算;在线操作系统;分布文件系统中图分类号:TP393?文献标识码:A云(Cloud)计算和网格(Grid)计算成为近年来研究的热点.在云计算方式下,用户工作在网络环境而不是局限于本地

3、的存储器和软件.使用云计算,无论在哪里(家或者办公室),你都可通过因特网访问本地 PC、硬盘和软件.使用云计算的概念你可以把整个操作系统移到网络上.网格计算作为附加特性以增强云计算的性能和效率.1?云计算1.1?云计算概念云计算是一个模糊的术语,涵盖了一系列技术和服务.包括:网格计算(Grid Computing)、效用计算(U tility Computing)、软件即服务(Soft ware as a Service)、云端存储(Storage in the Cloud)和虚拟化(Virtualiza?tion)等 1.很多学者和机构都对云计算作了定义,只是侧重点不一样而已.比如:中国云计

4、算专委会认为,云计算最基本的概念是:通过整合、管理、调配分布在网络各处的计算资源,并以统一的界面同时向大量用户提供服务 2.一个公认的模式是,计算发生在?云端 !位于公司网络的外部.尽管是最高端的技术,云计算却并不神秘.当你使用联机的照片存储、文字处理、电子邮件、电子表格、数据存储或其它的基于互联网的应用时,你就在使用云计算.基于互联网的应用每天都在发生,比如联机的幻灯片创建、联机的设计工具、联机的思维导图(M indM apping)和文件转换、协作软件、社会化媒体(SocialMedia)等等.这里我们看到,随着互联网的发展,W eb2.0的浪潮使得大众可以参与信息制造和编辑,从而导致信息

5、增长具有无限性的趋势.而摩尔定律的终结,使得在技术上和经济上都没有办法依靠硬件性能的提升而解决这一问题.怎样低成本的高效快速解决无限增长?第 31卷第 3期?滕?云,等:基于云计算的在线操作系统研究315?的信息的存储和计算问题是一个摆在科学家面前的命题.而云计算是采用大规模低成本运算单元通过 IP网络相连而组成的运算系统以提供运算服务的技术.它具有高性能、低成本、通用性强的特点.它可以以较低成本和较高性能解决无限增长的海量信息的存储和计算问题.它使得 I T 基础设施能够实现资源化和服务化,使得用户可以按需定制,从而改变了传统 IT基础设施的交用和支付方式 2.总之,云计算成为普遍的应用有技

6、术的、经济的、通信的多方面的原因.从技术上看,使用云计算不存在难度;从经济上看,使用云计算只有较低的开销;最后,它使得交流更容易.1.2应用云计算图 1是目前云计算模式下的网络概图 3.图中是提供应用和计算的服务提供商,周边是客户.下面是使用云计算的几种情况:地点.如果客户端分布广泛,则云计算是一种自然的选择.相反地,如果客户端相距很近,就没有必要涉及到云计算.随着全球商业化的进程,即使是公司内部的客户端都分布在全世界,距离这个概念已经崩溃.除了时间开销不同,在澳大利亚和纽约之间的协作就像在曼哈顿的麦迪逊大街和第五大街之间的协作那样容易.工作方式.如果需要与客户端紧密地合作,云计算是可选择的方

7、式.而如果不需要协作就能完成任务和计划,则不需要使用云计算.数据和应用.云计算在工作中提供了数据处理和挖掘的能力 4.它得益于搜索引擎和联机数据存储技术的持续进步.云计算已经给用户提供了一个全球最大的图书馆,而且它每秒钟都在变大.对许多通信从业者来说,不以某种方式把互联网作为资源来使用是不可能的.网络和设备.云计算的充分使用要求有一个足够强大的网络,它能够输送应用和数据;还要有一个设备能处理它们.这种设备要有一个强大的 CPU及多个连接起来的网络.这些网络可以是从通过以太网电缆的直接连接到通过使用无线宽带(W i-Fi)和移动电话卡、键盘、电话的连接.有人说苹果公司的 i-Phone就是云计算

8、设备发展到目前的最新应用.许多其它设备还在不断地推出,然而它们将受其连接网络的限制.2?在在线操作系统中应用云计算2.1?在线操作系统在线操作系统(W eb OS)正成为时下日益关注的主题.其功能很类似于传统的操作系统,但它不包括计算机硬件的驱动程序.一个原因是互联网技术提高所带来的日益增加的带宽,这使得在互联网和 W eb OS之间的应用和数据的传送更快速.我们可使用云计算的架构来设计 W eb OS,这使得计算更简单、快捷和高效.用这种方法,用户能够与来自于多台计算机的应用一起工作.此外,企业能更有效地控制企业数据和减少恶意软件的影响.而且,云计算可以使协作更容易和减轻平台不兼容问题.云架

9、构的关键难题是大规模的数据处理.在传统的数据处理中,下面这些都是难以做到的:完全按照应用需要的数量给它分配设备;当用户需要时就分配设备;在不同的设备上分配和协调大规模的任务,在设备上运行程序,当一台设备出现故障时,提供另一台设备以恢复运行;自动按比例地提高或降低动态负载;当任务完成时释放所有设备.而云架构就可解决这样的问题.在云架构上构建的应用在云中运行!其基础结构的物理位置由服务提供者决定 5.它们利用了访问因特网服务的简单应用程序接口(API),它们随需求变化,且非常强大,复杂的可靠性和基础服务的逻辑扩展性被实施和隐藏在云中.根据需要,云架构中的资源的使用有时是暂时性的或周期性的,这就可以

10、提供最高的利用率和最适宜的开销.藏在开发W ebOS之后的关键动力是对基于网页的应用需求的提高.有几个这样的应用近几年获得了发展的推力,特别有电子邮件(Hot mail和 Gmail)、即时通讯和数据存储(Xdrive),还有基于网页(W eb)的文字处理和电子表格(Google Docs和 Nu mbler)也是如此.在基于 W eb应用的早期,像完成拖放文件、无需刷新整个页面而对文件做小的改动以及缓存本地数据这样一般的功能都很难做到.随着316?西华师范大学学报(自然科学版)2010年像 A jax、Adobe F lash、Adobe Integrated Runti m e(AIR)、

11、Google Gears和 M icrosoft Silver light等技术(使得开发出了大量的基于 W eb的应用)的出现,这种情况得到了改变.W eb OS的主要挑战之一是一直致力于解决安全限制,比如,浏览器的沙盒(sandbox)功能,用来限制 Web应用的本地执行.WebOS通过用浏览器作为界面来使用基于 Web的应用,这看起来就像传统操作系统的界面 6,如图 2所示.它们使用一个基于 URL的文件系统,通过的一个联机域名系统的查询,让基于 Web的应用从操作系统提供商的服务器来访问文件.同样地,在技术上使用一个独立于本地的资源命名系统,它可以让应用程序在远程服务器上完成对服务和资

12、源的调用.2.2?基于云计算的 W ebOS架构W eb OS在相同的基础架构上有所变化.应用程序服务器是一个虚拟主机,它运行程序并把它们发送到表示服务器,它管理客户端的连接 7.Web OS供应商或者托管公司或者数据中心都能容纳应用和表示服务器.简单的 W eb OS使用二层架构,这时设备既是应用又是表示服务器.客户端是第二层.许多复杂系统用一组服务器来代替单一的应用和表示服务器.这种情况下,对用户来说,服务器组就像一台设备.这种类型的系统利用多服务器的计算和存储能力以提供更多的可扩展性和可靠性.一个 W eb OS运行在任何能访问互联网的计算机或设备上.这对那些没有自己的计算机且必须在网吧

13、、图书馆和学校工作的移动员工或人很重要.W eb OS的用户也可以工作、注销,然后从不同的计算机登录.此外,由于相同的 W eb OS能运行在不同的计算机上,这个技术有利于多个工作中心的协作.传统的 OS仅在一台机器上运行.W eb OS的扩展功能允许从多个位置更容易地访问信息和更好的用户协作,比如,网络文件系统(Network File Syste m),一种对不同设备输入输出本地文件的方法,又如,远程桌面(Remote Desktop),用另一台设备控制某台计算机的方法.然而,如果仅仅是在同一网络中的设备或专有网络的计算机中运用这些技术,则不能很好发挥它们的作用.使用 W eb OS,用户

14、可从 Web桌面上存储、查找以及管理文件和服务,比如:日历和电子邮件.且是在 OS提供商的服务器上存储应用、文件和服务,而不是在用户自己的计算机上,这使得即使 PC或笔记本被窃取,窃贼也很难使用它们.W eb OS的用户不用对工作备份或归档,因为提供商的远程服务器完成了这些功能.由于 W eb OS的操作是跨平台的,这消除了在操作系统与应用程序之间的兼容性问题.因此,同一个 Web OS可以运行在 W indows、M ac和 Linux系统上.应用程序设计者仅仅只需为 W eb OS开发一次程序,而不必考虑对每个传统的操作系统去多次开发,只是系统管理员必须对给定的 W eb OS为应用程序做

15、一次配置,然后,他们可很容易地把程序分发给联机用户.W eb OS和它的应用程序一般是建立在可以从一个位置进行监视和保护的服务器上,这就提供了一个集中式的恶意软件保护 8.3?在云计算中使用网格计算云计算的目标是把传统的超级计算或高性能计算能力(通常被用于军事和科研设施以完成每秒几十万亿次的计算)应用于民用领域,比如金融投资,或者传递个性化的信息,或者增强拟真的电脑游戏.我们可以在云计算中耦合网格计算(Grid Computing)来提高性能.计算能力供需间距离的加大使得企业对它们的应用程序代码进行并行化处理.不幸的是,并行程序既耗费时间又容易出错,另外,新兴的云计算模式对基础架构的影响迫使企

16、业重新思考它们应用程序的架构.我们提出了网格批处理系统(Grid-Batch system),它主要解决云计算架构限制下的大规模密集数据批处理问题.网格批处理是一种程序设计模式,且和隐藏有并行编程复杂性的数据库相关联,它给用户对数据如何划分及计算如何分配以使应用程序有尽可能高的性能以完?第 31卷第 3期?滕?云,等:基于云计算的在线操作系统研究317?全的控制 9.3.1?网格批处理系统在网格批处理系统中有两种基本的数据类型:表和索引表(来自于数据库的术语).一张表是一组相互独立的记录(行数据)集合.表中的所有的记录都遵循同一模式且每个记录可能包含有几个字段(列数据).除了每个记录有一个关联

17、索引项(可以是某个字段或用户提供的其它数据),索引表和表很相似.数据表和矢量及单指令多数据(SI MD)计算机中的矢量概念相似,或者和计算机系统架构下流处理的流概念相似.一张数据表或矢量或流表明了其中的所有记录是相互独立的,因此它们可被并行处理.矢量或流允许计算机架构师设计专门的硬件,它执行一条指令,却应用在矢量或流的所有记录上.相似的,数据表允许我们设计一个在云中能跨设备并行处理记录的软件系统.网格批处理系统由两部分组成:分布式文件系统(DFS)和作业调度程序 10.3.2?分布式文件系统分布式文件系统(DFS)是 Google文件系统(GFS)的扩展,它支持一种新的文件类型(固定块数量的文

18、件,下面会描述到).DFS负责管理文档及在系统的所有结点中存储它们.一个长文件被分成许多小的数据块,每个块可被存储在分离的结点.在系统的所有结点中,一个结点作为名字结点,其它的作为数据结点.名字结点负责文件系统的名字空间,它维护从 DFS文件到数据块链的映射,包括确定数据块所在的结点及在结点上的位置.当在 DFS客户端请求建立一个新的 DFS文档时,名字结点也能对查询响应;或者为存在的文件分配新的数据块;或者从 DFS客户端请求打开已存在的文件时返回数据块的位置.数据结点负责长文件数据块的管理,它对从 DFS客户端读写数据块的请求作出响应.一个 DFS客户端首先连接名字结点,得到一个文件数据块

19、的位置链;然后它直接连接数据结点以读写数据.DFS存储两种类型的文件:固定块大小的文件和固定块数量的文件.固定块大小的文件和 GFS中的一样,它被划分成每块 64 M 大小的块.当新的记录写入时,它们被添加在最后一个块的尾部.当最后块的大小达到了 64 M,名字结点分配一新块.索引表则采用一种新的文件类型:固定块数量的文件,每个文件都有固定数量的块(比如,其值由用户定义为 C),且每个块可以是任意大小.当一个 DFS客户端请求建立一个新文件时,名字结点在同一时间分配所有的 C个块且返回到 DFS客户端.尽管用户可以给 C任意的值,但我们建议 C值可以这样考虑:预料的块大小(预料的文件大小除以

20、C)应足够小以能有效处理,比如每个块不超过 64 M.每个固定块数量的文件都有一个相关的划分函数,它定义了数据块该如何划分.当建立文件时,DFS客户端提交用户定义的划分函数(带参数 C),然后由名字结点来存储文件.当另外的 DFS客户端在此后要打开此文件时,带有数据块位置的划分函数被返回客户端.当新的数据记录要写入时,DFS客户端就调用划分函数以确定数据块数量,然后把记录添加到块的末尾.用户定义的划分函数可用如下格式:int PartitionFunc(index x)x是要写入记录的索引.划分函数使用哈希函数把索引转换成一个或多个 1到 C之间的整数,它指示了记录要被写入的特定数据块,多数情

21、况是返回一个整数.然而,如果用户想要把数据提供给多个结点,划分函数则返回一整型的数组.例如:用户可能需要对所有的数量为 C数据块完成数据本地复制,用户可以设计一个划分函数返回一个从 1到 C所有整数的列表.典型地,C可设置得比 N(系统中的设备数量)大一点.从 C到 N的映射是固定的(即是说,所有索引表中特定数据块编号对应的数据在同一台设备上)且在由名字结点维护的系统级的查找表中被规定.为了支持块大小的动态的变化,这样的映射是必要的.当旧设备移开(可能是因为故障)和新设备加入时,网格批处理能自动地对存储和负载重新平衡.我们提出固定数量块的文件类型是因为我们主要使用的分析应用不同于网络应用.W

22、eb应用(比如单词计数、反向网页链接等)会产生大量非结构化的数据,这能满足于固定数据块大小的文件.相反,大部分分析应用,比如数据仓库,具有大量的结构化数据.为有效的处理,数据划分总是把数据分成较小的片段,比如在任意现代数据库系统中的数据库划分.如果在分析应用中使用固定块大小的文件,则只要有新的分析应用开始就会产生数据混排.与 GFS318?西华师范大学学报(自然科学版)2010年相似,所有的数据块在系统的各结点上要复制多次.当设备故障时,数据不会丢失且系统将对存储和负载重新平衡.在 GFS中,备份数据块被存储在随机的可选结点上,对两个不同文件的同一数据块的同一备份块(比如 1号数据块的第 1块

23、备份)可以存储在不同的结点上.对固定块大小的文件,我们维持了同样的备份模式.但对固定块数量的文件,我们固定从备份块到结点的映射,比如,两个不同文件的 i数据块的第 1块备份总是存储在相同的结点上.当结点故障时,我们可简单地改变全系统的映射表,以使数据块指向备份结点且局部性可得到保护.综上所述,代之把应用建立在固定和僵化的基础架构上,云架构提供了一个新的途径,它把应用建立在按需定制的基础架构上.无需任何前期投资,我们就能以并行方式把作业大规模地分布在多结点上运行,且随需求(用户、输入数据集规模)逐步地变化.由于没有空闲时间,应用基础架构得到充分利用.不管是使用云计算还是效用计算,无所不在的高速互

24、联网连接能力、连接数据库、应用程序和处理能力将改变我们在通信领域的工作方式 11.为提高客户端系统的性能,我们用网格计算来解决相关的限制.参考文献:1?ARMBRUST M,FOX A,GRIFFI TH R,et a.l Above the Clouds:A Berkeley V iew ofCloud Co mputingDB/OL.http:/cite?seerx.ist.psu.edu/viewdoc/do wnload?doi=10.1.1.150.628&rep=rep1&type=pd,f 2009.2?张为民,唐剑峰,罗治国等.云计算!深刻改变未来 M.北京:科学出版社,200

25、9.3?维基词条.云计算 DB/OL.http:/zh.wikipedia.org/zh-cn/%E9%9B%B2%E7%AB%AF%E9%81%8B%E7%AE%97.4?FOSTER I AN,ZHAO Y,RA I CU I,et a.l Cloud Computing andG rid Computing 360-Degree Compared A.Grid Comput.Environ.W orkshop,GCE C.NJ,United States:Inst.ofElec.and Elec.Eng.Co mputer Society,2008.5?AJAYKUMAR S,NACHI

26、 APPAN C,PER I YAKARUPPAN K,et a.l Enhancing Portable Environment Using Cloud and G ridA.Int.Con.f SignalProcess.Syst.,ICSPS 2009 C.NJ,United States:IEEE,2009,728-732.6?W eb OSDB/OL.http:/baike.baidu.co m/vie w/1554403.ht m?fr=ala0_1.7?王?龙,万振凯.基于服务架构的云计算研究及其实现 J.计算机与数字工程,2009,37(7):88-91.8?AARON WEI

27、SS.Computing in the clouds J.neW t orker,2007,11(4):16-25.9?陈?康,郑纬民.云计算:系统实例与研究现状 J.软件学报,2009,20(05):1337-1348.10?王庆波,金?涬,何?乐,等.虚拟化与云计算 M.北京:电子工业出版社,2010.11?王?鹏.走近云计算 M.北京:人民邮电出版社,2009.Research onW eb Operating System Based on Cloud and GridTENG Yun,TANG X in?guo,LUO Yu(College ofCo mputer,ChinaW es

28、tNor malUniversity,Nanchong 637009,China)Abstract:Cloud computing has becom e a hotspot in recent years.This paper introduces a net work environ m ent u?sing cloud computing and grid computing,.i e.aweb OS based on the m.W e can shift thewhole OS to the web u?sing the concept of Cloud Computing.Grid

29、 Computing is used as an addition feature to provide more performancemeasure and efficiency forC loud Computing.In this case,the users can run allweb?based applications that obtainfiles from the server by using a browser as the interfacew ith easy and efficientway,which only needs a system w ithm ini mum configuration w ith an internet connection.Key words:cloud computing;grid computing;W eb OS;DFS(Distributed File Syste m)