网格的企业信息化关键技术探讨cqcu.docx

网格的企业信息化关键技术研究摘要：网格是使用开放、通用的协议来联合分布的资源，并提供超过尽力而为的服务质量的系统。由于网格技术不但能整合分布、异构资源、提供资源访问全局的单一映像与透明性，能够合理地分配资源、提供计算能力需求与资源之间的优化映射，而且能够将网格域内的计算资源、信息资源、通信资源等以“服务”的方式提供给第三方选择与使用，所以网格技术在其出现后不久便迅速由科学工程领域走向工业应用领域。关键字：网格 多层网格体系 Globus EGOAbstract：The grid is use open, general agreements to joint distribution of resources, and provides the best quality of service over the system. Due to the grid technology not only can integrate distributed, heterogeneous resources and provide resources accessing global single image and transparency, to reasonably allocating resources, to provide computing power demand and resources, and the optimization of the mapping between grid domain to the computing resources, information resources, communication resources "service" way to provide to the third party choice and use, so the grid technology in its appear soon after quickly from the science engineering field to industrial applications.Keyword: Grid Multi-layer Grid System Globus EGO0、引言上世纪90年代，计算机网络，特别是Internet技术取得了飞速发展。与此同时，科学研究工作对计算机性能的要求也越来越高。当单机系统难以满足复杂大型科学计算(高能物理学、地球观测、天文物理、生物信息学等)的求解需要时，人们开始研究如何在网络环境中利用多台地理位置上分散的大、中型计算机协同工作，共同完成复杂任务所需的高性能计算，使通过网络对分布在各大型数据中心的软、硬件资源的使用能像电力网格(Electricity Grid，EG)为用户提供即插即用输电服务一样方便，于是出现了一种新的计算技术“网格计算” (Grid Computing)和相应计算机网络计算环境中“计算网格”(简称网格，Grid)的概念。应当指出:网格仅在使用方便这一点上借用了电力网格的概念，在技术上二者截然不同，没有必然联系1。由于网格技术不但能整合分布、异构资源、提供资源访问全局的单一映像与透明性，能够合理地分配资源、提供计算能力需求与资源之间的优化映射，而且能够将网格域内的计算资源、信息资源、通信资源等以“计算服务”、“信息服务”和“通信服务”的方式提供给第三方选择与使用，所以网格技术在出现后不久，学术界和商业界便一致认为网格会像万维网一样迅速由科学工程领域走向商业领域2。特别是2000年以来，各大IT企业表现积极纷纷投入企业网格计算领域并于2002年成立了企业网格联盟，学术界IEEE也于2004年成立GECON工作组致力于网格经济与商业模式的研究，推动企业网格的发展，网格计算在企业应用的研究开始成为新的研究热点。1、国内外的研究现状：清华大学范玉顺教授定义了制造网格的概念:制造网格是实现企业和社会资源共享和集成，支持企业群体协同运作和管理的集成支撑环境，它基于网格和相关先进的计算机与信息技术，通过网格将分散在不同企业和社会群体(包括高校、研究院所、专家、中介服务机构)中的设计、制造、管理、信息、技术、智力和软件资源通过封装和集成，屏蔽资源的异构性和地理分布性，以透明的方式为用户提供各类制造服务(这里的制造是指大制造，包括企业生产经营的一切活动)，使企业或者经营个体能够以请求服务的方式方便地获得所有与制造相关的服务，能够像使用本地资源一样方便地使用封装在制造网格中的所有资源，实现各类资源的集成优化运行，并为构建面向企业协同制造特定需求的制造网络应用系统提供协同工作环境，从而实现企业间的商务协同、设计协同、制造协同和供应链协同，使基于制造网络支撑环境运行的制造企业群体能够以低的成本和短的开发周期，制造出符合市场需求的高质量产品3。在制造网格的体系结构研究方面，俞涛教授等提出将制造网格分为服务节点建设层、核心中间件层、应用中间件层和应用层四层结构;范玉顺教授等提出将制造网格分为基础网络层、单元与基础协议层、资源封装层、网格中间件层、制造网络使能层、制造网络应用层、制造网络入口层、企业协同层的八层结构。2、网格理论及其体系结构发展网格计算技术经过十几年的发展，其理论和体系结构历经了网格雏形阶段、五层沙漏体系结构阶段、多层网格体系结构OGSA/OGSL阶段和多层网格体系结构OGSA/WSRF阶段2.1网格雏形阶段上世纪80年代，并行计算软件取得了巨大的发展，多种学科领域的研究者开始联合起来着手解决那些“极具挑战性”的问题，而大规模计算基础设施可以为科学发现提供超级服务，正是解决这些问题的有力工具。早期的网格就是从连接超级计算节点构件大规模计算基础设施的项目开始，当时被称之为元计算。在此类项目的研究过程中涉及一些内在的问题(如地理位置分散情况下的协作研究等)为研究者解决计算节点间的协调与分布提供了大量实际经验，而协调与分布正是网格计算的两个核心概念。尽管此时还没有明确的网格计算的概念，但对于协调与分布问题的研究为网格计算的发展打下了良好的基础4。2.2五层沙漏体系结构阶段自上世纪90年代中期到2001年，网格计算主要针对科学与工程领域，其理论、相关工具与软件在这一时期得到了全面的研究与发展。Globus和Legion对基本系统级网格基础设施的开发方法进行了探索;Condor项目对高吞吐率调度问题进行了研究;Apples、Mars和Prophet项目对高性能调度问题进行了研究;网络天气服务则侧重于网络资源的监控和预测;而存储资源代理项目重点解决了异构数据资源的统一访问问题，此外还有NetSolve、Ninf等项目都对网格计算的发展做出了巨大贡献。在这一阶段，Globus项目组Ian Foster:等人给出了网格的具体定义:“网格是构筑在互联网上的一组新兴技术，它将高速互联网、计算机、大型数据库、传感器、远程设备等融为一体，为科技工作者和公众提供更多的资源、功能和服务。互联网主要为人们提供电子邮件、网页浏览等通信功能，.而网格的功能则更多更强，它能让人们共享计算资源、存储资源和其他资源”5。在此基础上，他们还提出了“以协议为中心”的网格五层沙漏结构，自下而上依次划分为构造层、连接层、资源层、汇集层以及应用层:(1)构造层:构造层的基本功能是控制局部资源，包括查询机制(发现资源的结构和状态等信息)、控制服务质量的资源管理能力等，并向上提供访问这些资源的接口。该层资源包括计算资源、存储资源、目录、计算机集群、网络资源、传感器以及其它设备等。(2)连接层:连接层的基本功能是实现网格事务处理间的相互通信，它定义了核心的通信和认证协议，在实际中这些协议大部分是从TCP/IP协议栈中抽取出。通信协议允许在构造层资源之间交换数据，包括传输、路由、命名等功能;认证协议建立在通信服务之上，提供包括单一登录、代理、与局部安全方法的集成、基于用户的信任机制等功能。(3)资源层:资源层的主要功能是实现单个资源共享，与可用资源进行安全连接，对资源进行初始化，监视资源运行状况等。资源层定义的协议包括安全初始化、监视、控制单个资源的共享操作、审计以及付费等。资源层协议有信息协议和管理协议两种:信息协议用来获得关于资源结构和状态的信息，管理协议则用来协商访问私l共享操作。(4)汇集层:汇集层的主要功能是协调多种资源共享，定义了不同资源集合间是如何相互作用的，但不涉及资源的具体特征，包括目录服务、协同分配私I调度以及代理服务、监控和诊断服务、数据复制服务、网格支持一下的编程系统、负载管理系统与协同分配工作框架、软件发现服务、协作服务等。(5)应用层:应用层是网格的应用程序，包括用户程序代码和网格服务调用两部分。网格应用可以调用网格任一层上定义的服务，通过服务使用各层的资源来完成任务。五层沙漏结构的设计原则是保持参与的开销最小，它的资源层和连接层类似于操作系统内核，拥有较少的作为基础的核心协议，组成体系结构的瓶颈部分，使得该结构呈沙漏状。体系结构中每层都定义了服务、API和SDK，用协议进行对相关服务的访问，一般由上层协议调用下层的服务6。五层沙漏结构可管辖多种资源，允许局部控制，可用来构建高层的、特定领域的应用服务。它的特点就是简单、具有广泛的适应性，主要侧重于定性的描述而不是具体的协议的定义，从而整体上进行理解，在网格技术发展初期具有十分重要的意义。2.3多层网格体系结构OGSA/OGSI阶段上世纪90年代后期特别是2000年以后，企业界开始积极参与网格技术研究，进一步推进了网格计算技术新的发展，网格的应用也由单纯科学工程领域向企业计算领域方向扩展。2000年，美国网格论坛、欧洲网格论坛和亚洲网格论坛合并组成了全球网格论坛，大量网格研究成果通过它演化为网格标准。2002年Globus联盟和IBM公司结合网格技术和Web服务技术在GGF上提出了“以服务为中心”的开放网格服务体系结构，随后GGF又推出了开放网格服务基础设施作为OGSA的核心规范。OGSA使用了“网格服务”和“虚拟织一织”这两个核心概念:在OGSA中，将一切资源(包括各种计算资源、存储资源、网络、程序、数据库等)和对资源所有的操作都看成是符合OGSI规范定义的特定Web服务表示的 Grid Service，这样有利于通过统一的标准接口来管理和使用网格;而虚拟组织则通过标准的界面和约定米创建、终比、管理瞬时服务，对服务进行动态管理7。(l)资源层:构成OGSA结构的最底层，这里的资源不仅限于服务器、存储器、网络基础设施等传统计算网格的物理计算资源，还包括文件系统、数据库系统管理员、目录管理等逻辑资源。(2)服务层:所有网格资源(逻辑与物理资源)都被封装为Web服务，OGSI规范通过扩展Web服务定义语言WSDL和 XML Schema提出了网格服务 (Grid Service)概念且围绕它设计了一套标准化接口来满足虚拟组织的需要，为所有网格资源制定了标准的接口、行为与交互，提供动态的、有状态的和能够被管理的Web服务，包括:服务实例的创建，命名和生命周期管理，服务状态数据的声明和查看，服务数据的异步通知，服务实例集合的表达和管理以及一般服务调用错误的处理等。(3)基于OGSA架构的服务层:是OGSA结构的中间件层，基于OGSI接口，通过网格核心服务以及特定领域的网格服务等服务，为形成更加有用的面向服务的架构以及网格具体应用服务的实现与应用提供技术实现保障。(4)应用层:利用OGSA网格架构的各种基本服务，结合行业特色与规范，提供网格具体应用程序。面向行业应用的网格应用程序层是网格应用的生命力所在。开放网格体系结构的意义就在于它将网格从科学和工程计算为中心的学术研究领域扩展到更广泛的以分布式系统服务集成为主要特征的社会经济活动领域。Ian Foste:等人在此期间也根据网格的发展将其定义重新修订为:“网格是使用开放、通用的协议来联合分布的资源，并提供超过尽力而为的服务质量的系统” 2.4多层网格体系结构OGSA/WSRF阶段2004年以后，网格计算学术界和企业界的研究趋于统一。全球网格论坛企业网格联盟(EGA)于2006年合并为开放网格论坛，统一了网格计算的研究。为了解决OGSL规范中的不足，特别是 Grid Service与web服务兼容性问题，IBM、HP和Globus联盟等六家公司与机构2004年公布了统一网格计算和Web服务的新标准Web服务资源框架。WSRF是对OGSI的重构和发展，将原来的 Grid Service变成了无状态的Web服务和有状态的资源文档俩部分，提出Web服务资源(Web Resource)概念:WS-Resource=Web服务+状态资源。WSRF将 Grid Service与Web服务进行进一步的融合，通过在网格体系结构中引入一系列新制订的Web服务规范来访问有状态资源8。3企业网格研究及其发展现状企业网格的发展来源于企业IT基础设施的需要，目前至少有37%的企业正在准备尝试或己经完成了某种形式的企业网格计算基础设施改造。在巨大商业利益的驱动下，网格计算的企业应用逐渐成为了网格应用研究的新热点，各IT巨头和国内外学者纷纷提出一系列网格企业应用解决方案和发展规划:(l)作为网格计算的大力倡导者，Oracle公司紧紧围绕企业资源“虚拟化”和“服务供应”这两个核心理念并通过Oracle家族系列产品的新技术满足了企业网格计算在存储器、数据库、应用服务器和应用程序等方面的核心需求。通过虚拟化，个人资源根据其不同类型被统一划分在网格资源池中，然后通过抽象的服务提供给用户使用，这样便可以打破企业传统的信息孤岛，用户只需使用企业的资源而不需要考虑这些资源是如何完成准备的;当用户通过虚拟化层请求资源时，满足用户需求的特定资源需要被识别并分配给用户使用，服务供应决定了如何满足用户请求的特定资源需求，且对资源使用进行优化调度。Oracle认为企业网格中的IT资源可以分为三个部分:基础设施(Infrastructure)、应用程序(Application)和信窗、资源(Information)，并从这三个方面为企业计算提供了网格基础架构软件。基础设施资源包括像存储器、处理器和网络这样的硬件资源以及用来管理这些硬件资源的软件(如数据库、应用服务器和操作系统等)。Oracle Enterprise Manager Grid Control提供了一个单一工具不仅能够监控和管理网格中每个Oracle软件(包括Oracle应用服务器和Oracle数据库)，还可以通过其应用程序性能管理(Application program Management，Amp)监控和管理web应用程序并可以通过SDK扩展来监控其它不被支持的组件。应用程序资源是指企业中建立在任意语言平台上(如JZEE、.NET等)的商业逻辑和商业处理流程应用程序软件。在企业网格环境下可利用面向服务体系结构对应用程序资源进行虚拟化并提供服务供多用户使用且可对现有服务进行有机整合，形成更强大的商业逻辑。 Oracle Application Server提供了内置SOA平台，拥有四个核心组件:一个基于JZEE的面向服务体系结构综合平台，可用来开发和部署简单的 web services组件的 Oracle Container for J2EE(OC4);一个集成了JZEE的开发环境，可用来建模、开发、调试、优化和部署Java应用程序和 Web Services的JDeveloper；内置于JDeveloper中的提供了一个基于MVC模式的SOA框架的 Application Development Framework(AOF);提供一个面向对象的映射方案来简化JZEE应用程序访问关系和基于XML的数据的Top Link。 Oracle Database基于真正应用集群 (Real Application Clusters，RAC)，具有自动存储管理、信息供应、自管理数据库等功能。RAC使单个数据库能够跨网格中的多个集群化的节点运行，从而集中儿台标准计算机的处理资源，它是唯一不需要随着工作进程对数据进行分区和分配的数据库技术。(2)IBM在2001年8月宣布，投入40多亿美元实施“网格计算创新计划”，全面支持网格计算;2002年又宣布投入100亿美元来发展“随需应变的电子商务”计划，企业网格计算是其核心。这个计划将整合包括硬件、存储、网络等在内的基础设施，以及软件、数据库、操作系统、业务咨询服务等信息、系统，提供一种前所未有的“按需运用”信息机制，促使企业业务流程的变革。IBM公司认为，企业网格的概念等同于计算机资源的虚拟化，实现主体与访问接口的分离，它最先提出己被业界所认可的企业网格4阶段发展模型Infra-grid:同一组织同一部门内部虚拟化；Intra-grid:同一组织不同部门之间虚拟化;Extra-grid:与可信的外部组织之间的虚拟化；Inter-grid:广阔范围内的虚拟化；IBM的IBM Server TM系列己经构成了世界上最强大的网格计算的硬件基础，此外IBM还积极与Globus这样的开源团体和有影响力的行业标准组织进行合作，共同推进开放网格协议。开放网格协议是实现网格的基本条件，它能够保证异构系统像单一的系统一样配合二作。IBM与Globus结盟后，成立了一个网格计算专门部门，出版了一系列关于网格计算的“红皮书”，开发出一系列支持网格计算的软件支撑与服务开发平台。目前，IBM已经成功地将网格技术用于政府、教育、生命科学、金融、石油、制造业等多个领域，开发多个网格应用实例并提供IT优化网络、分析加速网络、信息访问网络、设计协作网络、信息存取网络等不同解决方案。(3)作为Java语言的拥有者，Sun关于网格技术演进理念“从群集，到企业，到全球网格”及其对开放的、基于标准的各类技术的承诺，构成了Sun推动全球网格计算技术应用与发展战略的重要基础。Sun是网格与企业虚拟环境的倡导者，与Globus保持着良好的合作关系并支持和参加网格计算相关的业界标准(如开放网格服务架构OGSA标准等)制定的各项活动。Sun还积极参与Global网格论坛，是DRMAA(分布式资源管理应用编成接口)!二作小织.的土要发起人之一。其中Sun Grid Engine软件自1999年起就与Globus工具集成在一起，2002年初更是推出了网格计算按需服务策略，并在当年6月推出了 Sun Grid Engine企业版软件和相关解决方案9。Sun Grid Engine是资源管理解决方案，它提供了数据、计算和按需服务的集成，以此扩展Sun对开放的企业网格架构的理念。SGE网格系统框架主要由四种类型主机构成，分别是:主控主机、执行主机、管理主机、提交主机等。主控主机:是所有群集活动的中心，它运行守护进程sge_qmaster和调度程序守护进程sge_schedd。这两个守护进程都控制 Grid Engine的系统组件(如队列和作业等)。守护进程维护着关于组件状态的表格、关于用户访问权限的表格以及其他任务表格。缺省情况主控主机也是管理主机和提交主机。执行主机:有权限执行用户提交的作业的主机，执行主机运行执行守护进程sge-exeed。管理主机:根据主控主机赋予的权限运行 GridEngine系统的任何类型的管理操作。提交主机:仅允许用户提交和控制批处理作业，也就是登录到提交主机的用户可使用qsub命令提交任务、使用qstat命令监视作业的状态，还可使用Motif图形用户界面QMON。(4)惠普(HP)也是企业网格技术和应用最早的推动者之一，且非常关注网格技术、应用和市场的推广。HP制定了自己的网格发展战略:以基于Web服务的新一代开放性网格服务体系结构OGSA为框架，发展公司网格相关产品;积极促进网格技术标准化、遵循现有的Web服务标准和Globus等事实上的标准来发展网格技术和产品;大力支持开放软件、使用 Globus Toolkit等开放性软件来开发网格产品、提供公司专利产品与开放性产品的接口和互操作性;积极开展网格技术合作和交流，广泛采用第三方应用软件来推动网格应用，提出了数据网格解决方案和资源管理网格解决方案。(5)Platform Computing是致力于提供全球分布式资源管理和网格计算全面解决方案的企业，它的产品主要包括工作负载管理，资源管理及性能管理等。Platform专注于企业网格中间件研究，提供企业IT资源动态链接，为企业提供满足其商务策略需要的企业计算，提高其IT基础设施效能，降低其数据中心成本，是轻量级企业网格架构。 Platform Enterprise Grid Orchestrate(EGO)中间件是 Platform公司开放企业网格策略的核心，这个策略就是将资源分配给拥有更高性能、更有效率的组织，从而加快事务处理的速度。EGO提供了一个灵活的、模块化的方法来实现企业某种程度上商业需要的增长和扩充，因此一个单独的企业应用系统既能够在EGO上进行简单的部署运作、又可以在原有的基础上根据所需的商业需求来增加更多的新的应用程序。使用EGO的结果是可以显著地提高企业投资回报率，增强企业的灵活性，降低企业生产成本，提高了资源的利用率。EGO建立在开放式标准架构(Web服务、SOA以及虚拟化)之上(图 1.9)，其出色的可扩展性和灵活性可支持对所有应用程序和资源的有效管理。它可以将虚拟化及关键任务应用集成至单一高效的系统之中;以单一网格环境覆盖地理位置分散的不同站点;根据业务策略需求对所有企业资源上的工作任务进行优先级划分;实时响应客户及供应链的业务需求变化;以模块化应用集成方式稳步增长与扩充等功能。这些功能可以帮助企业实现性能、组织效率及运营速度上的全面提升10。(7)在国内，对企业网格的研究目前主要限于制造类企业。当前制造环境中企业内部及企业之间要么存在着“信息孤岛”，要么依赖于资源的紧藕合来实现资源的共享与企业间协作，清华大学范玉顺教授、上海大学俞涛教授、浙江大学顾新建教授等人提出了制造网格概念。通过制造网格的研究，建立开放的系统结构，支持企业透明地获取资源，实现企业间的协作，为制造业提供了一个具有集成、开放、虚拟和自主特征的基础设施，可以有效地解决网络化制造面临的资源共享与协作难题。4小结 网格技术由于其能整合分布、异构的资源，提供资源访问全局的单一映像与透明性，合理的分配资源、保障计算能力需求与资源之间的优化映射，所以在其出现后不久，学术界和商业界便一致认为网格会像万维网一样迅速由科学工程领域走向商业、企业应用领域。如何利用当前兴起的企业网格计算的特点，补充与发展并解决企业信息化建设当前遇到的问题是一个是非重要的研究课题。本文总结了网格理论及其体系结构的发展过程，阐述了当前国内外企业网格项目的研究现状，对煤炭企业的网格现状进行归纳并分析了其缺点与不足。参考文献：1 范玉顺，刘飞，祁国宁.网络化制造系统及其应用实践.北京:机械工业出版社，20032 王爱民，范莉娅，肖田元.面向制造网格的应用平台及虚拟企业建模研究.机械工程学报，2004，41(2):1761823 孙海洋，俞涛，刘丽兰，等.面向服务的制造网格系统研究.计算机集成制造系统CIMS，2008，14(.1):56634 .吴雷，袁兆山.基于WSRF白勺服务网格实现框架.合肥工业大学，20065 刘勇燕，常心坦.基于网格的矿井通风计算并行处理模型研究.西安科技大学，20036 扬光，常心坦.基于网格技术的煤矿安全应用服务系统集成模式研究.西安科技大学，20047 马鹏举，陈剑虹，卢秉恒等.支持动态联盟的制造资源信息建模.中国机械工程，2000，11(7):780-788 盛步云.企业集成化动态制造资源建模.武汉汽车工业大学学报，2000，22(2):19-219 贺文锐，贺卫平.基于OWL的网络化制造资源建模与应用研究.制造技术与机床，2004， 9:114-11810 .王庆荣，卫祥.网格资源管理系统模型研究.微计算机信息.2006，22(3):247-249