《网格计算技术》PPT课件.ppt

网格计算技术网格计算技术发展及其趋势发展及其趋势肖 侬国防科技大学计算机学院Xiao-主要内容主要内容一、网格的含义和应用一、网格的含义和应用二、网格计算挑战与趋势二、网格计算挑战与趋势三、国内网格研究工作三、国内网格研究工作四、看法四、看法一、网格的含义和应用一、网格的含义和应用Grid的由来的由来网络资源联合网络资源联合计算计算MetaComputer八十年代八十年代一个无缝集成的一个无缝集成的计算和协同环境计算和协同环境Computational Computational GridGrid九十年代中期九十年代中期广域资源的联合广域资源的联合处理服务处理服务Grid：含义变化含义变化应用广阔应用广阔本世纪初本世纪初国家信息基础设施国家信息基础设施数字信息基础设数字信息基础设施施本世纪本世纪什么是网格？什么是网格？通常讲，网格（通常讲，网格（Grid）将网络上地理）将网络上地理分布的各种资源聚合为一体，支持应分布的各种资源聚合为一体，支持应用问题合作求解系统的构造用问题合作求解系统的构造v集成计算、数据、存储、设备、软件和集成计算、数据、存储、设备、软件和人员等各种资源；人员等各种资源；v思想：资源共享和协同，强调统一和横思想：资源共享和协同，强调统一和横向设计；向设计；v方法：建立广泛的资源共享标准和协议方法：建立广泛的资源共享标准和协议网格应用需求背景网格应用需求背景E-Sciencev大规模构造和挖掘大型的观测和模拟数据库大规模构造和挖掘大型的观测和模拟数据库v开发计算机模拟和分析开发计算机模拟和分析v访问远程的特殊设备访问远程的特殊设备v分布各地的合作研究人员近实时的交换信息分布各地的合作研究人员近实时的交换信息E-Businessv企业计算是高度分布、异构、企业之间企业计算是高度分布、异构、企业之间(B2B)v企业计算需要大量计算和数据服务企业计算需要大量计算和数据服务v各种资源和服务的提供商出现，租赁业务是各种资源和服务的提供商出现，租赁业务是可行的可行的网格应用需求背景网格应用需求背景E-Governmentv各个政府部门的信息互通和互操作各个政府部门的信息互通和互操作v部门之间资源和信息共享和整合部门之间资源和信息共享和整合EEntertainmentv大规模的视频点播：分布、海量大规模的视频点播：分布、海量v在线游戏在线游戏:成千上万人、交互、处理成千上万人、交互、处理 E-Educationv教育信息化教育信息化v主动学习方法和交互式的教学方式主动学习方法和交互式的教学方式v网络上作模拟实验网络上作模拟实验 从高性能计算领域从高性能计算领域网格是一个集成网格是一个集成Internet资源的虚拟超级计算资源的虚拟超级计算机机v许多巨大挑战性应用许多巨大挑战性应用计算和数据密集型应用计算和数据密集型应用需要比单个计算机更强的计算能力需要比单个计算机更强的计算能力通过汇集通过汇集 Internet的高性能计算资源，建立虚拟超级计算的高性能计算资源，建立虚拟超级计算机平台机平台 这是这是 Grid computing最初动力最初动力v提供共享资源：超级计算机，存储器，数据和仪器，提供共享资源：超级计算机，存储器，数据和仪器，etc.on Internet 通过高速网络连接通过高速网络连接网格对不同用户意味着不同的事情网格对不同用户意味着不同的事情从高性能计算领域从高性能计算领域(cont)TERAGRID(a typical project)vConnect 5 supercomputer centers with 40Gbps fiber linksvAggregated resourcesOver 21 TeraFlops computing powerOver 600 terabytes storage从从 P2P 研究团体角度研究团体角度Grid is a P2P computing PlatformvNormally,utilize the autonomous resources at the edge of Internetinteract via symmetric protocols(vs.client/server)take decentralized controlcollect huge resources over InternetvShare idle resources at edgessuch as CPU or file at desktop PCs vDedicated to some special applicationsSETIHome v集成网络上各种空闲集成网络上各种空闲PC，处理能力达到，处理能力达到 54 teraflopsv适应特定应用适应特定应用Napster,Gnutella,etc.从工业界信息集成角度从工业界信息集成角度Grid 为应用的无缝集成提为应用的无缝集成提供了一种有效的方式供了一种有效的方式v在不同的组织中集成应用和在不同的组织中集成应用和交换数据交换数据象象WEB一样连接了分布在一样连接了分布在网络上的页面网络上的页面v集中在不同组织中应用间的集中在不同组织中应用间的连接和互操作连接和互操作例如：例如：Inter-enterprise business processes 从合作研究的角度从合作研究的角度网格是一个大规模的合作平台网格是一个大规模的合作平台v支持全球分布的人与人或组织与组支持全球分布的人与人或组织与组织之间的高质量网上合作织之间的高质量网上合作vAccess grid：建立一个大规模电子：建立一个大规模电子会议和分布会议的平台会议和分布会议的平台vEnable persistent electronic spacesintegrate visual devices share persons presencenow used at over 150 institutions 网格是通过网络提供综合计算机、网格是通过网络提供综合计算机、数据、数据、设备等设备等资源和服务的基础设施资源和服务的基础设施 v计算资源共享计算资源共享 软件共享软件共享 设备共享设备共享v 数据信息共享数据信息共享 服务共享服务共享 人才共享人才共享为应用提供不间断的，无限的处理和按为应用提供不间断的，无限的处理和按需能力，如同电力和水力基础设施；需能力，如同电力和水力基础设施；以服务为手段；以服务为手段；新一代信息基础设施（新一代信息基础设施（4T）从基础设施看，什么是网格？从基础设施看，什么是网格？电网电网电站电站电站电站电站电站水坝水坝矿山矿山油井油井二、网格计算二、网格计算挑战与发展挑战与发展Applicationssoftware网格挑战网格挑战StorageNetworksSensorsInstruments统一访问统一访问?统一管理统一管理?单一视图单一视图?PC DevicesSupercomputer按需服务按需服务?Info.Persons技术挑战技术挑战建立一个开放的信息处理基础设施平台建立一个开放的信息处理基础设施平台v一个开放的体系结构、标准和协议，以形成信息获取、传输、一个开放的体系结构、标准和协议，以形成信息获取、传输、访问、共享和处理的单一虚拟系统基础平台访问、共享和处理的单一虚拟系统基础平台 虚拟组织的管理和协同工作虚拟组织的管理和协同工作v多个系统的协调和集成多个系统的协调和集成v服务和应用的自治管理和优化服务和应用的自治管理和优化v自动配置和部署自动配置和部署网格的可用性和可开发性网格的可用性和可开发性v资源多层次和多方面的异构性资源多层次和多方面的异构性v系统状态的不确定性系统状态的不确定性 安全安全v和现有分布的空间信息系统的结合和现有分布的空间信息系统的结合v多域的安全问题多域的安全问题挑战挑战如何将网格技术和传统的技术相互结合如何将网格技术和传统的技术相互结合vGrid 和传统数据库管理和传统数据库管理v网格和目前流行企业中间件网格和目前流行企业中间件v网格和其它网格和其它应用的使用模式应用的使用模式社会和体制障碍社会和体制障碍人们的思想障碍人们的思想障碍网格的市场在什么地方？究竟有多大？如何达网格的市场在什么地方？究竟有多大？如何达到和开发？到和开发？v目前的成功在科学计算领域目前的成功在科学计算领域eScience互联网服务提供方互联网服务提供方服务网格服务网格Virtualization of servicesDynamic service provisioningSelf-healing of servicesIntegratable with Enterprise applications企业间及合作伙伴企业间及合作伙伴合作网格合作网格DOE,UK Grid&DoD协同共享公用的数据中心动态的提供资源企业内部企业内部网格三个阶段网格三个阶段time共享程度共享程度企业网格企业网格Toshiba,TI,GMCluster-to-cluster sharing managementReliable file transfer&stagingUser account mapping,Firewalls,Kerboros1996200020042008引用引用网格技术研究现状网网格格技技术术从从支支持持科科学学计计算算为为主主向向市市场场更更大和应用面更宽方向发展大和应用面更宽方向发展vData grid、Sensor gridvInformation Grid和和Service grid扩展扩展重点是在网格软件技术的研究和实现重点是在网格软件技术的研究和实现v网格系统软件为主网格系统软件为主Globus,Avaki,Condor,Unicore,LSF,Sun Grid等等v网格工具软件网格工具软件网网格格编编程程语语言言：MPI-G2、服服务务综综合合描描绘绘语语言言，基于构件技术、基于构件技术、WebPortal等。等。网格技术研究现状2002年年Grid与与web Service技技术术结结合合体体系系结结构构OGSA（OGSIOGSI）v可望成为业界网格系统软件的体系结构标准；可望成为业界网格系统软件的体系结构标准；v推推动动网格技网格技术术从科学工程从科学工程计计算算领领域向商域向商业领业领域域扩扩展展网网格格软软件件技技术术虽虽然然不不成成熟熟，在在一一些些大大型型行行业业领领域已进入实际开发运行生产型系统的阶段。域已进入实际开发运行生产型系统的阶段。vNASA IPG、PPDG，TeraGrid(DTF)vEu-DataGrid，UK EsciencevGIG，Asci Grid，DOE gridvChina national grid发展趋势开开放放、标标准准、面面向向服服务务和和平平台台化化是是网网格格体系结构的特征体系结构的特征 v应应用用层层提提供供的的资资源源共共享享、协协同同工工作作、非非集集中中控控制制、非非平平凡凡服服务务质质量量、动动态态功功能能、开开放放系系统统、单单一一系系统统映映像像等等共共性性功功能能和和安安全全、作作业业、用用户户、资资源源信信息息等等共共性性的的基基本本管管理理与与基基本本服服务务通通过过网网格格系系统统软软件件平平台台提供提供。发展趋势（续）Grid和其它计算机重要技术相融合和其它计算机重要技术相融合网格应用综合网格技术和其它技术建立而成的网格应用综合网格技术和其它技术建立而成的Grid todayDistributed ComputingMeta ComputingCSCW and other network technologiesGrid tomorrowP2P&Internet Computing Web Service ASPs Enterprise Computing 发展趋势发展趋势（续）结结合合网网格格概概念念和和技技术术、单单机机操操作作系系统统和和目目前前主主流流中中间间件件技技术术，向向网网格格操操作作系系统统方向发展方向发展vIBM已已 经经 把把 WebSphere grid当当 作作“Internet operating system”v.Net及及其其未未来来版版本本就就是是微微软软的的Internet操操作作系统。系统。vGlobus目标是成为目标是成为“分布式计算的分布式计算的Linux”。v形成一个网格操作系统平台形成一个网格操作系统平台发展趋势发展趋势（续）综综合合软软件件和和硬硬件件技技术术形形成成公公共共信信息息基基础础设施资源的综合服务提供商设施资源的综合服务提供商vIBM的的On demand Computing是机器、存储是机器、存储设备到数据库、网格和中间件的综合服务提设备到数据库、网格和中间件的综合服务提供商；供商；vSUN Sun/One依依托托机机器器、Java、J2EE等等支支持网格持网格vHP集集中中存存储储、CLUSTER和和数数据据管管理理支支持持公公用基础设施用基础设施v微微软软依依托托他他人人硬硬件件平平台台，以以公公共共设设施施方方式式出出租和卖软件服务而不是卖软件；租和卖软件服务而不是卖软件；工业界的网格工业界的网格20022002年年1010月月IBMIBM年年投投资资100100亿亿美美元元，全全面面转转向向“On Demand Computing”,“On Demand Computing”,实质是网格；实质是网格；SunSun公司公布了它的网格计划和公司公布了它的网格计划和Sun One/1;Sun One/1;微微软软、HPHP、ORCALEORCALE等等公公司司开开始始投投资资此此方方面面的研究的研究;20022002年年 底底 第第 一一 个个 商商 业业 上上 的的 游游 戏戏 网网 格格Butterfly Butterfly GridGrid建建立立，目目标标是是解解决决许许多多人人同时在线游戏的技术挑战。同时在线游戏的技术挑战。全球网格论坛：全球网格论坛：国内研究情况国内研究情况在在1999-2001年年期期间间，863计计划划支支持持下下，国国家家高高性能计算环境建设性能计算环境建设计算网格计算网格v六六个个城城市市的的8个个高高性性能能计计算算中中心心通通过过Internet连连接接起起来来v国国防防科科技技大大学学、中中科科院院网网络络中中心心、中中国国科科技技大大学学、清清华华大大学学、西西安安交交大大、复复旦旦大大学学、西西南南交交大大、华华中中科技大学等单位构成科技大学等单位构成研制网格系统软件和网格应用，支持并行计算研制网格系统软件和网格应用，支持并行计算的运行的运行其开创性的工作为我们今天更大规模的网格研其开创性的工作为我们今天更大规模的网格研究与建设奠定了基础究与建设奠定了基础中国高性能计算环境中国高性能计算环境ChengduNanjingHefeiXianBeijingWuhanChangshaShanghaiGigabit BackboneGigabit Backbone国内研究情况（续）国内研究情况（续）国家国家863“高性能计算机及核心软件高性能计算机及核心软件”专专项项v聚焦于聚焦于网格，网格，以建设以建设“高性能网格计算环境高性能网格计算环境”的关键技术攻关和设备研制为核心；的关键技术攻关和设备研制为核心；v制定国内网格标准，参与国际标准制定，培制定国内网格标准，参与国际标准制定，培养一批人才养一批人才4TFlop/s高性能计算机高性能计算机开发一套具有自主知识产权的网格软件开发一套具有自主知识产权的网格软件中中 国国 国国 家家 网网 格格 China National Grid(CNGrid)试验床试验床国内研究情况（续）国内研究情况（续）建设若干个大型行业应用网格建设若干个大型行业应用网格；气气象象服服务务网网格格、航航空空制制造造网网格格、中中国国地地质质调调查查网网格格、科科学学数数据据网网格格、新新药药发发现现网网格格、生生物物信信息息网网格格、数数字林业网格；字林业网格；其它网格项目：其它网格项目：v中国教育科研网格：中国教育部中国教育科研网格：中国教育部2003年十月份启动，年十月份启动，将连接上百所院校将连接上百所院校v上海市网格：智能交通等应用上海市网格：智能交通等应用v国家基金委的网格专项：建立跨地域的协同网络科国家基金委的网格专项：建立跨地域的协同网络科学研究环境学研究环境v军队等军队等国防科大网格研究国防科大网格研究中国国家网格的负责单位之一中国国家网格的负责单位之一v结点、软件、环境建设（结点、软件、环境建设（1999-）中国教育科研网格的主结点中国教育科研网格的主结点网格应用：网格应用：v中国国家气象网格中国国家气象网格v生物信息网格生物信息网格v空间信息栅格等空间信息栅格等Grid Data Engine系统系统GridDaen V0.9v支持计算网格和数据网格支持计算网格和数据网格;服务网格系统服务网格系统vService grid、Agent and grid.GridDaenGridDaen：Grid Data EngineGrid Data Engine的组成的组成GridDaenGridDaen逻辑结构图逻辑结构图四、看法四、看法看法 网格计算技术还不成熟，勇于网格计算技术还不成熟，勇于创新，机会很多创新，机会很多 v基础理论研究还很薄弱、基础理论研究还很薄弱、OGSIOGSI还不成熟还不成熟v适应网格环境的硬件设施研究非常不足适应网格环境的硬件设施研究非常不足v支支持持“5E”“5E”网网格格软软件件系系统统和和应应用用工工具具有有待待长长时时间间的的开发和实践开发和实践突破网格基础设备突破网格基础设备v面向网格的高性能计算机面向网格的高性能计算机v高速网络高速网络v海量存储设备、大型分布储存系统等海量存储设备、大型分布储存系统等网格软件关键技术网格软件关键技术v动态资源共享动态资源共享v高可用和可靠性高可用和可靠性v按需服务按需服务v安全安全看法面面向向多多企企业业的的企企业业服服务务网网格格是是未未来来的的一一个个商商业业重点重点vGrid service、结合商业技术和、结合商业技术和Grid技术技术v市场需求大，适应面广市场需求大，适应面广行业应用网格是大规模网格应用部署的突破点行业应用网格是大规模网格应用部署的突破点v目前国家网格信息基础设施的建立不成熟目前国家网格信息基础设施的建立不成熟v构造实用示范平台，注意积累构造实用示范平台，注意积累不应盲目跟踪，特别是行业应用，可以提出自不应盲目跟踪，特别是行业应用，可以提出自己的框架、协议己的框架、协议克服泡沫因素克服泡沫因素欢迎各位参加中国网格论坛 中国网格论坛（中国网格论坛（China Grid Forum）中国网格论坛数据网格工作组中国网格论坛数据网格工作组该该论论坛坛将将成成为为中中国国网网格格研研究究开开发发者者、运运行行者者和和用用户户研研讨讨发发展展方方向向、交交流流技技术术和和经经验验、制制定规范和标准的场所。定规范和标准的场所。谢 谢