mapGIS数据中心技术白皮书_v1.0教学资料.doc
《mapGIS数据中心技术白皮书_v1.0教学资料.doc》由会员分享,可在线阅读,更多相关《mapGIS数据中心技术白皮书_v1.0教学资料.doc(99页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、Good is good, but better carries it.精益求精,善益求善。mapGIS数据中心技术白皮书_v1.0-数据中心技术白皮书1、数据中心技术概述经过几十年的发展,GIS应用的领域越来越广泛。GIS应用系统需要访问分布在多个数据源的异构数据,也需要整合诸如文档、数据库属性表等非空间数据。如何在分布式异构环境下对空间数据及非空间数据进行有效的集成管理,成为一个亟待解决的问题。与此同时,GIS应用系统本身的构架也变得越来越复杂,从处理来自多种数据库的异构数据,到使来自多种GIS平台的功能能够协同工作;从GIS空间分析,到复杂的领域业务逻辑的实施;从单机单应用程序到分布多服
2、务器集群的运用等等;除此之外,用户的需求不断变动,系统地设计不断调整,使系统的开发与维护成为巨大的挑战,用户也未真正参与到系统的开发过程中,不能自发的对新的需求做出响应,需要通过需求变更、系统软件版本升级等软件过程才能解决那怕看似简单的功能调整。另一方面,组件技术的日趋成熟、插件式开发的逐渐普遍、WebService技术的日益盛行,使开发具备高可伸缩性,且满足分布式环境下的数据集成及应用程序集成的软件开发模式成为可能。在这种形势下,数据中心技术应运而生。数据中心是各种数据的集成与交换中心。数据中心平台是集基础与应用为一体的综合应用平台。数据中心技术的目标是。建立数据中心的基本原则是。数据中心是
3、多种概念及思想的综合体,从不同的方面可以入手可以得到不同语义的数据中心实例。数据中心是一种可扩展的程序设计思想,它定义了一系列的规范,可以使功能模块达到搭建级别的可复用,搭建级别的可复用是运行时级别的可复用,通常需要一种脚步语言对功能进行重组,这里主要通过工作流技术实现功能的重组。数据中心是一种强兼容性的数据仓库,可以在同一个框架下,把来自不同生产厂商,不同格式,不同标准,分布在不同位置的数据统一在一个系统之下;既对分布式多源异构空间数据的管理能力。数据中心是一个定义完备的功能仓库,支持以多种方式(组件、插件、流程、动态库、程序片断、脚本)提供的功能,并能对这些功能以一种一致的方式进行调用及执
4、行。数据中心是一种应用系统,它根据行业的标准建立起功能与界面相分离的具有高度可定制性的应用系统解决方案,以更容易地适应需求的变动、使用户参与到设计开发过程中、当开发类似系统时最大程度的复用以前的工作。数据中心是一种搭建平台,提供对流程、表单、应用程序界面、数据等的完整的搭建方案,因而也是关于应用系统的集成设计器。数据中心是一种工具箱,提供一系列的完整语义的地理处理功能。数据中心是一套解决方案,该方案由一系列的程序模块及数据组成。数据中心是一个资源管理器,提供对资源的windows资源管理器式的管理,且能根据关心主题的不同,按主题层次重新生成资源管理器目录结构。2、概念体系2.1、系统架构6x插
5、件部分7x插件部分7x注册功能二次开发组件流程仓库应用程序预定义插件功能仓库搭建平台集成设计器工作流表单定义器数据录入及规则界面框架可配置界面目录系统执行体数据中心DC基础模块地图文档搭建框架数据仓库新一代MapGIS7总体架构按照分布式多层体系结构的思想建立,分为:表示层、Web服务层、应用逻辑层和数据服务层,如图1所示。多层结构提供了灵活的系统伸缩性,在数据服务层、Web服务层、应用逻辑层、以及表示层之间建立符合国际标准的访问接口,在实际应用部署时,可根据需求扩展系统的某个层面。Web服务器可以调用多个应用服务器提供的接口。应用服务器可以是针对某个专题的专用服务器,也可以是针对主题或领域的
6、集成服务器。应用服务器与不同的专题数据库服务器连接,根据应用逻辑获取、更新专题数据库中的数据,并完成相应的功能。支持分布式数据存储,提供集成化数据管理;提供统一数据管理平台,支持子系统相对独立运行;开发的应用系统适用稳定,能够充分满足业务需求;采用多级安全措施,保障数据的安全;提供最新的、三种方式二次开发技术以网络为支撑,实现B/S、C/S系统的混合大型的信息化解决方案通常包括多个业务领域的应用,产品功能和结构都非常复杂。数据中心基础平台同时支持C/S架构和B/S架构,能够极大地增加软件系统部署和运行的灵活性,因此通过数据中心设计的解决方案在运行后得到的应用程序,能够实现一次设计同时拥有C/S
7、架构和B/S架构软件的能力,极大地降低了软件系统的开发和维护成本。2.2、资源在大型的应用系统,尤其是GIS应用系统中,数据中心的数据是由多种不同专题的业务数据按照一定的规则建立起来的。基于数据中心开发的系统具备访问空间基础对象的能力,即能处理图元级粒度的数据。在实际的数据中心建设应用系统中将选择合适的方式及其对应合适的粒度进行管理。管理粒度太细,会造成管理成本迅速增加,而效率急剧下降;管理粒度过粗,则根本不能满足业务管理的需要。由于不同业务的复杂多样性,会涉及到多种粒度数据的处理,数据中心根本的解决方案是结合业务需求利用粗粒度与细粒度其内部的联系有机统一起来进行管理。图元粒度:是数据中心中最
8、细一级的粒度数据组织,主要包括空间对象的空间特征和属性特征,提供各上级粒度组织的调用。数据中心平台提供了数据实体定义工具、界面设计工具、工作流定义工具、系统发布工具和运行时框架组件,能够极大地增加开发和部署软件系统的灵活性。通过Web服务,可以组建分布式、异构的空间信息服务。空间地理数据可以分布在不同的地方,比如,一部分数据在北京的服务器中,一部分在武汉的服务器中,另一部分在长沙的服务器中。通过资源转换器,引入GuID的标识,直接存放在任何位置的任何类型的异构数据。2.3、资源的发现与定位资源注册与发现系统是对资源的注册系统,纳入数据中心统一管理的资源需要先进行录入,才能被安全的使用;不被录入
9、的资源虽然也可以直接使用,但是不受控制的。资源的发现包括资源的查询与获取,资源的查询通过统一的目录过滤语言实现。2.3.1元数据仓库元数据仓库采用抽象元数据表模型来描述资源的各种属性。元数据仓库实现对数据描述的集中存储,在每个分布节点上只能有一个,在此唯一元数据仓库中实现对资源的唯一编码;整个分布式网络中,资源标识由服务标识+唯一标识组成,在节点内部的元数据引用只需要唯一标识。元数据仓库中每条元数据项包括标题、主题、摘要、全文描述、对资源的引用URI/URL、资源类型、资源范围、资源参照、修改日期、生产厂家以及键值属性部分。目录系统是对元数据仓库的管理系统,对元数据仓库实施按规则的目录组织,也
10、可以包括非元数据自由节点,这样的节点没有对应的在元数据仓库中的GUID,不引用资源或通过URL/URI直接引用自由资源。目录系统的核心是目录规则,目录规则包括过滤规则、分类规则、权限规则。元数据模式管理,元数据采集、编辑和录入,元数据存储、建库和管理,元数据读取、查询和共享发布,面向Web的客户端操作界面,支持SRW协议(新一代Z3950协议),分布式检索能力强,基于XML、J2EE和WebService技术构建。按照国际标准化组织(ISO)地理信息元数据标准设计方案,元数据可以分为2个层次,即核心元数据和全集元数据。核心元数据是描述数据集或数据集系列所需的基本的最少元数据元素的集合,主要用于
11、信息编目,帮助用户快速查询到所需的信息。全集元数据是对数据集或数据集系列的详细描述,帮助数据生产者有效地组织和管理数据集,帮助用户更详细地了解查询到的数据集是否满足其要求。(1)元数据库设计原则一致性可扩充性完整性和准确性2.3.2目录系统及目录服务2.3.3资源的标识及路径2.3.4资源的检索与查询数据中心通过运行时框架根据元数据描述的模型来访问数据。元数据:业务流程元数据和业务流程元数据;数据中心设计器中,预置了大量的基本操作和用于搭建的标准组件服务元数据(ServiceMetadata):是一个XML词汇表,由从不同侧面描述服务的几个部分组成,主要包括服务接口的描述信息,服务的数据内容或
12、服务所操作的数据的相关信息,以及服务类型和服务实例的相关信息等;元数据库是服务的元数据库,他描述了数据和服务的各种信息。用户通过查询服务的元数据来确定服务的位置和获取服务的接口。对数据描述的集中存储以元数据库为基础,充分考虑资源的安全性,根据每个分布节点只能有一个,在此唯一元数据库中实现对资源的唯一编码;同时在整个分布式网络中,资源标识由服务标识唯一标识组成,实现在节点内部的元数据引用只需要唯一标识。由于元数据仓库中每条元数据项内容包括标题、主题、摘要、全文描述、对资源的引用URI/URL、资源类型、资源范围、资源参照、修改日期、生产厂家以及键值属性部分,从而更好的实现了对资源安全性的控制。元
13、数据查询分类功能模块通过查询用户标准参照表为PHP扩展库提供查询分类功能,数据中心产生器通过读取树设计器生成的配置树脚本文件,调用PHP扩展库中的查询分类函数,最后生成数据中心的存储文件。输入:配置树脚本文件输出:数据中心XML存储文件2.4、资源的集成数据资源与功能资源是各种形式及类型的数据及功能资源。对数据资源的访问需要某种形式的对象,该对象是远程或本地资源的代理;对功能资源的访问需要某种系统的执行器;如果并不关心如何访问及调用资源,那么只需要通过URL/GUID代理它们,通过GUID的代理提供了对数据的元数据描述及权限控制机制。2.4.1数据的集成2.4.2功能的集成利用数据中心的开发平
14、台开发具体业务的应用系统时,整个应用系统是符合“分散采集、集中入库、异地存储、网络化运行”原则,建立多尺度、多时相、多数据源的海量空间地理数据库;并在“集中入库”的时候提供资源转化的功能,使其通过GUID的标识方式,进入到安全的数据仓库中成为其中具备安全性的资源;“异地存储”的方式,可以对已经存在的异构的海量数据和空间地理数据库进行集成的统一的管理,并提供数据服务;这些已经存在的异构的数据和地理空间数据库可以是相互独立的、不同版本的、存储在不同服务器上的空间地理数据库。因此数据中心平台能够在统一的技术框架下,针对布局架构合理的异质异构数据库,实现海量数据的安全管理;在统一视图下,完成分布式集成
15、管理,实现“中心”局域网络下的业务化运行;最终实现统一各数据库平台,规范各数据库的数据组织方式和管理模式的目标。通过数据库编码可以有效的区分不同的图形数据、属性数据,同时也可以根据数据库编码读取数据的入库信息。在尽量保证各类数据信息完整性的基础上,灵活定义数据操作所需的配置信息,实现数据库编码的可配置性;在此基础上将已建成基础数据资源纳入数据库实现应用。同样,数据服务需要进行数据挖掘时,需要将文件名中含有的特征值分析出来,而且解析的功能也是由数据库编码配置来实现的。数据库编码配置通常应具备下列功能:文件名的解析,将文件名中含有的特征值分析出来。检验文件名是否符合命名规范,数据集成服务将数据入库
16、时需要根据提供的特征值交由数据库编码配置来生成文件名,对于已指定文件名的,需要进行文件名验证。在根据命名规范来进行文件组合时,要支持顺序调整。对于配置的改变,文件名的顺序是随时调整的。2.5、资源组织规则1.存储、管理、检索和维护2.提供基于SOAP/XML协议的分布式空间信息服务机制3.空间数据的存取、交换、分析、查询等空间应用服务4.视图展现给用户的是对应类中的部分空间数据,部分属性数据,或者两者之一。MAPGIS7.0视图具有以下特点:(1) MAPGIS提供要素类、对象类、注记类、动态类的视图;(2) 视图本身仅存储创建这个视图的空间条件和属性条件。空间条件包括矩形范围、类和子类型,属
17、性条件包括纵向条件和横向条件,纵向条件限制视图所包含的字段,横向条件通过条件表达式(如:“面积500”)限制视图的记录范围;MAPGIS7.0将视图分为只读视图和可读写视图。3、 数据中心的维护和不同系统的互连互通和数据交换的模式紧密相关。数据中心处于整个业务信息系统的底层,目的是向上层的应用与服务系统提供一个能满足各种格式的数据需求的、而与具体的系统无关的独立的数据平台。利用GIS的空间数据库引擎(SDE),可将多源国土资源空间数据放在不同的商业关系数据库中进行管理;数据既可存放在网络服务器上,也可存放在本地。访问数据时可以不必关心数据的存放位置,用户可以像操作本地数据一样去操作网络数据,从
18、而实现了不同类型商业数据库中空间数据的分布式存储和调用。MapGis7平台与数据中心随着人们对空间信息认识的逐步深入,以及相关需求的迅速增长,GIS的应用不论在深度还是广度上都以迅猛的势头发展。与此同时,GIS技术的研究和开发也有了长足的进步。但是,当前的GIS软件与日益提高的社会需求相比,还存在着明显的差距。在数据组织与处理模式方面,仍然沿袭地图处理的模式,而不是面向真实的地理实体;不同尺度不同来源的空间对象之间缺乏互动关系;对三维空间数据和时序数据还缺乏有效的处理手段;在网络和分布式系统组成方面,还没有实现真正意义下的RPC和“对等”的工作模式;GIS功能共享和互操作问题尚未解决,以系统为
19、中心的问题没有得到根本的克服。随着计算机网络技术的发展,J2EE和.net技术的日趋成熟,以单一系统或网络为核心向全球信息网格(GIG)体系发展,GIS的横向也相应向空间信息网格(SIG)体系发展。随着计算机组件技术的发展,特别是分布式服务组件技术日趋成熟,在纵向上,GIS朝着三层、多层结构体系发展。“多层结构、空间信息网格(SIG)”的核心是:“面向服务”。“面向服务”的提出,使以往的“共享”、“异构数据互操作”渐渐得以解决。同时解决了“海量空间数据在互联网上调用速度问题”、“不同系统之间数据不通问题”,因为从用户角度来说,它不考虑数据只要服务。因此,管理数据的软件必须提供数据服务,“谁管数
20、据谁提供服务”;“应用端请求服务而不是直接操作数据”;“服务端提供服务而不是提供数据内部结构”。各个站点管理数据的软件、提供应用服务功能的软件都可以由不同的厂商提供。图7-1GIS体系演变示意图3.1、历史在国家“十五”863项目的支持下,历经5年的科技攻关,由中地数码开发的具有完全自主版权的第一套“分布式超大型GIS平台软件MAPGIS7.x”已经研制成功。MAPGIS7.x是属于最新的“第四代GIS”软件产品,具备“纵向多层,横向网格”的分布式体系结构,采用“面向服务”的最新设计思想,支持局域和广域网络环境下空间信息网格(SIG)的分布式计算,实现了面向空间实体及其关系的数据组织、高效海量
21、空间数据的存储与索引、大尺度多维动态空间信息数据库、三维实体建模和分析,具有TB级空间数据处理能力、支持分布式空间信息分发与共享、网络化空间信息服务,支持Unix/Linux大型服务器,支持海量、分布式的国家空间基础设施建设。“面向网络海量空间大型GIS-MAPGIS7.x”的研制成功,表明中地数码在最新的“第四代GIS技术”应用方面已经达到国际先进水平,标志着我国在大型、超大型GIS工程应用上长期依赖国外软件的历史一去不复返。中地数码在技术研究、产品开发和市场化、产业化道路上,走出了一条独特的发展道路,成为亚洲著名的GIS软件企业。以MAPGIS平台为基础开发的系列软件已在中国国民经济建设、
22、社会发展和国防建设领域得到广泛应用,发挥了重大作用。中地数码以创建“数字化生存新环境”为宗旨,以“振兴民族软件,打造国际品牌”为使命,以“面向网络海量空间大型GIS-MAPGIS7.x”推出为契机,积极引领数字城市、数字中国、数字地球的建设浪潮,为人类营造一个全新的数字化地球不懈努力,必将对人类社会信息化建设作出杰出的贡献。MAPGIS7.0是武汉中地数码科技有限公司开发的新一代面向网络超大型分布式地理信息系统基础软件平台。系统采用面向服务的设计思想、多层体系结构,实现了面向空间实体及其关系的数据组织、高效海量空间数据的存储与索引、大尺度多维动态空间信息数据库、三维实体建模和分析,具有TB级空
23、间数据处理能力、可以支持局域和广域网络环境下空间数据的分布式计算、支持分布式空间信息分发与共享、网络化空间信息服务,能够支持海量、分布式的国家空间基础设施建设。系统具有以下特点:(3) 采用分布式跨平台的多层多级体系结构,采用面向“服务”的设计思想;(4) 具有面向地理实体的空间数据模型,可描述任意几何复杂度的空间特征和非空间特征,完全表达空间、非空间、实体的空间共生性、多重性等关系;具备海量空间数据存储与管理能力,矢量、栅格、影像、三维四位一体的海量数据存储,高效的空间索引;采用版本与增量相结合的时空数据管理模型,“元组级基态+增量修正法”的实施方案,可实现单个实体的时态演变;具有版本管理和
24、冲突检测机制的长事务处理机制;基于网络拓扑数据模型的工作流管理与控制引擎,实现业务的灵活调整和定制,解决GIS和OA的无缝集成;(3) 标准自适应的空间元数据管理系统,实现元数据的采集、存储、建库、查询和共享发布,支持SRW协议,具有分布检索能力;支持真三维建模与可视化,能进行三维海量数据的有效存储和管理,三维专业模型的快速建立,三维数据的综合可视化和融合分析;提供基于SOAP和XML的空间信息应用服务,遵循Opengis规范,支持WMS、WFS、WCS、GML3。支持互联网和无线互联网,支持各种智能移动终端。3.2、MapGIS的发展经过几十年的发展,今天的GIS系统已经具备了较强的数据存贮
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- mapGIS 数据中心 技术 白皮书 _v1 教学 资料
限制150内