（大数据资料）政府数据交换平台解决方案.doc
（大数据资料）政府数据交换平台解决方案政府数据交换平台解决方案目前,国内各地政府部门和机构或多或少均建立起自己的信息化系统,包括门户网站内容管理系统、OA办公系统、办事审批系统、其它业务系统等.但由于诸多因素的影响,即使同一地区的政府机构间也无法进行合理、有效的沟通,可以说是一座座的”信息孤岛”.电子政务实施的任务之一就是要将这些”孤岛”有机地串连在一起,充分发挥其效能,同时也保护了各部门在该方面的经济投入和精力投入.此外,电子政务建设过程中,即使是统一规划,但具体的实施单位和解决方案会有很多,建设完成后的系统常常是自治的,异构的,数据可能存放于数据库、文本文件、XML文件,甚至普通文件中.因此也需要一种机制使不同时期建设的应用系统能有机地结合为一个整体.上述两种情况,均要求解决应用系统间数据和信息的互通、互用问题. 如上图所示,原来的典型处理方法是需要一个个直接的”点对点”的数据链接,并且需要定制开发以实现系统之间的”会话”.随着新系统的不断增加,直接的定向连接和定制开发的情况会急剧增加,这最终将成为信息流动和系统维护的瓶颈. 在数据交换领域中,没有标准的部落式交换的代价是高昂的,相同的数据分析处理模块在很多应用中被重复地撰写,可能只是为了将某一数据源的数据转换到各个不同的目标数据源中去.由于没有中间标准,各个系统的实现人员也几乎没有可能将代码重用,昂贵的数据交换代价使得数据源只能散乱孤立地存在. 因此,有必要建立一个通用的、分布式的数据集成平台,用以解决电子政务实施过程中对于基于异构数据平台上的数据无法进行有效交流和沟通的问题.”大汉网络数据交换平台”就是解决该类问题的一个解决方案. “大汉网络数据交换平台”能够为需要数据集成的应用提供数据服务,解决数据从何而来,哪个应用对其感兴趣,以及如何被每个系统使用的问题.”大汉网络数据交换平台”通过把信息提供者和消费者隔离,来构建灵活的系统,使得这些系统不会受到数据的物理位置的影响,也不会受到需要存取数据信息的应用个数的影响,对于每一个系统就不需要进行特别的定制处理,就可以在系统之间实现信息的集成了. “大汉网络数据交换平台”通过一个集成框架的方案来解决这个问题,通过为开发人员提供一组标准接口(适配器)来实现这个方案. “大汉网络数据交换平台”主要功能为：各应用系统数据的抽取或加载;交换数据通过交换平台完成数据的交换传输;各应用系统交换数据的比对、整理.各应用系统仅需负责确定本系统参与交换的数据,而不必关心数据库之间数据的传送. 二、系统设计 1设计原则 数据交换平台应遵循以下几个基本设计原则： 不影响现有或其它相关信息系统的使用和信息安全. 采用先进成熟、稳定的技术和软硬件平台. 坚持开放性,易于技术更新. 采用国际通用标准,便于和国际接轨,易于系统扩展及升级. 建立一个坚实的系统应用平台,便于系统的管理和维护,技术易于更新,网络及业务规模可以逐步扩展.统一规划,分步实施. 2交换平台设计 系统架构 系统组成 交换平台是利用网络,为异构、自治的多方提供统一、安全、灵活的数据互访支持的计算机软硬件系统. 交换平台的组织方式如所下图所示： 交换平台由如下几个部分组成： 参与方 交换参与方,后文一般简称参与方,指通过交换平台参与数据交换的各方.从管理角度看,参与方指参与数据交换的相关组织;从实现的角度看,参与方指参与数据交换的应用系统. 控制中心 交换控制中心是交换平台中负责管理和控制的机构,其职责主要包括参与方身份和权限管理,数据流程定义和监控,以及数据规范管理等. 控制中心负责对整个交换平台的管理,包括参与方的注册和注销,参与方的权限,数据交换标准的定义等. 平台服务组件 交换服务组件是交换平台软件的重要组成部分,运行于各参与方,主要包含数据集成服务器和实用工具,用于完成客户端的数据访问、数据传输等. 平台控制组件 交换控制组件是交换平台软件的重要组成部分,运行于交换控制中心,主要包含集成控制服务器和实用工具,为交换控制中心的管理提供支持. 传输框架 “大汉网络数据交换平台”采用可扩展的设计模式,采用适配器的方式定义数据的传输方式,目前主要是基于已经内置在平台控制组件的消息中间件来保障消息传输的时效性、可靠性及实施成本的低廉性.支持安全、可靠的数据传输方式.支持多种数据格式. 三、应用案例 1案例背景 “XX市XX局门户网站”是XX市XX局在互联网上架设的网络平台,于2002年7月正式上线运行,并于2004年进行了一次改版,2006年实现Web服务的负载均衡以适应业务以及服务需求的发展.网站系统基于Windows平台,数据库为SQLServer2000,编程语言为JSP,CMS系统部署在内网(物理隔离),通过中间摆渡服务器定时将数据交换到外网供用户浏览. 因政府门户网站建设要求不断提高,现在的XX市XX局网站已经无法适应,必须要采用先进的网站开发技术对网站系统进行改造,来全面提升电子政务服务水平. 原有网站系统拓扑结构/服务器关系图如下 在内网镜像服务器进行网站内容维护更新,中间摆渡服务器定时连接外网发布服务器与内网镜像服务器中的1台,在物理隔离的情况下完成数据的交换. 数据流向为内网镜像服务器、电子开关、中间摆渡服务器、电子开关、外网部署服务器、数据库服务器SQL Server. 该技术方案用户认为的最大弊端是非实时,是定时进行数据摆渡(目前是每10分钟切换一次电子开关).此外,在系统管理层面和技术架构层面的扩展性和便利性不够,这也是需要提升和改进的部分. 为了满足该局内外网数据整合的要求,需建立了技术架构合理的”数据交换平台”. 2需求分析 管理层面 通过”数据交换平台”,管理上较为便利,各个应用系统业务逻辑清晰.通过交换系统,实现内外网应用系统之间和内网内部应用系统的数据交换,使得系统维护的工作量降低. 系统架构层面 随着内外网应用系统不断增多,相互数据流关系会很复杂(一对多、多对多),维护量也很大.因此考虑对各应用系统进行封装,通过数据交换平台进行交互数据. 数据交换实时的要求 现有系统采用电子开关方式,每10分钟进行一次数据摆渡,是该种方式最大的弊端. 主要应用 门户网站”网上办事”,外网提交表单数据通过”数据交换平台”,反馈到内网Notes进行办理.办理的结果数据通过”数据交换平台”反馈到外网进行展现. 内容管理系统子功能(投票、个性化定制、订阅、意见征集等)外网接受表单提交数据,同样通过”数据交换平台”在内网处理,处理结果反馈到外网进行展现. 政务网内部的OA系统、内容管理系统、内部信息网系统之间根据客户需求实现数据交换,使得维护的工作量降低. 本项目所涉及的系统从数据格式上主要包括NOTES、SQLSERVER、ORACLE、XML、文本文件等数据格式,系统之间的通讯模式为逻辑隔离. 总体要求 (1)以产品化的思路实现：即实现应考虑大多数用户的需求,功能设计要比较齐全. (2)产品基于平台化、组件化的思想设计：所有功能应该在一个框架下实现,各种功能应尽可能共享相同的逻辑实现. (3)可配置：具体实现应抽象成动作和对象,对象及其属性是可定义的. (4)可管理：功能的实现是可调度的. (5)可监控：可实时查看各种功能实现的过程信息和最终结果. (6)可扩展：通过配置支持更多业务部门与交换系统的数据共享. 交换平台技术规范与要求 (1)及时交换：一旦有数据发送请求,应及时发送到指定目的地. (2)接口简单：支撑交换平台的消息传输中间件系统要具有简单的接口,业务系统能够以较方便的使用接口接入到交换平台,便于系统的实施、维护和扩充. (3)安全可靠的传输：保证接收者能正确收到数据,保证数据不被窃取和篡改. (4)高可靠性和高性能：系统具有高性能和高可靠性,能够满足大规模数据传输要求. (5)支持可定义的数据标准和数据交换标准：交换平台支持XX局制定的数据标准和数据交换标准,同时能够适应数据标准和数据交换标准的修订. (6)支持Web 服务技术：能方便地集成或实现Web 服务技术. (7)支持新的”参与方”加入到交换平台.新的”参与方”的加入,对交换平台的结构不需要调整,原来接入到交换平台的系统能够正常运行. 3应用架构 系统拓扑图/服务器关系图 在内网和外网各部署一套”数据交换系统”做为数据交换中心,两个数据交换中心之间的数据传输基于消息中间件可靠的传输渠道,在两个数据交换系统上需要分别定义数据源和任务. “两个中心”这种构架,在外网的”数据交换系统”定义外网的接收和发送任务及相关数据源,在内网”数据交换系统”中定义内网的接收和发送任务及相关数据源.在这两个数据交换中心通过消息中间件的渠道进行数据交换. 4技术特点 可自动完成数据的传送和复制 异构数据源集成,支持所有ODBC数据源和文本文件,并为各种WEB应用提供支持. 支持普通文件的传输 多种通信方式(FTP/消息中间件),推荐消息中间件方式. 场地自治,满足安全性要求. 灵活的系统管理工具,友好的用户界面. 提供数据预处理和后处理接口,满足用户对数据处理灵活性的要求. 通过支持XML可以实现数据发布和企业电子商务应用 所有功能都提供编程接口,实现与其它系统的集成 业务分析图 网络拓扑图 技术架构图
