数据交换共享中心设计方案1.docx

《数据交换共享中心设计方案1.docx》由会员分享，可在线阅读，更多相关《数据交换共享中心设计方案1.docx（25页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数据交换共享中心设计方案整合协同平台的主要功能是从其它子系统中提取共享数据，并对多来源渠道的、相互不全都的数据进行数据融合处理；基于数据字典对实时数据和历史数据进行组织，以保证数据间关系的正确性、可理解性并避开数据冗余；以各种形式供应数据服务，采纳分层次的方法对各类用户设置权限，使不同用户既能获得各自所需要的数据，又能确保数据传输过程的平安性及共享数据的互操作性和互用性；维护基础信息、动态业务数据以及系统管理配置参数；支撑系统的网络构架、信息平安、网络管理、流程管理、数据库维护和备份等运维力量。整合协同平台依据功能可分为两个部分：第一部分，基础数据和共享数据的交换服务和路由流程管理，该部分是交

2、换平台的基础，包括：静态交换数据、动态交换数据、图形数据及表格、统计资料等属性数据。其次部分，各子系统之间的接口实现，依据事先制订好的规范、标准，实现各子系统之间的数据共享和传输操作。在接入中心平台时，应按系统集成要求设计系统结构，各类数据接口遵循系统集成规范。第一章 中心平台设计1.1 平台功能结构整合协同平台服务器是公共基础平台的核心部分，XMA整合协同平台供应一整套规范的、高效的、平安的数据交换机制。XMA整合协同平台由部署在数据中心和各业务部门的数据交换服务器、数据接口系统共同组成，解决数据采集、更新、汇总、分发、全都性等数据交换问题，解决按需查询、公共数据存取掌握等问题。各业务子系统

3、都要统一使用XMA整合协同平台进行数据交换。数据中心统一管理和制定数据交换标准。各业务部门通过数据级整合或者应用级整合通过XMA整合协同平台向数据中心供应数据，也通过XMA整合协同平台访问共享数据。XMA整合协同平台的基本功能如下：共享数据库的数据采集、更新、维护。业务资料库、公共服务数据库的数据采集。供应平安牢靠的共享数据服务。业务部门之间的业务数据交换。结合工作流的协调数据服务。功能流程说明：数据供需方的接口数据系统：为了满意应用层交换和数据层交换，交换代理必需有应用层和数据层的连接和接口适配功能，数据代理必需有数据格式的转换功能。数据传输：为了保证数据的正确传输和传输性能，必需有传输管理

4、功能，包括了传输协议管理和掌握，传输过程控、数据传输加密、压缩、网络故障检测和连接共享等功能。数据整合协同平台：会话管理：为了能供应数据的交换方式如主动（推）、被动（拉）；支持定时和实时策略，支持超时掌握管理等功能，数据交换平台必需有会话策略、会话掌握和管理功能。数据管理：为了数据能按标准进行交换，能依据部署的路由规章进行交换，必需有数据路由、数据模板管理、数据解析、数据转换等功能。系统管理功能：同时数据交换平台还应当供应服务管理功能，包括运行管理，部署管理，服务管理，系统日志等功能为了和平安平台结合，还必需有与平安平台的接口设计功能。1.2 设计原则1.2.1 平安高效的数据交换XMA整合协

5、同平台底层采纳消息中间件技术，实现牢靠的数据传输。在应用层基于服务，实现数据交换，必需支持数据采集、数据汇总、数据分发、数据更新通知、数据转发、数据转换。支持实时、定时、按需的数据交换方式。支持多种数据源，供应身份验证、用户授权、传输加密、数据完整性、数据可信性、数据有效性的支持。支持数据分段传输、数据压缩/解压缩、数据缓存等。1.2.1.1 规范的数据共享访问共享数据是一个公共的资源，可以供多个业务系统同时使用。对公共数据的访问必需经过用户的验证授权访问。此外，还需要从数据中心运作的流程、规程制度等方面确保共享数据不被用于非法途径。1.2.1.1.1 平安牢靠性由于各个业务部门间交换的数据文

6、件含很多敏感信息，所以对数据交换过程中的平安要求就非常严格。XMA整合协同平台必需供应平安机制保证数据交换信息的完整性、数据交换信息的机密性。XMA整合协同平台必需能有效的与平安认证平台结合。通过平安认证平台和XMA整合协同平台，能够爱护交换信息内容免遭拦截或非法修改。1.2.1.1.2 高可用性随着项目工程的推动，需要数据交换的部门会越来越多，XMA整合协同平台需要对负载平衡的支持，在分布式的体系结构上可以添加主机的方式提高整体计算力量，进行面对服务的适应性负载平衡。1.2.1.1.3 可维护性XMA整合协同平台具有日志监控功能，通过数据服务日志可以记录、跟踪数据交换的细节。日志可以用于对系

7、统的运行状态进行监控，亦可以用于对系统的运行状况进行审计、故障处理、系统开发调试、交易跟踪。对数据服务进行监控管理，用户权限管理，运行日志查看，性能统计。1.3 信息共享功能1.3.1.1.1 数据汇总支持各个分支数据源汇总数据到数据中心。采集公共数据的过程可以看成是一个数据汇总的过程，通过XMA整合协同平台将各业务部门的公共数据采集回来，汇合到数据中心的缓存数据库。经过数据管理系统的比对、校验、转换得到全都的数据。1.3.1.1.2 数据分发数据分发是从数据中心的角度，主动向各数据使用方供应数据的过程。通过公开数据服务，依照数据使用权限的规章，从数据中心把数据分发到各个数据使用部门，实现数据

8、共享、信息联动。1.3.1.1.3 数据存取访问XMA整合协同平台供应实时按需的数据存取访问服务，通过统一标准的数据接口，以XML作为标准数据格式，通过标准的Web服务对各种技术平台供应访问支持。1.3.1.1.4 数据转换数据交换服务可以把某个数据库的数据转换成标准XML数据集。通过数据转换模块，实现对各种异构数据转换到统一标准规范、具有全都性和完整性的公共数据。1.3.1.1.5 任务定制数据接口系统应当允许用户自己配置和管理相关的服务，如：数据提取服务、数据发送服务、数据接收服务、数据存储服务等。1.3.1.1.6 支持用户自定义接口数据接口系统应当是一个开放的系统，要供应一些可扩充的接

9、口以及二次开发接口，支持用户基于这些接口来定义自己的特色服务。1.3.1.1.7 支持监控管理对数据服务进行监控管理，用户权限管理，运行日志查看，性能统计。通过数据服务日志可以记录、跟踪数据交换的细节。对数据交换节点进行管理，供应平安策略指南、服务器平安管理配置。1.3.1.2 信息交换方式XMA整合协同平台可以支持不同方式的机构和系统间的数据交换与协同，主要包括： 基于Web Services服务的方式用于外部机构与中心平台间的实时交换；基于数据库接口的方式用于内部系统间实时或非实时交换；基于文件交换的方式用于外部或内部系统间非实时批量交换。1.4 基于Web Services服务的方式基于

10、WebServices服务的数据交换方式主要用于外部机构部门与数据中心间实时的数据交换和业务协同应用。基于WebServices技术的应用集成通过主流的WebServices协议如SOAP、XMLRPC等协议的无缝集成，支持这些应用系统的接口，供应基于WebServices的应用系统整合适配器，并供应快速整合WebServices应用的工具和接口API。数据供应方定义公开数据服务，以服务的形式封装数据交换的内容和协议。数据使用方调用数据供应方的公开数据服务以猎取所需的数据，并且依据肯定的数据转换和数据更新规章，把数据更新到本地数据源。通过本地数据服务和公开数据服务的交互实现数据供应方和数据使用

11、方之间的数据交换。1.4.1.1.1 基于数据库接口的方式基于数据库接口交换的方式主要用于内部系统间的实时或非实时数据交换方式。交换的双方通过定义发送和接收任务来进行数据库接口的交换。依据交换的数据格式的不同，这种数据交换方式又可以细分为两种类型：一种是数据落地的数据共享，一种是数据不落地的数据交换。基于标准XML元数据和数据字典的数据交换由XMA整合协同平台自动从前置机交换数据库中提取数据，并依据定义好的模板打包生成标准的XML数据包，由定制好的发送路由发送给接收方。接收方接收到XML数据包后自动进行解包处理，并将数据存储到接收方的前置机交换数据库中。1.4.1.1.2 基于文件交换的方式基

12、于文件交换的方式主要用于外部或内部的非实时批量数据交换方式。交换的双方通过定义发送和接收任务来进行数据文件的交换。依据交换的数据文件的不同，这种数据交换方式又可以细分为两种类型：一种是基于标准XML文件的数据交换，一种是基于其他文件格式的数据交换。基于标准XML文件的数据交换由XMA整合协同平台自动从前置机交换数据库中提取数据，并依据定义好的模板打包生成标准的XML文件，由定制好的发送任务发送给接收方。接收方接收到XML文件后自动进行解包处理，并将数据存储到接收方的前置机交换数据库中。基于其他文件格式的数据交换由业务系统将需要交换的数据文件放置到前置机上的规定路径下，通过XMA整合协同平台发送

13、到目的地交由接收部门自行处理。第二章 平台接口设计制定的接口规范内容为整合协同平台和各接入部门之间，系统互联所涉及的数据交换接口。系统之间的信息传输和交换通过计算机系统互联网络来完成。2.1 数据接口“信息平台”与接入部门信息系统之间通信的通用接口模型如图所示。运输层以下层次的通信协议选用合适的标准协议，运输层和网络层建议选用统一的TCP/IP协议，便于各节点之间组网传输，数据链路层和物理层可依据实际通信条件状况敏捷选用，如ADSL、E1。“中心平台”与接入部门之间通信的通用接口模型在整合协同平台，依据对信息的各种需求，维护一个用于数据共享的标准数据注册中心，采纳标准化数据的方式向各接入系统及

14、各应用系统供应共享的信息；各接入系统在整合协同平台处对应维护一张数据字典，用于完成非标数据和标准数据的翻译，从而向共享的标准数据库供应标准化的数据信息；对于单一功能领域的特别数据信息，系统供应在各子系统之间直接进行交换的途径，满意特定功能的应用需求；系统需要有一个特地的维护和管理机构，分别对系统的数据字典、标准共享数据库进行增加、更新等维护管理，以满意新的接入系统接入和系统进展的需求。2.1.1.1.1 数据传输在数据传输中，由于系统数据的异构特性，在数据发送接口和接收接口需要对数据格式依据数据字典的要求进行转换，统一于标准的数据格式满意应用的要求。2.1.1.1.2 接口扩展数据接口的分层次

15、、模块化、规范化设计，将有利于系统的扩展性，对扩展性设计主要体现在以下几个方面： 应用层协议的分层设计，各层功能明确，层之间可通过规范化的接口进行调用和传递信息。各层功能可独立实现，敏捷性好，比如可通过购置商品化软件来实现通信子层；某一层协议的功能扩展或变化时，将不影响另一层协议的功能。采纳数据登记标准的、基于XML格式的数据接口方案设计，敏捷性比较好，系统扩展便利，适合接入系统的增加或接入信息内容的扩展，有利于满意新的系统接入和系统进展的需求。数据传输协议基于一些主流的、成熟的数据传输协议，能很好适应系统扩展的需求。2.1.1.2 资源名目管理数据中心通过XMA整合协同平台以数据服务的方式从

16、各业务部门采集数据，保存到公共数据缓存库，然后使用公共数据管理维护系统进行数据比对、冲突检查、数据审核、数据转换。当数据达到全都性、完整性要求时，数据被发布到公共数据发布库，通过XMA整合协同平台以数据服务的形式供应数据使用方访问。该系统不仅要能够满意基于现状条件下对信息资源的整合利用和规范管理，还要适应将来对信息资源的深度开发和多媒体信息资源库扩展的要求。2.1.1.2.1 资源名目管理的结构数据管理系统以主题的方式组织数据资源，供应元数据管理、数据供需关系管理、数据标准规范管理，与XMA整合协同平台结合，供应数据转换、整理、发布等功能。2.1.1.2.2 资源名目管理的功能2.1.1.2.

17、2.1 元数据管理元数据名目集中管理数据元数据的发布与维护，系统授权给分系统管理员完成对本部门元数据的维护工作。2.1.1.2.2.2 服务注册与接口发布前置机注册数据源注册适配器注册服务注册服务删除服务订阅服务审核服务启动2.1.1.2.2.3 数据转换建立业务部门数据于标准规范数据的转换映射关系和转换规章，将业务部门的数据转换为符合标准规范的数据。数据转换重用数据整合协同平台的功能。2.1.1.2.2.4 数据整理数据中心通过XMA整合协同平台从区级数据中心及各业务部门采集数据并放入数据中心的缓存数据库中，然后通过数据管理系统对数据进行比对、清洗，检查数据冲突，对数据进行审核校验。确保数据

18、全都性、完整性。2.1.1.2.2.5 主题管理数据中心以主题为单位实现数据采集、数据交换、数据共享、数据比对以及数据发布。因此必需供应主题管理功能。主题管理重用数据整合协同平台的功能。2.1.1.3 运行监控管理为便利对数据中心的管理和维护，需要一套功能完整的运行管理与监控维护系统，保障整个数据中心系统和信息资源的高牢靠、高可控和高效。运行管理系统主要供应应数据中心的系统管理人员使用，用于保证数据中心的平安牢靠和高效运行。其功能主要包括面对平安性的用户管理、权限管理和密码管理；面对可用性的节点管理和状态监控；面对牢靠性的数据备份和恢复；面对性能优化的性能监控；面对运行管理机制的信息管理等。供

19、应满意监测统计要求的功能，供应对检测日志内容的简洁统计分析表等。运行管理与监控系统的管理对象包括：XMA整合协同平台、数据库服务器、主机服务器、网络设备、备份和存储设备、数据交换节点设备和系统等。2.1.1.3.1 运行监控管理模型运行监控管理要涉及不同领域的多种协议和接口 - 比如 SNMP 用于网络管理，桌面管理接口 (DMI) 用于桌面系统管理。基于 Web 的企业管理 (WBEM) 是这个行业的一个倡议，能够收集、管理并合并多种来源的管理数据，从而更全面、更精确地了解系统环境。WBEM 有两个关键的组成部分（但有可能会使用更多的标准，比如使用 XML 平台来中立地共享 CIM 对象）：

20、公共信息模型 (CIM) 规范，它定义了 WBEM 实施的要求CIM 架构，它描述了数据存储库的内容运行监控管理平台的体系结构可参考如下所示：2.1.1.3.2 运行监控管理结构运行管理与监控系统通过数据整合协同平台的资源管理体系和智能代理共同来完成。运行管理与监控系统的系统结构如图：资源管理体系和智能代理的实现符合WBEM标准和JMX规范，JMX定义了开发可管理应用或网络管理系统的一个体系结构、若干设计模式、API和服务。JMX规范包含若干现有标准管理协议的Java API，JMX通过广泛应用的两个管理协议：SNMP管理者API和CIM/WBEM管理者与供应者API与WBEM达成无缝的集成。

21、JMX规范向业界各领域的用户供应了装配代码、创建智能代理、实现分布式管理中间件和管理者的方式，并且可使这些解决方案平滑的集成到现有管理系统中。另外JMX规范也供应了若干现有标准管理技术的Java API。JMX侧重管理软件架构和数据接口系统（部署到各个部门的前置机）而WBEM则侧重管理网络设备，他们各有分工又相互合作。第三章 平安认证管理数据中心系统结合平安认证平台的应用主要包括：数据中心应用单点登陆认证数据共享交换平安认证在项目中，依据需求把平安认证平台应用到每个功能和模块。3.1.1.1.1 身份认证和单点登录平安认证在技术上采纳了大量先进成熟的平安技术，支持的功能和相应的技术特性如下：访

22、问权限掌握：对业务流程中的操作、对数据和资源的访问，都能进行权限掌握；用户身份验证：供应对用户的身份验证，支持单点注册；数字认证体系：供应基于PKI标准的数字认证体系，通过CA认证中心的证书进行数字认证、数字签名等保障措施，来认证用户、实体的身份，保证消息的完整性和交易的不行否认性，确保交易合法有效；平安通信通道：通过SSL等标准的平安通道协议，供应通信层的平安，保障通信双方的身份正确性，通道和会话的私密性，消息的完整性和交易的不行否认性。平安总线技术特性身份认证 (Authentication)强身份认证单点登录 (Single Sign-on)授权访问掌握 (Authorization)可

23、定制的访问掌握列表 (ACL)权限管理 (Group, User, Action, Permission)数据加密插件式的数据加密模块的部署数字认证基于PKI的CA认证、数字证书、数字签名支持平安通信协议，如 SSL, HTTPS .集成其他平安服务兼容 LDAP, NT Domain 等平安服务3.1.1.1.2 数据交换加密认证下图表示数据在应用层交换的恳求/响应流程图过程描述如下：通过接口API之间的数据流通道接收恳求方发送的XML恳求数据；对恳求方进行身份认证和权限掌握；写恳求日志，存储恳求XML数据文件；解析恳求XML数据；验证数字签名；对XML数据中的加密数据进行解密；依据解析后的

24、明文恳求数据进行对应的业务处理；对处理后的响应数据按需要进行加密；进行数字签名；将数据封装成XML 数据文件；通过数据流通道发送XML数据；写响应日志，存储响应XML数据文件。涉及到平安体系的步骤包括：第2、第5、第6、第8、第9步。除了和登陆认证的登陆认证之外，还包括了数据的加解密过程。3.1.1.2 系统技术实现的优势特性3.1.1.2.1 高效牢靠的可扩展平台平台供应数据层、应用层等多层次的数据交换，供应基于文件、数据库、应用层的多种交换方式。系统的稳定性和性能已经在多个政府、银行、电信中得到应用。3.1.1.2.2 即插即用的柔性架构数据共享交换平台设计了统一的管理总线和平安总线接口、

25、采纳了“即插即用”的管理模型，具备了即插即用的特性，对于新拓展的适配器能够快速、动态的部署和集成。3.1.1.2.3 高扩展低维护的特性使系统有足够好的可扩展力量，各部分之间必需是松散耦合的，每个部分的实现方法的变化不应当对系统的其他部分造成影响；系统中的新增的模块只需要在一处配置，可以被多个子系统共享的力量。3.1.1.2.4 平安牢靠的特性保证系统必需保证在广域网环境下的具有足够的平安性，符合信息化建设中的平安要求，能与认证中心CA/PKI系统无缝结合。3.1.1.2.5 敏捷牢靠的数据传输3.1.1.2.6 支撑扩展的综合应用通过对应用支撑体系的实现，不仅可以支持数据中心的数据整合、共享

26、交换，还可为其他部门或综合应用供应支撑，如公共服务系统、决策支持系统等，真正做到成为企业信息系统的枢纽。第四章 系统力量及性能指标XMA整合协同平台服务器是任务关键系统，纵向联接多级系统，横向联接多个业务部门，系统结构简单、业务量大、吞吐量高，需要具备良好的平安性、稳定性、可用性、可伸缩性和可扩展性。XMA整合协同平台的技术路线采纳SOA、EAI、ETL、XML等大量成熟的先进技术，架构在J2EE的分布式体系结构之上，数据交换采纳XML，支持WEB服务和SOAP协议，在软件架构管理上采纳JMX与WBEM集成的技术，使之成为管理模块技术的核心，结合CA认证机制的供应平安保障。同时供应中间层集成框

27、架用来满意无需太多费用而又需要高可用性、高牢靠性以及可扩展性的应用需求。通过供应统一的集成平台降低了资源整合和应用的成本和简单性，同时供应对现有应用程序集成强有力支持。XMA整合协同平台是各个部门建设业务系统的一个标准架构，作为数据中心的平台建设，必需能满意及支持区域性体系架构的要求。系统遵循国际主流的SOA架构体系，采纳先进、主流、牢靠、平安、开放、有用、性价比好的系统架构，具有优秀的技术力量和性能指标。4.1.1.1.1 系统力量项目技术指标遵循标准规范采纳面对服务架构(SOA)设计和企业服务总线(ESB)技术，遵循J2EE标准体系结构，具有敏捷的扩展性和良好的移植性。多种交换方式数据交换

28、接口主要包含：Web服务方式，支持主流的协议接口，如SOAP、REST等Web服务协议标准数据库接口方式，支持主流关系型数据库的接口，包括了ORACLE、SQL SERVER、SYBASE、DB2等基于文件交换方式，支持基于自定义格式的文件交换多种数据格式以XML格式为主，可支持各种类型的数据源的交换，包括关系型、结构化、XML、消息、文本数据、WEB数据、矢量地图、影像、视频、音频等。数据交换力量支持服务、消息、数据库、文件等多种交换方式，并具有良好的负载均衡力量；支持大数据包的交换，进行分块传输，数据量大小不应受限制，在保证肯定数据传输速度的同时，可避开占用全部网络带宽。数据交换传输支持多

29、种传输协议支持多种传输格式支持数据的加/解密，基于PKI的平安认证支持传输层的动态扩展性数据交换管理数据交换管理主要包含：交换平安管理，供应基于ACL的访问掌握等平安管理技术交换路由管理，供应基于动态路由的交换，可配置拓扑路径交换协议管理交换性能管理交换日志管理交换格式管理批量数据交换批量数据交换由数据抽取工具完成，支持数据抽取、数据清洗、数据比对、数据校验、数据转换等处理，支持异构数据源或数据访问接口：l Oraclel Sybasel SQL Serverl IBM Informixl IBM DB2l JDBCl ODBCl XMLl 文本文件等实时数据同步数据同步支持异构数据源之间的数

30、据复制，应支持实时、定时、订阅/发布、手工等数据复制模式。平安性对共享数据进行访问权限设置、访问标准或者分发标准。基于平安基础服务，通过对敏感信息进行加密等手段，供应消息的加密/解密、数字证书认证等功能，实现信息内容的保密和操作的不行抵赖性；基于日志，实现对数据交换任务进行追踪和事后审计。牢靠性系统供应724小时的连续运行，软件版本升级或改进应在不影响业务的状况下进行，保证系统可以稳定、平滑过渡；支持数据断点续传、牢靠传输，系统运行稳定，具有高牢靠性，牢靠性达到99.99%。易维护性整合协同平台系统供应集中的可视化的管理服务，能集中便利地配置、监视、掌握、管理整个系统，并且能够监视本系统中各类应用状况，准时消退隐患、降低管理成本、提高效率。技术标准数据访问遵循JPA、JDBC、ODBC等标准；数据格式遵循XML标准。4.1.1.1.2 性能指标项目技术指标交换响应时限操作过程的响应时间平均不超过3秒，最大不超过10秒（不包含外部系统对于平台的响应时间）。交换数据量支持大数据包的交换，理论数据量大小不应受限制共享数据容量各类数据总量支持TB级以上数据访问速度多种数据源的简单操作响应时间不超30秒并发用户数共享数据中心支持10000个以上的并发用户数