一种基于SOA的动态数据集成效劳框架研究.docx

《一种基于SOA的动态数据集成效劳框架研究.docx》由会员分享，可在线阅读，更多相关《一种基于SOA的动态数据集成效劳框架研究.docx（13页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、一种基于SOA的动态数据集成效劳框架研究lihan导语：数据集成是企业信息系统的核心局部之一，它作为一个统一的数据平台为系统的其它局部提供数据支撑效劳。问题的提出数据集成是企业信息系统的核心局部之一，它作为一个统一的数据平台为系统的其它局部提供数据支撑效劳。很多企业拥有或者将拥有多种业务系统，而每种业务系统都有自己的数据存储库，每个业务系统的数据从整体上来讲一般是不完好的、不一致的。传统的解决方案为整合数据，它往往需要形成集中库，难以灵敏适应底层数据源的变化。传统的解决方案要求直接从数据存储库中获取数据，并且只能从数据存储库中获取数据，但数据存储库往往不被允许直接访问，而且数据存储库中的数据经

2、常是原生数据，它需要经过业务逻辑的处理才能成为有价值的数据，直接使用数据存储库中的原生数据是无意义的。因此，数据集成问题的关键是怎样方便地得到需要的数据，怎样进展正确的数据整合。本文提出一种实时动态数据集成的效劳框架，这个框架的数据集成是动态的，不需要建立集中库，数据集成是实时进展的；数据集成的数据源不局限于数据存储库，可以是一个应用、一个组件、一个效劳，甚至可以将数据集成后的结果作为新的数据源。SOA技术介绍SOA即面向效劳架构，可以看作是一种软件系统架构。它主要是为解析决在Internet环境下业务集成的需要，以松耦合和统一接口定义的方式将具有特定功能的组件作为效劳提供者连接在一起完成特定

3、的业务处理。SOA具有三大根本特征：SOA架构中提供效劳的功能实体具有完全独立自主的才能，这样不需要关心功能实体的实现方式和运行机制；SOA架构中以低频率对大量数据进展访问，也就是在信息交换时祈望一次性尽可能多地交换大量的数据；SOA架构采用基于文本而非二进制的消息传递方式，消息本身是不包含任何处理逻辑和数据类型的，同样不需要关心消息承受者的细节。XML和WebServices标准的成熟和应用的普及为广泛的实现SOA架构提供了根底。XML是针对包含构造化信息的文档而设计的一种标记语言。采用这种描绘方法，可以在保持原有数据的意义和构造的同时在应用之间进展数据交换，进而可以保持不同系统之间数据交换

4、的灵敏性。WebServices是基于最广为承受的、开放的技术标准如Http、SMTP、XML、SOAP、WSDL和UDDI等，支持效劳接口描绘和效劳处理的别离、效劳描绘的集中化存储和发布、效劳的自动查找和动态绑定和效劳的组合，成为新一代面向效劳的应用系统的构建和应用系统集成的根底设施。WebServices可以定义为通过SOAP协议，在网络上提供效劳，使用WSDL来描绘这种效劳，并通过UDDI注册效劳以便使用者能找到效劳。SOAP：这是WebServices的通讯协议，用XML格式来定义消息，即SOAP消息，包含在一对SOAP中的、构造正确的XML段。目前常基于HTTP协议来传输XML数据。

5、WSDL：Web效劳讲明语言。WSDL文件也是一个XML文档，WebService的细节描绘都包含在其中。如参数类型、函数名称、返回类型、绑定协议等。调用者可以通过查看WSDL文件来确定WebService的接口函数。UDDI：这是Web效劳的注册中心。WebService提供者将其提供的效劳注册到UDDI注册中心，调用者就可以到这个已知的UDDI注册中心查询到所需要的Web效劳。WebServices提供者实现效劳的接口函数和效劳的描绘，并将其发布给调用者或者注册到效劳注册中心。效劳调用者通过查询本地或者效劳注册中心的效劳描绘，选择所需要的效劳进展绑定以调用WebService的接口函数。效

6、劳的提供者以XML文档的形式将效劳结果返还给效劳调用者，完成了信息的交互。图1是WebServices的体系构造。align=center图1WebServices体系构造/align基于SOA的数据集成数据集成的本质是把不同;、格式、特点性质的数据在逻辑上或者物理上有机地集中，进而为用户提供全面的数据分享。在数据集成领域已经有了很多成熟的框架。目前，通常采用数据仓库和基于中间层的方法来构造数据集成效劳。中间层形式通过统一的全局数据模型来访问异构的数据库、遗留系统、Web资源等。中间层位于各种数据源和应用程序之间，向下对各数据源起协调作用，向上为访问集成数据的应用提供统一数据形式和数据访问的通

7、用接口。各数据源的应用仍然完成他们的任务，中间层那么主要集中为各种数据源提供一个高层次检索效劳。中间层提供一个统一的数据逻辑视图来隐藏底层的数据细节，使得用户可以把集成数据源看为一个单一的整体。本文提出的基于SOA的动态数据集成效劳框架就属于中间层形式。在基于SOA的数据集成中，XML提供一种标准化的数据构造以协助整合系统之间不同的数据构造，并以关联视图的方式展现被集成的数据。以“同一种语言沟通不再是必须的，WebServices将作为一种标准的通讯方式允许某一局部动态地发现其它局部的才能和需求。因此集成是动态的，可以随时根据需要组织数据的集成方式，得到不同的集成视图；集成也是实时的，可以方便

8、地获取最新的数据。基于SOA的数据集成将传统数据集成解决方案中，考虑不同系统中数据是怎样交换的转变为如何展现系统的功能，这样数据将不再是以点对点的方式获取，而是可以自由的在网络上得到的一种效劳。系统不是在底层协议的根底上进展交互，而是在一个抽象的接口层面上进展数据交换。系统仅仅将它们的功能以效劳的形式展现出来，其它的系统能轻易地发现这个效劳并在运行时或者设计时绑定它。被集成的效劳可以是任意的应用、系统和数据源，而不用考虑它们的特殊要求。动态数据集成效劳框架的研究框架技术体系图2是基于SOA的动态数据集成效劳框架的技术体系构造。从图中可以看出，框架的技术体系由5个层次组成。分别是数据源适配器、效

9、劳包装器、SOA运行引擎、XML视图引擎、XML视图。align=center图2：框架技术体系构造/align数据源适配器是同各种数据源进展交互的桥梁，它是一些可插拔的组件，并动态地进展加载。数据源适配器以遵从标准接口的方式进展编写，可以独立地为新的数据源编写适配器，并很方便地接入到系统中。数据源的类型根本上是没有限制的，即可以是数据库可以以是位于Internet上的文本文件，甚至是一个应用系统。数据源适配器将存储在各种数据源的原生数据转换为标准的XML文档。效劳包装器是将数据源适配器包装成标准的WebServices效劳，这样就将对数据源的API访问形式转变为对效劳的提供。效劳包装器可以同

10、时包装多个数据源适配器，这样它的另一个重要作用就是可以对来自一个或者多个数据源的原生数据进展进一步的逻辑处理以将其转变为更有意义的信息，并可以在本地缓存处理后的数据。这样通过缓存进步了整个系统地效率和可靠性即使数据源出现故障系统也有才能继续工作，同时将业务逻辑进展预先处理，降低了XML视图的复杂性，使得XML视图更易于被理解。效劳包装器隔离了对数据的访问细节和对数据的逻辑处理细节，这两个局部可以独立地变化，极大地进步了系统的灵敏性。SOA运行引擎是框架的核心局部，通过它调度效劳的执行，驱动数据集成的处理。SOA运行引擎包括了规那么处理器、流程处理器、消息处理器等。SOA运行引擎将XML视图引擎

11、解析的数据集成恳求转变为对效劳的调用恳求，并由运行引擎去查找合适的效劳、绑定效劳并调用效劳。XML视图引擎提供三种机制：其一，它将多个异构的数据源表示为单一的即时虚拟数据库，这个即时虚拟数据库由一系列实时获取的XML文档构成。其二，解析用户来自XML视图的恳求，将该恳求向下层传达，并将最后结果以XML文档的形式返还给用户；最后，它将自己的元信息用XMLSchema表达，这些XMLSchema就是XML视图的根底，基于XMLSchema进展XML视图的定义。XMLSchema就如同关系数据库中的表一样，而XML视图就像关系数据库中同表相关的表视图VIEW一样。XML视图引擎本身也是以Web效劳的

12、形式提供，用户可以很方便地以一种标准的方式访问它，它可以同时成为另外的XML视图引擎的数据源。XML视图是对数据集成的元信息描绘，由它表达集成后的效果。它并不是集成的结果，而仅仅是集成结果的元数据表示，就像关系数据库中的表视图一样表示实际数据应具有的组成关系：数据来自于哪个表，对表数据需要作什么样的处理，不同表的数据是怎样结合的等。用户查看XML视图就能解析该视图表达的数据集成的形式。可以根据不同的数据集成需要定义不同的XML视图，这就是动态的数据集成在需要时才定义集成的方式，在运行时才能获得真正的数据。从图2可以看出，这5个层次可以分为三个局部各自独立的进展开发和分布式部署。其中，XML视图

13、和XML视图引擎是一个局部，SOA运行引擎是一个局部，效劳包装器和数据源适配器是另一个局部。这样的分布式数据集成具有极高的灵敏性，三个局部互不影响；同效劳包装器一样，可以同时部署多个XML视图引擎，而XML视图引擎又可以被效劳包装器封装成为一个新的数据源。这种机制可以比拟轻易的知足当代企业数据集成中复杂的环境，通过较小的代价到达灵敏的数据集成要求。图3是一个典型的部署方案。图3中，XML视图引擎B使用效劳包装器c，而效劳包装器b将XML视图引擎B包装成新的数据效劳，XML视图引擎A使用了效劳包装器a和效劳包装器b，也就是使用了效劳包装器a和视图引擎B的某个XML视图。align=center图

14、3：框架典型的部署方案/align框架的运行机制是首先由用户查看XML视图，获得该视图上数据集成的元构造，基于该元构造提议适宜的处理恳求；XML视图引擎根据处理恳求中相应的XML视图描绘解析该恳求，并将其转递给SOA运行引擎；SOA运行引擎这些恳求转变为对效劳包装器的调用；效劳包装器再将其转变为对数据源适配器的调用，由数据适配器执行实际的数据源访问；从数据源取回的数据经效劳包装器处理后转变为标准的XML文档送回到XML视图引擎中；在XML视图引擎中再根据XML视图的集成方式描绘完成实际的数据整合并将整合结果返还给客户。从框架的运行机制可以看出，这时数据集成是实时的，每次的恳求都需要即时到数据源

15、中获取数据。框架的根本运行机制如图4所示。align=center图4：框架运行机制/align框架的构造在基于SOA的数据集成框架中，其面向效劳的体系决定了框架内部各模块之间的的关系：这些模块按照SOA的观点都可以视为效劳，所有这些效劳以松耦合的方式连接在一起。框架的核心局部SOA运行引擎的主要功能就是治理这些各种各样的效劳，协调效劳之间的交互，同时使用户能方便地存取这些效劳。图5是框架的总体构造。align=center图5：框架总体构造/align图5中，内置效劳是框架正常运行而必须具备的效劳功能。这些效劳是框架底层使用的，对用户来讲是不可见的。内置效劳主要有：流程引擎，为框架提供流程定

16、制和流程运行的功能；规那么引擎，由它数据集成的规那么，企业根据自己的业务规那么通过规那么引擎定义集成和处理的方式；效劳注册和发现效劳，提供WebServices的注册中心和效劳发现功能；消息处理器，提供消息处理机制，以便效劳能以消息的方式交互。插件效劳是框架具有高扩展性和灵敏适应各种需求的主要机制。它将提供数据的各种数据源包装成效劳，并以可拔插的方式植入框架中。插件效劳并不直接访问数据源，而是通过数据源适配器访问数据源，这样将对数据源的访问同效劳的提供解耦，数据源适配器可以在运行时根据需要动态装配。同时，插件效劳还可以根据需要对其数据源适配器获得的数据进展预先处理，以降低最终集成的复杂度，进步

17、系统的整体运行效率。插件效劳通过最小化的编程或者仅仅进展配置就能扩展整个系统，具有极大的灵敏性。代理效劳是一种扩展的插件效劳，由它提供对诸如第三方应用，如ERP、CRM等数据源的包装和对XML视图引擎的包装。代理效劳和插件效劳在对数据源的包装上的主要差异在插件效劳包装的是具有明确API接口的数据源，如数据库、EJB、COM、MOM、SOAP等，而代理效劳包装的数据源没有明确的API接口，需要对这些数据源进展更多的处理。同时代理效劳也是数据递归集成的机制，即将集成后的数据作为其他数据集成的数据源。效劳治理器治理框架中所有的效劳，是存取效劳的入口，由它去查找正确的效劳，治理效劳的生命周期，检察效劳

18、的运行情况，调度效劳的运行、注册效劳等。效劳工厂主要是用来生成各种效劳。当效劳治理器查找效劳时，发现该效劳还没有运行，效劳治理器将恳求效劳工厂动态生成并运行这个效劳。效劳工厂将根据效劳注册信息启动该效劳，假如效劳包装的底层数据源不可得，那么该效劳将企图装载在本地的缓存数据。存取控制模块为平安使用效劳和访问数据提供了根底。它的主要作用除了提供一个基于角色的存取控制外，还具有两个重要功能。其一，它采用一种基于标记的用户认证模型使得单一登陆就可以访问多个数据源，极大简化了用户的访问形式。其二，存取控制模块还将处理用户访问会话的生命期，使得用户只在一段特定的时间内访问系统，这将进一步进步系统的平安性。

19、效劳存取信道是用户访问包装了XML视图引擎的效劳的通道，并解析用户恳求成为一系列能直接访问底层效劳的查询方案。查询方案将被缓存，以便能尽可能地重用这些查询方案。当有新的恳求时，效劳存取信道将比拟该恳求以决定是否已经有可用的查询方案，假如有的话，就直接使用它，这样极大地进步了系统的运行效率。一个效劳存取信道可同时提供多个用户使用。存取信道治理模块提供了对效劳存取信道的运行时治理，它将根据不同用户的访问恳求，将可能返回一样数据的访问恳求合并成一个恳求；或对多个用户访问恳求进展优先级排队处理，以保障优先级高的恳求能尽快被处理；或将多个用户小数据量的恳求多路复用到一个效劳存取信道，保证大数据量的恳求有

20、足够的效劳存取信道可用。通过这些机制，降低了系统的资源消耗，进步了系统的运行效率。效劳发布/订阅接口提供了同框架异步通讯的机制。各种效劳可以在效劳发布/订阅接口订阅需要的消息，当有合适的消息发布时，所有订阅了该消息的效劳都将得到通知，这是一种多对多的通讯机制。效劳发布/订阅接口也能同各种消息中间件相连，以便提供基于消息的效劳互连功能。同时，通过效劳发布/订阅接口，框架将具有一定的事务处理才能。基于SOA的动态数据集成效劳框架为异构异型数据的集成和分享提供了一个面向效劳体系构造的框架，它以XML技术为根底，动态集成为手段，实现各种应用系统之间的数据集成，实现跨平台数据的分享，到达跨平台数据资源整合的目的，实现了信息的互通互联。基于SOA的动态数据集成效劳框架可以为解决跨平台数据分享和集成所面临的异型异构接口、实时数据交换和随需应变等技术问题，提供有效的解决方法和途径。0