异构分布式数据库系统集成的设计与应用.pdf

《异构分布式数据库系统集成的设计与应用.pdf》由会员分享，可在线阅读，更多相关《异构分布式数据库系统集成的设计与应用.pdf（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、异构分布式数据库系统集成的设计与应用 期刊门户-中国期刊网 2009-2-17 来源:黑龙江科技信息2008 年 10 月下文/叶晨立 导读 摘 要:介绍了异构分布式数据库系统集成的现状、主要的技术问题（东南大学计算机科学与工程，江苏南京 210096）摘要:介绍了异构分布式数据库系统集成的现状、主要的技术问题;并介绍了异构分布式数据库系统UPHDDB 的分析、设计和应用。关键词:异构分布式数据库;全局数据字典;查询优化;ODBC 1 概述商业银行经常需使用不同的数据库系统,即使是一个开始时经过严密信息规划的商业银行,因涉及到与不同单位（银联、人行、清算中心等）的业务系统连接,以及数据库技术的

2、发展和数据库时常变化,都有可能造成异构数据库并存的局面。另一方面,随着各数据库公司的技术发展,数据库公司自身也不断推出新的数据库版本。因此,异构数据库联合使用的要求是非常迫切并会长期存在下去的。对商业银行业务操作员而言,希望屏蔽掉各种层次的异构特性,他们不必知道各物理数据库系统的分布,不必知道各物理数据库的结构组成,也不必自己去进行数据转换和结果汇总,只需要通过简便的全局查询得到一个综合结果,这就是异构数据库联合使用技术主要的研究内容。这种技术是一个既与各种数据库有密切联系,又有别于各种数据库的新的研究领域。它的研究目标是对不同的多个异构数据库,在尽可能不影响其本身自治性的基础上,构造具有业务

3、操作员所需要的透明性的全局数据库,以支持对各种数据库的全局应用和各异构数据库之间的灵活的信息交换和共享。为解决异构数据库的共享,必须先解决异构数据库的转换问题。在这种情况下,一些著名的数据库公司纷纷扩充产品的性能,以支持异构数据库之间的数据转换。然而它们支持的只是单向的由外向内的转换,没有解决联网环境下分布数据库的转换问题。数据库的转换问题在技术上有一定复杂性,而且目前还很难用一个通用的DBMS 来解决这样的问题。因此研究异构数据库在集成环境下直接进行转换的方法是非常必要的。2异构分布式数据库系统技术研究2.1异构分布式数据库系统概述异构分布式数据库系统是一个逻辑上完整而又具有站点自治性,物理

4、上分散在若干台互相连接着的计算机上的、具有相同或不同数据模型的数据库系统。在异构分布式数据库系统中,不同节点上的数据库系统具有独立性、自治性和分布透明性,用户对任何数据库的操作就如同在本地执行,不必关心其数据模型、物理位置等细节,它屏蔽了各种数据库在物理上和逻辑上的差异,使用户用自己所熟悉的一种数据操作语言(DML)就能够操纵任一种数据库。目前,在实现异构分布式数据库系统的体系结构上可以有以下三种方法:2.1.1 对各种异构型数据库都建立用户交互接口,不进行任何模式的集成。2.1.2 在各成员数据库之上建立一个全局模式,从而对整个系统实施统一控制。2.1.3 采用联邦数据库系统结构。它代表没有

5、集成和完全集成的折中方案。2.2异构数据库的差异异构数据库包括不同物理模型的数据库、不同数据模型的数据库、同数据模型不同厂商的同质异型数据库,以及同一数据库厂商的不同版本、针对不同网络环境的数据库产品等等。要将异构数据库通过网络连接起来,实现数据资源的共享,就一定要首先找出它们之间的差异。引起数据库差异的因素很多,如计算机硬件、操作系统、系统控制方式、网络结构和协议、数据模型、物理模型、数据语义等的不同。2.3异构数据库的分类传统上,异构数据库是按模式的类型、数据共享的广度及它们支持的访问数据的工具划分的。2.3.1 异构数据库中的模式有:局部模式和全局模式。2.3.2 异构数据库系统中数据共

6、享可有几个层次:在组件数据库中连接指定的数据项;组件数据库中模式相关的数据项。2.3.3 异构数据库系统中数据访问方式可划分为:在组件数据库中浏览数据;查询一个集中的数据仓库;查询多数据库系统。实现异构数据库联合使用的途径有很多,它们共同的一点就是:要求各组件数据库保持其自治性及局部定义、局部应用及与其它数据库交换数据的局部策略应能保持不变。3实现异构分布式数据库集成的技术细节异构分布式数据库集成涉及到三个关键技术:异构数据库的访问技术、异构数据库的数据集成方法和查询优化。通常采用 ODBC技术、JDBC 技术、DDE 机制、QELIB 技术、OLE 技术和 DAB技术等来解决不同数据库之间的

7、连接、数据交换和数据共享问题。但这只解决了应用的移植问题,并没有提供多种异构数据库的访问,如查询中异构数据库表的连接,也就是异构数据库信息集成的问题。在此,我们把异构数据库信息集成的问题分为五层,如图 1 所示。同时,在实现异构数据库的互访的问题中,还存在数据语义上的不一致，另外查询优化也是个需要重点考虑的问题。4异构分布式数据库系统的设计与实现该项目的研究内容为大型网络系统中异构分布式数据库的集成。我们通过大量资料查询和调研,对不同数据库系统之间的数据类型进行分析,使用中间数据库方法、直接转换法和虚拟数据库集成方法等国内外先进的方法,建立异种数据库集成体系结构和环境。集成环境由调节器、转换器

8、、调节生成器和全局数据字典组成。我们所采用的异构分布式数据库系统 UPHDDB 是以Windows NT 为开发平台,以 Delphi 5.0 为前端开发工具,SQLServer 7.0为后台数据库系统,并保留各子系统原有的数据库系统。4.1系统总体结构实现异种数据库的相互访问,数据集成是关键。虚拟数据库集成技术是一种解决方法,该方法只是把指针存储于中心位置,而数据仍放在它们原来的位置。这样的一个新思想,解决了许多传统的数据存储问题。全局数据字典是数据集成的中心成分，全局数据字典可获得一个对分布数据的整体的逻辑视图,它主要用于解决语义差异,支持异构数据流,具有完全的 SQL 能力和分布查询优化

9、功能。基于以上的讨论,提出了一种实现异种数据库集成的方案。4.2异构分布式数据库系统集成的实现集成环境中调节器是核心，它是一个基于人工智能技术的软件模块,它内嵌了处理各种信息源所必须的知识，其任务是在问题空间中搜索,它利用组件数据库的元数据标志与用户查询相关的信息源,确定相关的表、库,并将查询分解为各组件数据库能够执行的子查询。在确定数据源的过程中,调节器还要选择优化的数据源。此外,它还负责将子查询的结果转为一种公共的格式再合并综合后提交用户，所以要实现这个调节器是既复杂,同时又是耗费大量时间的。而转换器用于将其下层的数据对象转为一个公共的数据模型,它将上层传来的公共模型表示的查询转换为下层数

10、据源能够接受的格式,并将下层的执行结果转换后提交给上层的对象。调节者与转换器不生成固定的全局模式,而是根据不同的查询来生成能与查询匹配的模式。在这种情况下,没有一个单一的全局数据库模式存在。这种无全局模式的方法一方面很适合于数据源经常变动情况下的信息检索;另一方面无需人员或其它的软件处理系统中信息的全局视图。对于调节器来说,它下转 175页）（上接 83 页）只需了解它自身要处理的直接下层对象,而无需考虑更下层的对象。调节器还可以组成层次结构,以动态地集成更多的数据源。这样,当用户检索信息时,他们无需知道相关信息的来处及访问方法,因为这些工作都由调节者来完成,从而对用户而言实现了透明性。4.3

11、技术难点4.3.1 系统集成视图建立在系统集成视图的实现中,我们采用了全局数据字典、关系字典来实现全局视图以及全局查询的分解。全局数据字典用于实现系统集成视图,描述集成到 UPHDDB 中的数据库的信息。关系字典与全局数据字典结合使用,用于实现全局查询的分解,实现各个站点的子查询,它是根据用户不同的查询要求而动态定制的。同时,它也有助于消除语义差别。4.3.2 优化策略的选择与实现因为该项目为异构分布式数据库系统,所以优化策略必须从异构数据库信息集成和分布式查询优化两方面予以考虑。对于异构数据库信息集成的优化,我们通过引入全局数据字典和关系字典。在查询处理的过程中,利用缓存来存放用户对全局视图

12、的查询结果,利用元数据仓库保存DBA 提供的查询关系向量和各种数据源的查询能力向量。查询关系向量给出查询结果之间等同或包含关系的语义信息,查询处理器据此判断查询结果是否包含在缓存中;对于无法由缓存取得结果的查询,则根据数据源的能力,将查询分解到各数据源执行。对于分布式查询的优化,我们采用启发式方法寻找一个最优的连接半连接执行序列。其基本思想是:从一棵查询树中找出一个最优的连接、半连接序列是一个搜索问题。如果盲目搜索去找一个解,其结果是组合爆炸的一种表现形式,这在以提高查询速度为目的的查询优化中是不可取的。在启发式搜索中,搜索树中的每一个节点都代表查询过程的一个状态,根节点代表初始态,目标节点代

13、表目标态。每个节点都对应估价函数f 的一个值,f 值最小的节点被选为扩展节点。估价函数表示为f(x)=g(x)+h(x)。这里 g(x)是从初始态到状态x 所花费的代价;h(x)是启发函数,是从 x 状态到达目标态花费代价的下限。搜索开始于初始态,即从扩展搜索树的根节点开始。扩展节点x,即是在 x状态产生所有可能的下一步连接或半连接操作,每一个可能的操作在搜索树中都是x 的一个子节点。每次扩展都是从搜索树的所有叶节点中选择f 值最小的节点作为下一步扩展的节点,重复这个过程直到目标节点。结束语异构数据库的联合使用不仅解决了商业银行对分散数据的综合汇总使用，而且其在对银行积累数据的进一步挖掘应用领域发挥着重要作用。这些应用对于一个商业银行的业务发展计划，网点发展战略决策等方面是具有重要的现实意义。参考文献