数据仓库和数据集市.docx

《数据仓库和数据集市.docx》由会员分享，可在线阅读，更多相关《数据仓库和数据集市.docx（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数据仓库与数据集市看了不少数据仓库方面的资料，都涉及到了“数据集市”这一说法，刚开始对数据仓库和数据 集市的区别也理解得比较肤浅，现在做个深入的归纳和总结，主要从如下几个方面进行阐述:看了不少数据仓库方面的资料，都涉及到了“数据集市”这一说法，刚开始对数据仓库和数据 集市的区别也理解得比较肤浅，现在做个深入的归纳和总结，主要从如下几个方面进行阐述:(1)基本概念(2)为什么提出数据集市(3)数据仓库设计方法论(4)数据集市和数据仓库的区别(5)仓库建模与集市建模(6)案例分析：电信CRM数据仓库Bill Inmon说过一句话叫“IT经理们面对最重要的问题就是到底先建立数据仓库还是先建立 数据集

2、市”，足以说明搞清晰这两者之间的关系是十分重要而迫切的！通常在考虑建立数据 仓库之前，会涉及到如下一些问题：(1)采取自上而下还是自下而上的设计方法(2 )企业范围还是部门范围(3)先建立数据仓库还是数据集市(4)建立领航系统还是直接实施(5)数据集市是否相互独立(2)数据集市的数据建模因为仓库终端用户直接与数据集市进行交互，所以数据集市的建模是捕获终端用户业务需求 的最有效工具之一。数据集市的建模过程取决于许多因素。下面描述了三个最重要的：数据集市的建模是终端用户驱动的。终端用户必须参预数据集市的建模过程，因为他们显然 是要使用该数据集市的人。因为您应期望终端用户彻底不熟悉复杂的数据模型，所

3、以应该将 建模技术和建模过程作为整体进行组织，以便使复杂性对终端用户透明。数据集市的建模是由业务需求驱动的。数据集市模型对于捕获业务需求十分实用，因为它们 通常由终端用户直接使用，且易于理解。数据集市的建模极大地受到了数据分析技术的影响。数据分析技术可以影响所选择的数据模 型的类型及其内容。目前，有几种常用的数据分析技术：查询和报表制作、多维分析以及数 据挖掘。如果仅仅意图提供查询和报表制作功能，那末带有正规(normalized )或者非正规(denormalized )数据结构的ER模型就是最合适的。维度数据模型也可能是较好的选择, 因为它是用户友好的，并具有更好的性能。如果其目标是执行多

4、维数据分析，那末维度数据 模型就是这里的惟一选择。然而，数据挖掘通常在可用的最低细节级(level of detail)工 作得最好。因此，如果数据仓库是用于数据挖掘的，就应该在模型中包含较低细节级(levelof detail)的数据。一、基本概念数据仓库一词尚没有一个统一的定义,著名的数据仓库专家w. H. Inmon在其著作 Buildingthe Data Warehouse一书中赋予如下描述:数据仓库(Data Warehouse)是一个面向主题的(SubjectOri2ented)、集成的(Integrate )、相对稳定的(Non-Volatile )、反映历史变化(TimeVa

5、riant)的数据集合用于支持管理决策。对于数据仓库 的概念我们可以从两个层次予以理解，首先，数据仓库用于支持决策,面向分析型数据处理，它 不同于企业现有的操作型数据库;其次,数据仓库是对多个异构的数据源有效集成，集成后按 照主题进行了重组，并包含历史数据,而且存放在数据仓库中的数据普通再也不修改。为最大限度地实现灵便性，集成的数据仓库的数据应该存储在标准RDBMS中，并经过规 范的数据库设计，以及为了提高性能而增加一些小结性信息和不规范设计。这种类型的数据 仓库设计被称为原子数据仓库。原子数据仓库的子集，又莆菁小T硬挚猱嬖诘闹饕康就 亲魅菁械墓，片骰。币沧超握招允莅挚凌T硬挚灌拇隼12.写娣

6、藕褪松馍杓瓶赡甚耋闾厥铁嘈陀没y母髦中相蟆F渥蛹?即各个数据集市被拷贝到其它计算机上，可作为它们 自己的数据仓库。数据集市可以和产生它们的原子数据仓库一样大，甚至更大。它们可以位 于原子数据仓库的附近，或者分布到更挨近用户的位置，放置在何处取决于使用和通讯成本。 数据集市是用来满足特殊用户的应用需求的数据仓库，它们的规模可能达到数百GBO使其 成为数据集市的关键是它的使用目标、范围，而非规模大小。数据集市可以理解为是一个小型的部门或者工作组级别的数据仓库。有两种类型的数据集市(如下图)：独立型（直接从操作型环境中获取数据）：这些数据集市是由特定的工作组、部门或者业务 线进行控制的，彻底是为满足

7、其需求而构建的。实际上，它们甚至与其他工作组、部门或 者业务线中的数据集市没有任何连通性从属型（从企业级数据仓库中获取数据）：这样的数据集市往往以分布式的方式实现。虽然 不同的数据集市是在特定的工作组、部门或者生产线中实现的，但它们可以是集成、互连的, 以提供更加全局的业务范围的数据视图。实际上，在最高的集成层次上，它们可以成为业务 范围的数据仓库。这意味着一个部门中的终端用户可以访问和使用另一部门中数据集市中的 数据二、为什么提出数据集市虽然OLTP和遗留系统拥有珍贵的信息，但是可能难以从这些系统中提取故意义的信息并 且速度也较慢。而且这些系统虽然普通可支持预先定义操作的报表，但却时常无法支

8、持一个 组织对于历史的、联合的、智能的或者易于访问的信息的需求。因为数据分布在许多跨系统 和平台的表中，而且通常是“脏的”，包含了不一致的和无效的值，使得难于分析。 数据集市将合并不同系统的数据源来满足业务信息需求。若能有效地得以实现，数据集市将 可以快速且方便地访问简单信息以及系统的和历史的视图。一个设计良好的数据集市有如下 特点(有些特点数据仓库也具有，有些特点是相对于数据仓库来讲的)：(1)特定用户群体所需的信息，通常是一个部门或者一个特定组织的用户，且无需受制于源 系统的大量需求和操作性危机(想对于数据仓库)。支持访问非易变(nonvolatile)的业务信息。(非易变的信息是以预定的

9、时间间隔进行 更新的，并且不受OLTP系统进行中的更新的影响。)(3)调和来自于组织里多个运行系统的信息，比如账目、销售、库存和客户管理以及组织外 部的行业数据。(4)通过默认有效值、使各系统的值保持一致以及添加描述以使隐含代码故意义，从而提供 净化的(cleansed )数据。(5)为即席分析和预定义报表提供合理的查询响应时间(由于数据集市是部门级的，相对于 庞大的数据仓库来讲，其查询和分析的响应时间会大大缩短)。三、数据仓库设计方法论在数据仓库建立之前，会考虑其实现方法，通常有自顶向下、自底向上和两者综合进行的这 样三种实现方案，下面分别对其做简要阐述：Q)自顶向下的实现自顶向下的方法就是

10、在单个项目阶段中实现数据仓库。自顶向下的实现需要在项目开始时完 成更多计划和设计工作。这就需要涉及参预数据仓库实现的每一个工作组、部门或者业务线 中的人员。要使用的数据源、安全性、数据结构、数据质量、数据标准和整个数据模型的有关决 策普通需要在真正的实现开始之前就完成。(2)自底向上的实现自底向上的实现包含数据仓库的计划和设计，无需等待安置好更大业务范围的数据仓库设 计。这并不意味着不会开辟更大业务范围的数据仓库设计；随着初始数据仓库实现的扩展, 将逐渐增加对它的构建。现在，该方法得到了比自顶向下方法更广泛的接受，因为数据仓库 的直接结果可以实现，并可以用作扩展更大业务范围实现的证明。(3)一

11、种折中方案每种实现方法都有利弊。在许多情况下，最好的方法可能是某两种的组合。该方法的关键之 一就是确定业务范围的架构需要用于支持集成的计划和设计的程度，因为数据仓库是用自底 向上的方法进行构建。在使用自底向上或者阶段性数据仓库项目模型来构建业务范围架构 中的一系列数据集市时，您可以一个接一个地集成不同业务主题领域中的数据集市，从而 形成设计良好的业务数据仓库。这样的方法可以极好地合用于业务。在这种方法中，可以 把数据集市理解为整个数据仓库系统的逻辑子集，换句话说数据仓库就是一致化了的数据 集市的集合。这种方案的实施步骤通常分如下几步：(6)从整个企业的角度定义计划和需求(7)构建完整的仓库体系

12、结构(8)使数据内容一致而且标准化(9)将数据仓库作为一种超级数据集市来实施关于Inmon和Kimball的大辩论：Ralph Kimball和Bill Inmon向来是商业智能领域中的革新者，开辟并测试了新的技术和 体系结构。Bill Inmon将数据仓库定义为“一个面向主题的、集成的、随时间变化的、非易变的用于支 持管理的决策过程的数据集合”；他通过“面向主题”表示应该环绕主题来组织数据仓库中的数 据，例如客户、销售、产品等等。每一个主题区域仅仅包含该主题相关的信息。数据仓库 应该一次增加一个主题，并且当需要容易地访问多个主题时，应该创建以数据仓库为来源 的数据集市。换言之，某个特定数据集

13、市中的所有数据都应该来自于面向主题的数据存储。 Inmon的方法包含了更多上述工作而减少了对于信息的初始访问。但他认为这个集中式的 体系结构持续下去将提供更强的一致性和灵便性，并且从长远来看将真正节省资源和工作。 下图是他的设计方法图解：Ralph Kimball说“数据仓库仅仅是构成它的数据集市的联合”，他认为“可以通过一系列维数相同的数据集市递增地构建数据仓库”。每一个数据集市将联合多个数据源来满足特定的 业务需求。通过使用“一致的维，能够共同看到不同数据集市中的信息，这表示它们拥有 公共定义的元素。设计方法如下图:Dat. Mam With Confofnwd DimensionsDat

14、oSourcnKimball的方法将提供集成的数据来回答组织迫切的业务问题并且要快于Inmon的方 法。Inmon的方法是惟独在构建几个单主题区域之后，集中式的数据仓库才创建数据集市。 而Kimball认为该方法缺乏灵便性并且在现在的商业环境中所花时间太长。实际上，方法的选择取决于项目的主要商业驱动。如果该组织正忍受糟糕的数据管理和不一 致的数据，或者希翼为今后打下良好的基础，那末Inmon的方法就更好一些。 如果该组 织迫切需要给用户提供信息，那末Kimball的方法将满足该需求。而一旦满足了迫切的信 息需求后，就应该考虑包含独立数据仓库的数据体系结构的转换计划。数据仓库将使数据集 市与遗留

15、系统和OLTP系统隔离，并且支持更快地创建将来的数据集市。由于数据仓库在 整个发展中向来承担了重任，所以它将支持极力关注数据集市。实际上基于商业驱动的需要, 采用上面三种设计方案中的最后一种方法：自顶向下和自底向上综合的方案会很好的适应数 据仓库建立过程中的不同需求。四、数据仓库与数据集市的区别 数据仓库是企业级的，能为整个企业各个部门的运行提供决策支持手段；而数据集市则是一 种微型的数据仓库,它通常有更少的数据，更少的主题区域,以及更少的历史数据，因此是部门 级的，普通只能为某个局部范围内的管理人员服务，因此也称之为部门级数据仓库。数据仓 库和数据集市之间的区别如下图： 数据仓库和数据集市的

16、区别可从如下三个方面进行理解：(1)数据仓库向各个数据集市提供数据(2 )几个部门的数据集市组成一个数据仓库数扁在比败保集市1(1M系统工TP条饶，外邪&IK企Mlunflt或r作蜗a诩企都n或朴琳的分析主数般庾iraimft收(结构现他化结狗(VMM)期n模式W片愕式收肉衣供台I历史筑箱大的物使UK堵度的历史教川优化处理尚信敷擀便于访闽和分析 候通商尚充度拿引喜度拿我(3 )下面从其数据内容特征进行分析，数据仓库中数据结构采用规范化模式，数据集市中的数据结构采用星型模式，通常仓库中数据粒度比集市的粒度要细，下图反映了数据结构 和数据内容特征的区别五、数据仓库建模与数据集市建模数据只是所有业务

17、活动、资源以及企业结果的记录。数据模型是对那些数据的组织良好的抽 象，因此数据模型成为理解和管理企业业务的最佳方法是极其自然的。数据模型起到了指导 或者计划数据仓库的实现的作用。在真正的实现开始之前，联合每一个业务领域的数据模型 可以匡助确保其结果是有效的数据仓库，并且可以匡助减少实现的成本。Q）数据仓库的建模数据仓库数据的建模是将需求转换成图画以及支持表示那些需求的元数据的过程。出于易读 性目的，本文将关于需求和建模的讨论相分离，但实际上这些步骤通常是重叠的。一旦在文 档中记录一些初始需求，初始模型就开始成型。随着需求变得更加完整，模型也会如此。最重要的是向终端用户提供良好集成并易于解释的数据仓库的逻辑模型。这些逻辑模型是数 据仓库元数据的核心之一。为终端用户提供的简单性以及历史数据的集成和联合是建模方法 应该匡助提供的关键原则。