数据仓库学习.pptx

《数据仓库学习.pptx》由会员分享，可在线阅读，更多相关《数据仓库学习.pptx（65页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第13章 数据仓库数据仓库的特征数据仓库将来自于不同数据库的信息结合在一起数据仓库是多维的包含若干层的行列数据字典：信息的逻辑结构、信息的来源和处理方式数据仓库支持决策而不是事务处理联机分析处理（OLAP)联机事务处理(OLTP)第1页/共65页数据仓库的特征数据仓库的特征面向主题面向主题数据仓库中的数据按照主题进行组织；数据仓库中的数据按照主题进行组织；集成集成从多个数据源将数据集合到数据仓库中，并集成为一个从多个数据源将数据集合到数据仓库中，并集成为一个整体；整体；稳定稳定数据仓库中的数据通常是历史数据，很少进行更新；数据仓库中的数据通常是历史数据，很少进行更新；时变时变数据仓库中的所有数

2、据都有特定的时间标识数据仓库中的所有数据都有特定的时间标识.第2页/共65页面向主题-数据按照主题进行组织数据仓库操作型环境顾客保险费保险单索赔健康人寿汽车意外伤亡主题应用第3页/共65页在数据仓库中，主要主题领域是以一组相关的表来具体实现的。在数据仓库中，主要主题领域是以一组相关的表来具体实现的。第4页/共65页一个顾客的所有表通过一个公共键码联系起来。一个顾客的所有表通过一个公共键码联系起来。公共键码顾客标识号公共键码顾客标识号(customer ID)将在顾客主题领域中所找到的所有数据联系起来将在顾客主题领域中所找到的所有数据联系起来第5页/共65页集成集成-多个数据源的数据集合成为一个

3、整体多个数据源的数据集合成为一个整体第6页/共65页稳定稳定数据仓库中的数据通常是历史数据数据仓库中的数据通常是历史数据插入删除修改访问载入访问操作型环境数据仓库第7页/共65页时变时变所有数据都有特定的时间标识所有数据都有特定的时间标识时间期限:3090天;记录更新;键码结构包括时间元素/也可能不包括时间元素时间期限:510年;复杂的数据快照;键码结构包括时间元素操作型环境数据仓库第8页/共65页数据仓库与数据库的区别数据仓库与数据库的区别对比内容数据库数据库数据仓库数据内容当前值当前值历史的、存档的、归纳的、计算的数据数据目标面向业务操作程序、重复处面向业务操作程序、重复处理理面向主题域、

4、管理决策分析应用数据特性动态变化、按字段更新动态变化、按字段更新静态、不能直接更新、只定时添加数据结构高度结构化、复杂、适合操高度结构化、复杂、适合操作计算作计算简单、适合分析使用频率高高中到低数据访问量每个事务只访问少量记录每个事务只访问少量记录有的事务可能要访问大量记录对响应时间的要求以秒为单位计量以秒为单位计量以秒、分钟、甚至小时为计量单位第9页/共65页数据仓库的结构数据仓库的结构第10页/共65页数据仓库的引出 1.传统数据库以及OLTP(On-Line Transaction Processing 联机事务处理)在日常的管理事务处理中获得了巨大的成功，但是对管理人员的决策分析要求却

5、无法满足。2.因为，管理人员常常希望能够通过对组织中的大量数据进行分析，了解业务的的发展趋势。而传统数据库只保留了当前的业务处理信息，缺乏决策分析所需要的大量的历史信息。3.为满足管理人员的决策分析需要，就需要在数据库的基础上产生适应决策分析的数据环境数据仓库(Data Warehose)。第11页/共65页数据仓库的定义与基本特性1.数据仓库的定义 William H.Inmon在1993年所写的论著Building the DataWarehouse首先系统地阐述了关于数据仓库的思想、理论，为数据仓库的发展奠定了历史基石。文中他将数据仓库定义为:a data warehouse is a

6、subject-oriented,integrated,non-volatile,time-variant collection of data in support of management decisions.一个面向主题的、集成的、非易失性的、随时间变化的数据的集合，以用于支持管理层决策过程。第12页/共65页2.数据仓库的重要特性 a)subject-oriented(面向主题性)面向主题表示了数据仓库中数据组织的基本原则，数据仓库中的数由数据都是围绕着某一主题组织展开的。由于数据仓库的用户大多是企业的管理决策者，这些人所面对的往往是一些比较抽象的、层次较高的管理分析对象。例如，企业

7、中的客户、产品、供应商等都可以作为主题看待。从信息管理的角度看，主题就是在一个较高的管理层次上对信息系统的数据按照某一具体的管理对象进行综合、归类所形成的分析对象。从数据组织的角度看，主题是一些数据集合，这些数据集合对分析对象作了比较完整的、一致的描述，这种描述不仅涉及到数据自身，而且涉及到数据之间的关系。第13页/共65页数据仓库的集成性是指根据决策分析的要求，将分散于各处的源数据进行抽取、筛选、清理、综合等工作，使数据仓库的数据具有集成性。b)integrated(数据集成性)数据仓库在从业务处理系统那里获取数据时，并不能将源数据库中的数据直接加载到数据仓库中，而是需要进行一系列的数据预处

8、理，即数据的抽取、筛选、清理、综合等集成工作。第14页/共65页也就是说，首先要从源数据库中挑选出数据仓库所需要的数据，然后将这些来自不同数据库中的数据按照某一标准进行统一，即将不同数据源中的数据的单位、字长与内容按照数据仓库的要求统一起来，消除源数据中字段的同名异义、异名同义现象，这些工作称为数据的清理(clean)，把数据仓库的数据呈现给用户一个一致统一的视图。源数据加载到数据仓库后，还要根据决策分析的需要对这些数据进行概括、聚集处理。第15页/共65页数据仓库的时变性，就是数据应该随着时间的推移而变化。c)time-variant 数据的时变性尽管数据仓库中的数据并不像业务数据库那样反映

9、业务处理的实际状况，但是数据也不能长期不变，如果依据10前的数据进行决策分析，那决策所带来的后果将是十分可怕的。第16页/共65页因此，数据仓库必须能够不断捕捉主题的变化数据，将那些变化的数据追加到数据仓库中去，也就是说在数据仓库中必须不断的生成主题的新快照，以满足决策分析的需要。数据新快照生成的间隔，可以根据快照的生成速度和决策分析的需要而定。例如，如果分析企业近几年的销售情况，那快照可以每隔一个月生成一次；如果分析一个月的畅销产品，那快照生成间隔就需要每天一次。第17页/共65页d)non-volatile 数据的非易失性数据仓库的非易失性是指数据仓库的数据不进行更新处理，而是一旦数据进入

10、数据仓库以后，就会保持一个相当长的时间。因为数据仓库中数据大多表示过去某一时刻的数据，主要用于查询、分析，不像业务系统中的数据库那样，要经常进行修改、添加，除非数据仓库中的数据是错误的。第18页/共65页e)in support of management decisions 支持决策系统数据仓库的组织的根本目的在于对决策的支持。高层的企业决策者、中层的管理者和基层的业务处理者等不同层次的管理人员均可以利用数据仓库进行决策分析，提高管理决策的质量。企业管理人员可以利用数据仓库进行各种管理决策的分析，利用自己所特有的、敏锐的商业洞察力和业务知识从貌似平淡的数据发现众多的商机。数据仓库为管理者利用

11、数据进行管理决策分析提供了极大的便利。第19页/共65页尽管OLTP系统和数据仓库有着许多不同的特性且基本构建思想不同，但是他们却是紧密联系的，因为OLTP系统是数据仓库的数据来源。OLTP系统并不是为了快速回答查询，也不是为了存储分析趋势的历史数据而创建的。一般的，OLTP提供了大量的原始数据，这些数据不易被分析。数据仓库需要回答更复杂的查询，而不仅仅使一些像“英国主要城市的商品平均销售价格是多少”之类的简单聚集数据查询。数据仓库需要回答的查询类型可以是简单的查询，也可以是高度复杂的，且还与终端用户使用的查询工具相关。第20页/共65页DreamHome数据仓库的示例支持以下查询:2001年

12、第三季度，整个英格兰的总收入是多少？2000年英国每一类房产销售的总收入是多少？2001年租借房产业务中每个城市哪个地域最受欢迎？与过去的两年相比有何不同？每个分支机构本月的房产销售月收入是多少，并与刚过去的12个月相比较。如果对于10万英镑以上的房产，法定价格上升3.5%而政府税收下降1.5%，对英国不同区域的销售会产生什么影响？在英国主要城市中，哪种类型的房产销售价格高于平均房产销售价格？这与人口统计数据有何联系？第21页/共65页数据仓库的一个案例啤酒与尿布的故事某大型超市发现每到周末，啤酒与尿布的销量就会同时大增，这是什么原因呢？经过研究人员分析发现，原来家里的太太们让丈夫们去超市给孩

13、子买尿布，而丈夫们在买尿布的时候往往顺便买上几瓶啤酒回去喝。这样就产生了这个比较奇怪的现象。第22页/共65页 沃尔玛早年利用NCR数据仓库技术，对商品进行市场类组分析，即分析哪些商品顾客最有希望一起购买。沃尔玛利用NCR自动数据挖掘工具(模式识别软件)对一年多详细的原始交易数据进行分析和挖掘。一个意外的发现就是：跟尿布一起购买最多的商品竟是啤酒！沃尔玛就在它的一个个商店里将它们并排摆放在一起，结果是尿布与啤酒的销售量双双增长。来自美国俄亥俄州的NCR公司（纽约证券交易所股票代码为NCR）是全球领先的信息技术公司之一，为全球超过130个国家提供零售解决方案，业务涵盖食品店、药店、综合性商场、超

14、市、连锁店及餐饮业等市场，2001年总收益达59.17亿美元。世界十大零售商中，就有六家应用NCR提供的零售业全面解决方案。第23页/共65页数据仓库的体系结构数据源数据仓库(核心)工具和接口第24页/共65页为了提高性能，数据仓库中通常采用下列措施:(1)采用并行系统结构。(2)对数据仓库中用得多、开销大的处理，例如聚集函数计算，采用新的查询优化策略和索引结构。(3)针对数据仓库以读为主的特点，把查询中常用的中间结果定义为视图，且将事先计算好的视图存于数据仓库中。在需要的时候只要读出即可，无需临时计算。为了决策者方便地在数据仓库上决策 数据仓库还应该提供相应的用户接口和各种工具软件。第25页

15、/共65页从图13-1可以看出，数据仓库要求多项技术的支持，大致可分为五个方面:(1)异构多数据源集成技术。(2)RDBMS 对数据仓库的支撑技术，包括OLAP 和并行处理等技术。(3)硬件系统，包括并行处理结构、大容量磁盘阵列系统等。(4)数据模式设计，包括对决策主题的需求分析、基表和实现图的模式设计、各种索引的合理配置等。(5)决策用的工具和接口软件。第26页/共65页操作型数据加载管理器:执行所有与提取和装载数据到数据仓库的有关操作。仓库管理器:执行管理一个数据仓库数据所有的必要程序，它可以由一些外购的数据管理工具和针对特殊需要编写的程序组成。包括以下工作:1.数据分析以确保一致性 2.

16、将临时存储介质中的数据转换和合并后加载到数据仓库表中 3.为基础表创建索引和视图 4.依据需要，对数据进行弱规范化5.依据需要，生成聚集信息6.备份和归档数据第27页/共65页查询管理器:执行所有数据仓库中与查询工作相关的管理工作。细节数据:数据仓库中存储了许多数据库模式中的细节数据轻度和高度综合数据:数据仓库中存放了许多由 仓库管理器产生的预定义的轻度或高度综合(聚集的)数据。第28页/共65页存储/备份数据:数据仓库中存储了用于备份和存档的许多细节和综合数据。尽管综合数据是从细节数据中产生的，但还是有必要备份这些综合数据，因为他们可能已经超过了细节数据的保持期。这些数据要转移到存储档案中，

17、如磁盘或光盘上。第29页/共65页终端用户访问工具 数据仓库的主要目的是为了给业务用户提供决策信息。这些用户通过终端用户访问工具与数据仓库交互。数据仓库必须有效地支持查询和例行分析。这些工具一般分为:a.报表和查询工具 b.应用程序开发工具 c.可执行信息系统工具 d.联机分析处理工具 e.数据挖掘工具第30页/共65页数据仓库概念模型（1）概念数据模型 在构建数据仓库的概念模型时，可以采用在业务数据处理系统中经常应用的企业数据模型ER图（ERD）。这是一种描述组织业务概况的蓝图，包括整个组织系统中各个部门的业务处理及其业务处理数据。数据仓库与操作型数据库一样，也存在高层模型（ERD，实体关系

18、层）、中层模型（DIS，逻辑层）和低层模型（物理层）3个层次数据模型。第31页/共65页企业数据模型财务部门销售收入帐应收帐应付帐成本帐销售部门销售计划销售合同销售统计人事部门员工业绩记录员工技能情况员工薪酬表财务人事销售.企业数据模型第32页/共65页（2）星型数据模型 ER数据模型作为一种数据仓库的设计基础，在实际应用中存在很多缺点。实际应用中，数据仓库的实体绝不会是对等的。星型数据模型是最常用的数据仓库结构模式。（3）雪花数据模型雪花数据模型是对星型数据模型的扩展。第33页/共65页星型数据模型结构图维度表维度表维度表维度表维度表事实表第34页/共65页雪花型数据模型结构图维度表维度表维

19、度表维度表维度表事实表详细类别表详细类别表第35页/共65页数据仓库的逻辑模型与物理模型1.数据仓库（中间层）逻辑模型 中间层数据模型亦可称为逻辑模型，它是对高层数据概念模型的细分，在高层数据模型中所标识的每个主题域或指标实体都需要与一个逻辑模型相对应。第36页/共65页2.物理数据模型 物理数据模型是依据中间层的逻辑数据模型而创建的，它通过确定模型的键码属性和模型的物理特性，扩展中间层数据模型而建立。此时，物理数据模型就由一系列表所构成，其中最主要的是事实表模型和维表模型。（1）事实表模型 物理模型中的事实表来源于逻辑模型，它依据数据仓库具体的应用而建立。事实表是星型模型结构的核心。第37页

20、/共65页（2）维模型维度表模型也需要根据逻辑模型设计，在设计过程中考虑维度表模型是用户分析数据的窗口。维度表应该含有商业项目的文字描述，维度的设计提供了维度属性的定义。这些属性应具有这样一些特征：A.可用文字描述。B.离散值。C.有规定的限制。D.在分析过程中可以提供行标题第38页/共65页3.数据仓库物理数据模型的性能问题 依据数据仓库数据量大但是操作单一的特点，可以采取以下一些技术来进行数据仓库的物理数据模型设计。（1）合并表（2）建立数据序列（3）引入冗余（4）表的物理分割（5）生成导出数据（6）建立广义索引第39页/共65页元数据元数据对数据本身及其运行环境的描述与定义的数据，对数据

21、本身及其运行环境的描述与定义的数据，称之为元数据（称之为元数据（metadatametadata）。元数据是关于数）。元数据是关于数据的数据据的数据.整个数据仓库的组织结构是由元数据来组织的整个数据仓库的组织结构是由元数据来组织的.元数据定义了数据仓库有什么，指明了数据元数据定义了数据仓库有什么，指明了数据仓库中信息的内容和位置，刻画了数据的抽取仓库中信息的内容和位置，刻画了数据的抽取和转换规则，存储了与数据仓库主题有关的各和转换规则，存储了与数据仓库主题有关的各种商业信息，而且整个数据仓库的运行都是基种商业信息，而且整个数据仓库的运行都是基于元数据的，如数据的修改、抽取、装入、综于元数据的，

22、如数据的修改、抽取、装入、综合等合等第40页/共65页四类元数据关于数据源的元数据 现有业务系统的数据源的描述信息，是对不同平台现有业务系统的数据源的描述信息，是对不同平台上的数据源的物理结构和含义的描述。上的数据源的物理结构和含义的描述。关于数据模型的元数据 描述数据仓库中有什么数据以及数据之间的关系，描述数据仓库中有什么数据以及数据之间的关系，是用户使用管理数据仓库的基础是用户使用管理数据仓库的基础关于数据仓库映射的元数据 是数据源和数据仓库数据之间的映射。反映数据仓是数据源和数据仓库数据之间的映射。反映数据仓库中的数据项是从哪个特定的数据源填充的，经过哪库中的数据项是从哪个特定的数据源填

23、充的，经过哪些转换、变换和加载过程。些转换、变换和加载过程。关于数据仓库使用的元数据 是数据仓库中信息的使用情况描述是数据仓库中信息的使用情况描述第41页/共65页元数据(metadata):数据仓库中存储了所有的元数据定义，这些定义可用于数据仓库中的所有过程。元数据的用途包括:1.数据抽取和加载过程:元数据可用于将数据影射到数据仓库的通用数据视图中。2.数据仓库管理过程:元数据可用于自动产生表。3.作为查询过程的一部分:元数据可用于将查询指定到最合适的数据源。第42页/共65页2.元数据的作用生成和管理元数据是为了实现以下主要作用：（1）改善与系统的交互（2）提高数据质量（3）支持系统集成（

24、4）支持系统的分析、设计和维护（5）增加灵活性第43页/共65页在数据仓库中，生成和管理元数据主要有两个目的：（1）减轻管理数据仓库的工作量（2）改善信息抽取，即从数据中有效地抽取信息，其主要任务是：A.提高数据质量 B.提高查询、检索以及结果的质量 C.改善数据分析。上述目标一般可以通过如下两种方式来支持：（1）被动的方式 （2）主动的方式第44页/共65页数据粒度1.数据粒度的划分 适当划分粒度的第一步是估算数据仓库中将来使用的数据行数和所需的直接存取存储设备数（DASD）。在计算出数据仓库所需要占用的存储空间以后，需要根据所需要的存储空间大小确定是否划分粒度，如果需要划分，又应该怎样划分

25、。第45页/共65页2.确定粒度的级别 在数据仓库中确定粒度时，需要考虑这样一些因素：要接受的分析类型、可接受的数据最低粒度、能够存储的数据量。计划在数据仓库中进行的分析类型将直接影响数据仓库的粒度划分。数据仓库通常在同一模式中使用多重粒度。第46页/共65页 定义数据仓库粒度的另外一个要素是数据仓库可以使用多种存储介质的空间量。选择合适的粒度是数据仓库设计过程中所要解决的一个复杂的问题，因为粒度的确定实质上是对业务决策分析、硬件、软件和数据仓库使用方法的一个折衷。还有一种可以大幅降低数据仓库容量的方法，就是只采用概括数据。第47页/共65页OLAP技术 数据仓库是管理决策分析的基础，要有效地

26、利用数据仓库的信息资源，必须要有强大的工具对数据仓库的信息进行分析决策。On-line Analytical Processing(在线分析处理或联机分析处理)就是一个应用广泛的数据仓库使用技术。它可以根据分析人员的要求，迅速灵活地对当量的数据进行复杂的查询处理，并以直观的容易理解的形式将查询结果提供给各种决策人员，使他们能够迅速准确地掌握企业的运营情况，了解市场的需求。第48页/共65页发展背景60年代，关系数据库之父E.F.Codd提出了关系模型，促进了联机事务处理(OLTP)的发展(数据以表格的形式而非文件方式存储)。1993年，E.F.Codd提出了OLAP概念，认为OLTP已不能满足

27、终端用户对数据库查询分析的需要，SQL对大型数据库进行的简单查询也不能满足终端用户分析的要求。用户的决策分析需要对关系数据库进行大量计算才能得到结果，而查询的结果并不能满足决策者提出的需求。因此，E.F.Codd提出了多维数据库和多维分析的概念，即OLAP。OLTP数据 OLAP数据 原始数据 导出数据 细节性数据 综合性和提炼性数据 当前值数据 历史数据 可更新 不可更新，但周期性刷新 一次处理的数据量小 一次处理的数据量大面向应用，事务驱动 面向分析，分析驱动面向操作人员，支持日常操作 面向决策人员，支持管理需要第49页/共65页二、什么是OLAP？定义1：OLAP(联机分析处理)是针对特

28、定问题的联机数据访问和分析。通过对信息(维数据)的多种可能的观察形式进行快速、稳定一致和交互性的存取，允许管理决策人员对数据进行深入观察。定义2：OLAP(联机分析处理)是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。(OLAP委员会的定义)OLAP的目标是满足决策支持或多维环境特定的查询和报表需求，它的技术核心是“维”这个概念，因此OLAP也可以说是多维数据分析工具的集合。第50页/共65页相关基本概念1.维：是人们观察数据的特定角度，是考虑问题时的

29、一类属性，属性集合构成一个维(时间维、地理维等)。2.维的层次：人们观察数据的某个特定角度(即某个维)还可以存在细节程度不同的各个描述方面(时间维：日期、月份、季度、年)。3.维的成员：维的一个取值。是数据项在某维中位置的描述。(“某年某月某日”是在时间维上位置的描述)第51页/共65页4.多维数据集:是决策分析的支柱，OLAP的核心，有时也称立方体或者超立方。OLAP展现在用户面前的是一幅幅多维视图。多维数据集可以用一个多维数组来表示。5.多维数组：维和变量的组合表示。一个多维数组可以表示为：(维1，维2，维n，观察变量)。(时间，地区，产品，销售额)6.数据单元(单元格)：多维数组的取值。

30、(2000年1月，上海，笔记本电脑，$100000)第52页/共65页第53页/共65页三层数据仓库结构底层数据仓库服务器,使用称作网间连接程序的应用程序,由操作数据库和外部数据源提取数据.中间层是OLAP服务器,实现方法有关系OLAP模型ROLAP 在多维数据上的操作映射为标准的关系模型多维OLAP模型MOLAP 直接实现多维数据的操作顶层是客户,它包括查询和报告工具,分析工具和数据挖掘工具(例如趋势分析,预测等)第54页/共65页业务处理系统数据准备区数据仓库OLAP服务器客户端可视化处理底层中间层顶层数据抽取数据清理 转换多维化数据加载第55页/共65页OLAP的特性1.快速性.用户对O

31、LAP的快速反应能力有很高的要求。2.可分析性.OLAP系统应能处理与应用有关的逻辑与统计分析。3.多维性.多维性是OLAP的关键属性。系统能够提供对数据分析的多维视图和多维分析。4.信息型.不论数据量有多大，也不管数据存储在何处，OLAP系统应能及时获得信息，并且管理大容量信息。第56页/共65页OLAP多维数据分析1.1.切片和切块(Slice and DiceSlice and Dice)在多维数据结构中,按二维进行切片,按三维进行切块,可得到所需要的数据。如在“城市、产品、时间”三维立方体中进行切块和切片,可得到各城市、各产品的销售情况。2.2.钻取(Drill)(Drill)钻 取

32、包 含 向 下 钻 取(Drill-down)和 向 上 钻 取(Drill-up)/上卷(Roll-up)操作，钻取的深度与维所划分的层次相对应。3.3.旋转(Rotate)/(Rotate)/转轴(Pivot)(Pivot)通过旋转可以得到不同视角的数据。第57页/共65页OLAP的分析方法(一)切片(slicing)、切块(dicing)第58页/共65页OLAP的分析方法(二)钻取(drill-down)按时间维向下钻取按时间维向上钻取60第59页/共65页OLAP的分析方法(三)旋转第60页/共65页数据挖掘技术第61页/共65页数据挖掘的引出1989年8月，在第11届国际人工智能联

33、合会议的准题研讨会上首次提出了基于数据库的知识发现(KDD,Knowledge Discovery in Database)技术。涉及到机器学习、模式识别、统计学、智能数据库、知识获取、专家系统、数据可视化、高性能计算等领域。1995年，在美国计算机年会(ACM)上，提出了数据挖掘(DM,Data Mining)的概念，即通过从数据库中抽取隐含的、未知的、具有潜在使用价值的信息的过程。数据挖掘是KDD过程中最为关键的步骤。第62页/共65页数据挖掘的定义1.从技术调度看 数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际数据中提取隐含在其中的、人们所不知道的但又是潜在有用的信息和知识的过程。2.从商业应用角度看 数据挖掘是一种崭新的商业信息处理技术，其主要特点是对商业数据库的大量业务数据进行抽取、转化、分析和模式化处理，从中提取辅助商业决策的关键知识，即从一个数据库中自动发现相关商业模式。第63页/共65页数据挖掘技术主要的四个相关的操作预测性建模数据库分段连接分析偏离检测第64页/共65页感谢您的观看。第65页/共65页