《数据仓库设计》PPT课件.ppt

《《数据仓库设计》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《数据仓库设计》PPT课件.ppt（90页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数据仓库结构设计与数据仓库结构设计与开发开发 提纲提纲n1.数据仓库的发展n2.数据仓库的概念及特性n3.数据仓库的结构n4.数据仓库的开发过程n5.数据仓库的典型应用数据仓库的发展数据仓库的发展Development of DataWarehouse数据仓库的发展（1）nNCR公司为公司为Wal-mart建立了第一个数据仓库。建立了第一个数据仓库。n1996年，加拿大的年，加拿大的IDC公司调查了公司调查了62家实现了数据仓库的欧美企业，家实现了数据仓库的欧美企业，结果表明数据仓库为企业提供了巨大的收益。结果表明数据仓库为企业提供了巨大的收益。nIBM的实验室在数据仓库方面已经进行了的实验室

2、在数据仓库方面已经进行了10多年的研究，并将研究多年的研究，并将研究成果发展成为商用产品。成果发展成为商用产品。n其他数据库厂商在数据仓库领域也纷纷提出了各自的解决方案。其他数据库厂商在数据仓库领域也纷纷提出了各自的解决方案。数据仓库的发展（2）nIBM:在其在其DB2UDB发布一年后的发布一年后的1998年年9月发布版，并于月发布版，并于1998年年12月推向中国市场，除了用于联机分析处理（月推向中国市场，除了用于联机分析处理（OLAP）的后台服务器）的后台服务器DB2OLAPServer外，外，IBM还提供还提供了一系列相关的产品，包括前端工具，形成一整套解决方了一系列相关的产品，包括前端

3、工具，形成一整套解决方案。案。nInformix公司公司:在其动态服务器在其动态服务器IDS（InformixDynamicServer）中提供一系列相关选件，如高级决策支持选件）中提供一系列相关选件，如高级决策支持选件（AdvancedDecisionSupportOption）、）、OLAP选件选件（MetaCubeROLAPOption）、扩展并行选件（）、扩展并行选件（ExtendedParallelOption）等，这种体系结构严谨、管理方便、索引）等，这种体系结构严谨、管理方便、索引机制完善，并行处理的效率更高，其中数据仓库和数据库机制完善，并行处理的效率更高，其中数据仓库和数据库

4、查询的查询的SQL语句的一致性使得用户开发更加简便。语句的一致性使得用户开发更加简便。数据仓库的发展（3）n微软公司微软公司:在其以及在其以及SQLServer2000中集成了代号为中集成了代号为Plato的的OLAP服务器。服务器。nSybase:提供了专门的提供了专门的OLAP服务器服务器SybaseIQ，并将其与数，并将其与数据仓库相关工具打包成据仓库相关工具打包成WarehouseStudio。nOracle公司公司:则推出从数据仓库构建、则推出从数据仓库构建、OLAP到数据集市管到数据集市管理等一系列产品包（如理等一系列产品包（如OracleWarehouseBuilder、Orac

5、leExpress、DataMartSuit等）。等）。为什么要建立数据仓库为什么要建立数据仓库n数据大量积累数据大量积累n数据丰富、知识贫乏数据丰富、知识贫乏n数据数据信息信息知识知识效益的转换需求效益的转换需求(DSS)nOLTP的局限性的局限性OLTP的局限性的局限性 n事务处理（操作型处理）和分析处理的性能特性不同事务处理（操作型处理）和分析处理的性能特性不同 nOLTP对数据的存取操作频率高而每次操作处理的时间短；n在分析处理环境中，某个DSS应用程序可能需要连续几个小时，从而消耗大量的系统资源。n数据保留最新，量少数据保留最新，量少n数据松散，集成度不高数据松散，集成度不高n数据面

6、向应用而非主题数据面向应用而非主题n数据质量问题数据质量问题数据库应用的规模和深度的发数据库应用的规模和深度的发展展高级数据库高级数据库n从在线事务处理从在线事务处理(OLTP)到在线分析处理到在线分析处理(OLAP)、数据挖掘、数据挖掘(DataMining)和决策支持和决策支持(DS)突出的问题突出的问题n数据库适于存储高度结构化的日常事务细节数据，决数据库适于存储高度结构化的日常事务细节数据，决策者可能并不关心具体的细节信息；存取操作频率高，策者可能并不关心具体的细节信息；存取操作频率高，操作处理的时间短；操作处理的时间短；n决策型数据多为历史性、汇总性或计算性数据，多表决策型数据多为历

7、史性、汇总性或计算性数据，多表现为静态数据，周期性刷新；多维性，分析内容复杂；现为静态数据，周期性刷新；多维性，分析内容复杂；细节数据量太大严重影响分析效率，分散决策者的注细节数据量太大严重影响分析效率，分散决策者的注意力；连续运行，消耗大量的系统资源；数据来自企意力；连续运行，消耗大量的系统资源；数据来自企业内部或企业外部，在分析时直接对这些数据操作会业内部或企业外部，在分析时直接对这些数据操作会造成分析混乱。外部一些非结构化数据，数据库系统造成分析混乱。外部一些非结构化数据，数据库系统常无能为力。常无能为力。多库系统的限制多库系统的限制n可用性：源站点或通信网络故障将导致系统瘫痪可用性：源

8、站点或通信网络故障将导致系统瘫痪,源站源站点不能通过网络在线联入多库系统。点不能通过网络在线联入多库系统。n响应速度：全局查询多级转换和通信传输响应速度：全局查询多级转换和通信传输,延迟和低层延迟和低层效率影响响应速度。效率影响响应速度。n系统性能：总体性能取决于源站点中性能最低的系统系统性能：总体性能取决于源站点中性能最低的系统,影响系统性能的发挥影响系统性能的发挥;n系统开销：系统开销：每次查询要启动多个局部系统每次查询要启动多个局部系统,通信和运通信和运行开销大。行开销大。实施数据仓库的条件实施数据仓库的条件n数据积累已达到一定规模n面临激烈的市场竞争n在IT方面的资金能得到保障 数据仓

9、库的概念数据仓库的概念Data Warehouse数据仓库的概念数据仓库的概念 n n数据仓库已被多种方式定义，使得很难提出一种严格的数据仓库已被多种方式定义，使得很难提出一种严格的数据仓库已被多种方式定义，使得很难提出一种严格的数据仓库已被多种方式定义，使得很难提出一种严格的定义。按照定义。按照定义。按照定义。按照W.H.InmonW.H.Inmon这位数据仓库系统构造方面的这位数据仓库系统构造方面的这位数据仓库系统构造方面的这位数据仓库系统构造方面的领头设计师的说法：数据仓库是一个面向主题的、集成领头设计师的说法：数据仓库是一个面向主题的、集成领头设计师的说法：数据仓库是一个面向主题的、集

10、成领头设计师的说法：数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，支持管理部门的决策的、时变的、非易失的数据集合，支持管理部门的决策的、时变的、非易失的数据集合，支持管理部门的决策的、时变的、非易失的数据集合，支持管理部门的决策过程。过程。过程。过程。n n与其他数据库应用不同的是，数据仓库更像一种过程，与其他数据库应用不同的是，数据仓库更像一种过程，与其他数据库应用不同的是，数据仓库更像一种过程，与其他数据库应用不同的是，数据仓库更像一种过程，对分布在企业内部各处的业务数据的整合、加工和分析对分布在企业内部各处的业务数据的整合、加工和分析对分布在企业内部各处的业务数据的整合、加

11、工和分析对分布在企业内部各处的业务数据的整合、加工和分析的过程的过程的过程的过程建立数据仓库看作构造和使用数据仓库的过建立数据仓库看作构造和使用数据仓库的过建立数据仓库看作构造和使用数据仓库的过建立数据仓库看作构造和使用数据仓库的过程。程。程。程。数据仓库特性数据仓库特性 n n面向主题面向主题面向主题面向主题n n典型的主题领域：客户；产品；交易；帐目典型的主题领域：客户；产品；交易；帐目典型的主题领域：客户；产品；交易；帐目典型的主题领域：客户；产品；交易；帐目n n集成的集成的集成的集成的n n数据提取、净化、转换、装载数据提取、净化、转换、装载数据提取、净化、转换、装载数据提取、净化、

12、转换、装载n n非易失的非易失的非易失的非易失的n n数据仓库的数据通常是一起载入和访问的，但并不进行一般意数据仓库的数据通常是一起载入和访问的，但并不进行一般意数据仓库的数据通常是一起载入和访问的，但并不进行一般意数据仓库的数据通常是一起载入和访问的，但并不进行一般意义上的数据更新义上的数据更新义上的数据更新义上的数据更新n n随时间的变化性随时间的变化性随时间的变化性随时间的变化性n n数据仓库中的时间期限要远远长于操作型系统中的时间期限数据仓库中的时间期限要远远长于操作型系统中的时间期限数据仓库中的时间期限要远远长于操作型系统中的时间期限数据仓库中的时间期限要远远长于操作型系统中的时间期

13、限（510510年）；年）；年）；年）；n n数据仓库中的数据是一系列某一时刻生成的复杂的快照；数据仓库中的数据是一系列某一时刻生成的复杂的快照；数据仓库中的数据是一系列某一时刻生成的复杂的快照；数据仓库中的数据是一系列某一时刻生成的复杂的快照；n n数据仓库的键码结构总是包含某时间元素。数据仓库的键码结构总是包含某时间元素。数据仓库的键码结构总是包含某时间元素。数据仓库的键码结构总是包含某时间元素。数据仓库数据仓库OLTPOLTP数据库数据库管理层使用管理层使用一线工人使用一线工人使用战略性价值战略性价值策略性价值策略性价值支持战略定向支持战略定向支持日常操作支持日常操作 用于联机分析用于联

14、机分析用于事务处理用于事务处理面向主题面向主题面向应用程序面向应用程序存储历史数据存储历史数据仅存储当前数据仅存储当前数据不可预测查询模型不可预测查询模型可预测查询模型可预测查询模型数据仓库与数据仓库与OLTP数据库数据库数据集市数据集市n n数据集市（数据集市（数据集市（数据集市（datamartdatamart）是数据仓库的一个部门子集，）是数据仓库的一个部门子集，）是数据仓库的一个部门子集，）是数据仓库的一个部门子集，它针对选定的主题，对于特定的用户是有用的。它针对选定的主题，对于特定的用户是有用的。它针对选定的主题，对于特定的用户是有用的。它针对选定的主题，对于特定的用户是有用的。n

15、n数据集市分为独立的和依赖的两类。独立的数据集市分为独立的和依赖的两类。独立的数据集市分为独立的和依赖的两类。独立的数据集市分为独立的和依赖的两类。独立的 数据集市数据集市数据集市数据集市中，数据来自一个或多个操作的系统或外部信息提供者，中，数据来自一个或多个操作的系统或外部信息提供者，中，数据来自一个或多个操作的系统或外部信息提供者，中，数据来自一个或多个操作的系统或外部信息提供者，或者来自在一个特定的部门或地域局部产生的数据。数或者来自在一个特定的部门或地域局部产生的数据。数或者来自在一个特定的部门或地域局部产生的数据。数或者来自在一个特定的部门或地域局部产生的数据。数据集市中的数据直接来

16、自企业数据仓库。据集市中的数据直接来自企业数据仓库。据集市中的数据直接来自企业数据仓库。据集市中的数据直接来自企业数据仓库。操作型数据存储操作型数据存储n n很多情况下，很多情况下，很多情况下，很多情况下，DB-DWDB-DW的两层体系结构并不能涵盖企业所的两层体系结构并不能涵盖企业所的两层体系结构并不能涵盖企业所的两层体系结构并不能涵盖企业所有的数据处理要求。有的数据处理要求。有的数据处理要求。有的数据处理要求。n n日常管理和控制决策的问题并不是联机事务处理，又算不日常管理和控制决策的问题并不是联机事务处理，又算不日常管理和控制决策的问题并不是联机事务处理，又算不日常管理和控制决策的问题并

17、不是联机事务处理，又算不上高层决策分析，需要企业全局一致的、细节的、当前或上高层决策分析，需要企业全局一致的、细节的、当前或上高层决策分析，需要企业全局一致的、细节的、当前或上高层决策分析，需要企业全局一致的、细节的、当前或接近当前的数据，又需要面向主题、集成的数据环境。因接近当前的数据，又需要面向主题、集成的数据环境。因接近当前的数据，又需要面向主题、集成的数据环境。因接近当前的数据，又需要面向主题、集成的数据环境。因此需要此需要此需要此需要DB-DWDB-DW之间存在着一个中间层次，即之间存在着一个中间层次，即之间存在着一个中间层次，即之间存在着一个中间层次，即操作型数据操作型数据操作型数

18、据操作型数据存储存储存储存储ODSODS（Operational Data Store Operational Data Store）。）。）。）。操作型数据库、ODS和DW的比较比较项目比较项目操作数据存储操作数据存储数据仓库数据仓库数据内容数据内容当前和最近的值存档、归纳数据和经计算得出的数据数据组织数据组织根据主体域-数据集成面向主题数据性质数据性质动态（经常变化）静态（刷新时除外）数据结构和格式数据结构和格式复杂到简单简单：适于商业分析访问概率访问概率高到中中到低数据更新数据更新无更新访问和生成：没有直接地更新数据访问数据访问每个事务访问几条记录每个事务访问多条记录用途用途高度结构化、

19、重复处理和事务处理和交互式分析处理对响应时间的要求对响应时间的要求低于1秒到23秒几秒到几分，有时几小时对性能的要求对性能的要求中到高中ODSODS和和DWDW的比较的比较 数据仓库的结构数据仓库的结构Structure ofData Warehouse数据仓库结构数据仓库结构数据仓库MRDBMDDB信息发布系统操作型数据和外界数据数据集市报表,查询,EIS工具OLAP工具数据挖掘工具管理平台元数据管 理 平台数据仓库数据仓库可视化用户接口可视化用户接口OLAP工具工具查询查询/报表工具报表工具数据挖掘工具数据挖掘工具前端开发工具前端开发工具集成器集成器集成器集成器转换器转换器转换器转换器源数

20、据源数据源数据源数据元元数数据据及其管理工具及其管理工具 数据仓库体系结构数据仓库体系结构数据仓库组成数据仓库组成n数据源数据源n数据抽取（数据抽取（Extraction）、转换（）、转换（Transformation）、集成、装载）、集成、装载（Load）和刷新（）和刷新（Refresh）工具：格式、净化和汇总）工具：格式、净化和汇总n数据建模工具（数据建模工具（ModelingTools）n元数据仓储（元数据仓储（MetadataRepository）n数据仓库监控（数据仓库监控（Monitoring）和管理（）和管理（Administration）工具：）工具：维护数维护数据仓库中的数据

21、，备份、恢复数据以及管理数据的安全权限问题。据仓库中的数据，备份、恢复数据以及管理数据的安全权限问题。n数据仓库及数据集市的目标数据库（数据仓库及数据集市的目标数据库（TargetDataBase）nOLAP服务器服务器n前端数据访问和分析工具前端数据访问和分析工具转换器转换器n转换器的功能：转换器的功能：n数据结构转换和数数据结构转换和数据类型转换据类型转换n非结构化数据的转非结构化数据的转换换创建数据准备区创建数据准备区N开始开始读源数据读源数据检查数据准备区检查数据准备区?执行执行DTS包包更改元数据（时间，数据状态）更改元数据（时间，数据状态）结束结束成功成功连接源数据库连接源数据库创

22、建创建DTS包包Y数据准备区数据准备区n从源数据中提取数据，转换成数据仓库所要求的格式后从源数据中提取数据，转换成数据仓库所要求的格式后存储在数据仓库的一个称为数据准备区的缓冲区中。在存储在数据仓库的一个称为数据准备区的缓冲区中。在该区域中，可以暂时存储原始数据，然后由集成器对数该区域中，可以暂时存储原始数据，然后由集成器对数据进行清理、集成后再装载到数据仓库中。据进行清理、集成后再装载到数据仓库中。源数据数据准备区数据仓库集成器集成器n数据净化（有效值和范围检验）数据净化（有效值和范围检验）n维表与事实表的引用完整性检验：当维表和事实数据表之间的引用完维表与事实表的引用完整性检验：当维表和事

23、实数据表之间的引用完整性破坏时，这类查询可能会导致检索数据不准确或不同查询之间数整性破坏时，这类查询可能会导致检索数据不准确或不同查询之间数据的不一致性错误。据的不一致性错误。n统一数据编码统一数据编码n日期格式转换日期格式转换n测量单位的转换测量单位的转换监控器捕捉数据变化的途径监控器捕捉数据变化的途径n时标方法：在记录中插入新的时标或加上更新时的时标，然后根据时标判时标方法：在记录中插入新的时标或加上更新时的时标，然后根据时标判断哪些数据是变化的，并把变化的数据追加到数据仓库中去。断哪些数据是变化的，并把变化的数据追加到数据仓库中去。nDELTA文件：该文件是由应用产生的，并记录了应用所改

24、变的所有内容。文件：该文件是由应用产生的，并记录了应用所改变的所有内容。利用利用DELTA文件记录数据的变化，不需要扫描整个数据库，所以效率较高，文件记录数据的变化，不需要扫描整个数据库，所以效率较高，但生成的但生成的DELTA文件的应用并不普遍。文件的应用并不普遍。映象文件：在上次提取数据库数据到数据仓库之后及本次提取数据库数据映象文件：在上次提取数据库数据到数据仓库之后及本次提取数据库数据之前，对数据库分别作一次快照，然后通过比较两幅快照的不同来确定要之前，对数据库分别作一次快照，然后通过比较两幅快照的不同来确定要追加的数据。这种方法需要占用大量的系统资源，对系统的性能影响比较追加的数据。

25、这种方法需要占用大量的系统资源，对系统的性能影响比较大。大。日志文件：由于日志文件是数据库的固有机制，所以它对系统性能的影响日志文件：由于日志文件是数据库的固有机制，所以它对系统性能的影响比较小，另外它还有比较小，另外它还有DELTA文件的优点，提取数据只局限于日志文件而不文件的优点，提取数据只局限于日志文件而不用扫描整个数据库。日志文件是最可行的一种方法。用扫描整个数据库。日志文件是最可行的一种方法。uu仓库数据库乎仓库数据库乎总是一个关系数总是一个关系数据库系统；据库系统；uuOLAPOLAP服务器服务器用于多维分析；用于多维分析；uu客户层，包括客户层，包括查询和报告工具、查询和报告工具

26、、分析工具和分析工具和/或数或数据挖掘工具。据挖掘工具。三层结构的数据仓库三层结构的数据仓库（1 1）三层结构的数据仓库（三层结构的数据仓库（2 2）n客户端：客户端：n可视化的用户界面可视化的用户界面n客户端通信组件客户端通信组件n应用服务器端：应用服务器端：n服务器端通信组件服务器端通信组件n调度组件调度组件n安全组件安全组件n元数据管理器元数据管理器n转换器转换器n集成器集成器n数据库服务器端数据库服务器端n源数据源数据n元数据库元数据库n数据准备区数据准备区n数据仓库数据仓库数据仓库中的数据组织数据仓库中的数据组织高度综合级高度综合级轻度综合级轻度综合级当前综合级当前综合级早期细节级早

27、期细节级多级数据多级数据从事务型处理环境中提取的源数据经过综合后，首先进入当从事务型处理环境中提取的源数据经过综合后，首先进入当前细节级，并根据需要进行进一步的综合进入轻度综合级或前细节级，并根据需要进行进一步的综合进入轻度综合级或高度综合级，老化的数据将进入早期细节级。高度综合级，老化的数据将进入早期细节级。粒度粒度n n粒度影响数据仓库中的数据量和查询的种类；粒度影响数据仓库中的数据量和查询的种类；n n聚合是构成维内不同层次的数据集，使用户能够在维度聚合是构成维内不同层次的数据集，使用户能够在维度内的不同层次上观察数据。内的不同层次上观察数据。元数据元数据n要有效的管理数据仓库，必须设计

28、一个描述能力强、内容完善的元数要有效的管理数据仓库，必须设计一个描述能力强、内容完善的元数据。据。n元数据描述了数据仓库中源数据和目标数据本身的信息，定义了从源元数据描述了数据仓库中源数据和目标数据本身的信息，定义了从源数据到目标数据的转换过程。数据到目标数据的转换过程。元数据可用文件存在元数据库中。元数据可用文件存在元数据库中。元数据的种类元数据的种类n转换元数据：为了从事务处理型环境向数据仓库中转换而建立转换元数据：为了从事务处理型环境向数据仓库中转换而建立的元数据，它包含了所有源数据的信息、事务描述、数据结的元数据，它包含了所有源数据的信息、事务描述、数据结构的定义、提取数据和传送数据的

29、算法、综合数据和净化数构的定义、提取数据和传送数据的算法、综合数据和净化数据的规则、数据访问和传送的记录等。据的规则、数据访问和传送的记录等。nDSS元数据：在数据仓库中用来与终端用户的多维商业模型元数据：在数据仓库中用来与终端用户的多维商业模型/前端工具之间建立映射，常用来开发更先进的决策支持工具。前端工具之间建立映射，常用来开发更先进的决策支持工具。元数据的内容元数据的内容n与数据库的数据字典中相似的内容与数据库的数据字典中相似的内容n数据仓库的主题描述数据仓库的主题描述n外部数据和非结构化数据的描述外部数据和非结构化数据的描述n记录系统定义记录系统定义n逻辑模型的定义逻辑模型的定义n数据

30、进入数据仓库的转换规则数据进入数据仓库的转换规则n数据的提取历史数据的提取历史n粒度的定义粒度的定义n数据分割的定义数据分割的定义n广义索引广义索引n有关存储路径和结构的描述有关存储路径和结构的描述n关于源数据的元数据关于源数据的元数据n关于数据仓库映射的元数据关于数据仓库映射的元数据n关于系统安全的元数据。关于系统安全的元数据。n与设计时采用的具体技术以及具体应用环境有关的内容与设计时采用的具体技术以及具体应用环境有关的内容与传统数据库系统的数据字典与传统数据库系统的数据字典中相似的内容。中相似的内容。数据仓库的主题描述。数据仓库的主题描述。外部数据和非结构化数据的描外部数据和非结构化数据的

31、描述。述。记录系统定义。记录系统定义。逻辑模型的定义。逻辑模型的定义。数据进入数据仓库的转换规则。数据进入数据仓库的转换规则。数据的提取历史。数据的提取历史。粒度的定义。粒度的定义。数据分割的定义。数据分割的定义。广义索引。广义索引。有关存储路径和结构的描述有关存储路径和结构的描述数据仓库的虚拟存储方式数据仓库的虚拟存储方式n数据仓库中的数据仍然存储在源数据库中，只是根据用户的多维分析需数据仓库中的数据仍然存储在源数据库中，只是根据用户的多维分析需求而形成多维视图，临时在源数据库中找出并提取所需要的数据，完成求而形成多维视图，临时在源数据库中找出并提取所需要的数据，完成多维分析。多维分析。n优

32、点：比较简单、花费少、使用灵活优点：比较简单、花费少、使用灵活n缺点：要求源数据库的组织比较规范、数据完备并没有冗余，同时又比缺点：要求源数据库的组织比较规范、数据完备并没有冗余，同时又比较接近多维数据模型时，而一般数据库难以满足这些要求，在实际应用较接近多维数据模型时，而一般数据库难以满足这些要求，在实际应用中难以有效建立。中难以有效建立。数据仓库的数据组织形式（数据仓库的数据组织形式（1 1）n简单堆积文件简单堆积文件：每天从操作型数据库中提取加工后的数据逐日积累的存储起：每天从操作型数据库中提取加工后的数据逐日积累的存储起来。存储的数据细节化程度很高，可以应付多种细节查询，但分析时查询的

33、来。存储的数据细节化程度很高，可以应付多种细节查询，但分析时查询的效率较低。效率较低。操作型数据每日事务处理每日综合2月1日2月2日2月3日。3月1日3月2日3月3日。1月1日1月2日1月3日。n轮转综合文件：轮转综合文件：数据存储单位被分为日、周、月、年等几个级别，逐级综合。数据存储单位被分为日、周、月、年等几个级别，逐级综合。每日事务处理每日综合操作型数据第1天第2天第3天第7天第1周第2周第3周第5周第1月第2月第3月第12月第1年第2年第3年第n年数据仓库的数据组织形式（数据仓库的数据组织形式（2 2）n简单直接文件简单直接文件：类似于简单堆积文件，但它是间隔一定时间的数据库快照，类似

34、于简单堆积文件，但它是间隔一定时间的数据库快照，比如每隔一星期或一个月作一次。比如每隔一星期或一个月作一次。n连续文件：通过两个比较简单直接文件的不同而生成的。连续文件：通过两个比较简单直接文件的不同而生成的。1月份彩电销售海尔68长虹100东芝20熊猫102月份彩电销售海尔150长虹90东芝40熊猫30海尔1月份至今218长虹1月份至今190东芝1月份至今60熊猫1月份至今40数据仓库的数据组织形式（数据仓库的数据组织形式（3 3）数据仓库建模数据仓库建模Data Warehouse Modeling星型图模型星型图模型物物理理数数据据模模型型概念模型概念模型逻辑模型逻辑模型物理模型物理模型

35、面向用户的需求面向用户的需求细细化化层层次次更详细的更详细的技术细节技术细节数据仓库的数据模型数据仓库的数据模型信息包图信息包图信息包图（概念模型）信息包图（概念模型）n信息包图：数据仓库的数据模型的最高层。由于大多数商务数据是多信息包图：数据仓库的数据模型的最高层。由于大多数商务数据是多维的，但传统的数据模型表示三维以上的数据有一定困难。这种模型维的，但传统的数据模型表示三维以上的数据有一定困难。这种模型集中在用户对信息包的需要，信息包提供了分析人员思维模式的可视集中在用户对信息包的需要，信息包提供了分析人员思维模式的可视化表示。化表示。n工作：工作：n确定系统边界：决策类型、需要的信息、原

36、始信息确定系统边界：决策类型、需要的信息、原始信息n确定主题域及其内容：主题域的公共键码、联系、属性组确定主题域及其内容：主题域的公共键码、联系、属性组n确定维度：如时间维、销售位置维、产品维、组别维等确定维度：如时间维、销售位置维、产品维、组别维等n确定类别：相应维的详细类别确定类别：相应维的详细类别n确定指标和事实：用于进行分析的数值化信息确定指标和事实：用于进行分析的数值化信息销售分析的信息包图销售分析的信息包图日期日期销售地点销售地点销售产品销售产品年龄组别年龄组别性别性别年(10)国家(15)产品类(6)年龄组(8)性别组(2)季度(40)区域(45)产品组(48)月(120)城市(

37、280)产品(240)区(880)商店(2000)指标和事实指标和事实:预测销售量、实际销售量、预测偏差预测销售量、实际销售量、预测偏差信息包：信息包：销售分析销售分析维度维度类类别别多维数据模型多维数据模型n数据仓库基于多维数据模型。数据仓库基于多维数据模型。n该模型将数据看作数据立方体该模型将数据看作数据立方体(datacube)形式，形式，允许以多维对数据建模和观察。它由维和事实允许以多维对数据建模和观察。它由维和事实定义。维是关于一个组织想要记录的透视或实定义。维是关于一个组织想要记录的透视或实体。每一个维都有一个进一步描述维的表相关体。每一个维都有一个进一步描述维的表相关联，即维表。

38、联，即维表。以三维角度观察销售数据以三维角度观察销售数据数据立方体数据立方体以四维角度观察销售数据以四维角度观察销售数据4-D4-D立方立方体看成体看成 3-D 3-D 立立方体的方体的序列，序列，依此类依此类推推数据模型数据模型（逻辑模型）（逻辑模型）n最流行的数据仓库数据模型就是多维数据模型，这种模最流行的数据仓库数据模型就是多维数据模型，这种模型可以以星型模式、雪花模式或事实星座模式存在。型可以以星型模式、雪花模式或事实星座模式存在。n数据仓库通常使用事实星座模式数据仓库通常使用事实星座模式，因为它能对多个相，因为它能对多个相关的主题建模。对于数据集市，流行星型或雪花模式，关的主题建模。

39、对于数据集市，流行星型或雪花模式，因为它们都适合对单个主题建模。因为它们都适合对单个主题建模。n多维数据模型围绕中心主题组织。该主题用事实表表示。多维数据模型围绕中心主题组织。该主题用事实表表示。事实表：用来存储事实的度量值和各个维的码值，维表事实表：用来存储事实的度量值和各个维的码值，维表用来存放维的元数据（维的层次、成员类别等描述信息）用来存放维的元数据（维的层次、成员类别等描述信息）。Time_idSales TableDiscount%DollarsUnitsFact TableMarket_idProduct_idScenarioProduct_idProduct TableSize

40、BrandProduct_DescDimension TableTime_idYearQuarterPeriod_DescPeriod TableDimension TableScenario TableActualProfitScenarioDimension TableMarket_idMarket TableRegionDistrictMarket_DescDimension Table星型模型星型模型(StarSchema)Budget雪花模式雪花模式(snowflakeschema)n雪花模式是星型模式的变种，其中某些维表是规范化雪花模式是星型模式的变种，其中某些维表是规范化的的，因

41、而把数据进一步分解到附加的表中。，因而把数据进一步分解到附加的表中。n雪花模式和星型模式的主要不同在于雪花模式的维表雪花模式和星型模式的主要不同在于雪花模式的维表可能是规范化形式，以便减少冗余。可能是规范化形式，以便减少冗余。n由于执行查询需要更多的连接操作，雪花模型可能降由于执行查询需要更多的连接操作，雪花模型可能降低浏览的性能。低浏览的性能。事实星座事实星座n复杂的应用可能需要多个事实表共享维表，这种模式可以复杂的应用可能需要多个事实表共享维表，这种模式可以看作星型模式集，因此称为星系模式看作星型模式集，因此称为星系模式(galaxyschema)，或事实星座或事实星座(factconst

42、ellation)。数据挖掘查询语言数据挖掘查询语言n数据挖掘查询语言数据挖掘查询语言DMQL（data mining query language）是一种基于是一种基于SQL的数据挖掘查询语言的数据挖掘查询语言。DMQL包括定义包括定义数据仓库、数据集市、挖掘概念数据仓库、数据集市、挖掘概念/类描述、关联和分类的类描述、关联和分类的语言原语。语言原语。n数据仓库和数据集市可以使用两种原语定义：一种是立方数据仓库和数据集市可以使用两种原语定义：一种是立方体定义，一种是维定义体定义，一种是维定义。n立方体定义语句具有如下语法形式立方体定义语句具有如下语法形式：definecube:n维定义语句具

43、有如下语法形式：维定义语句具有如下语法形式：definedimensionas()定义星型、雪花和事实星座模式定义星型、雪花和事实星座模式例例1 数据立方体 sales 的 time,item 和 location 维可以与数据立方体 shipping 共享在定义数据立方体 shipping 语句之下，用“define dimension time as time in cube sales”说明。例例2度量的计算度量的计算n数据立方体度量数据立方体度量(measure)是一个数值函数，该函数可以对数是一个数值函数，该函数可以对数据立方体的每一个点求值。据立方体的每一个点求值。n大部分度量可以

44、根据其所用的聚集函数分成大部分度量可以根据其所用的聚集函数分成分布的和代数的：分布的和代数的：n一个度量是分布的，如果它可以用分布聚集函数count(),sum(),min()和max()得到。n一个度量是代数的，如果它可以用代数聚集函数average()、min_N(),max_N()和standard_deviation()得到。在图中，sales 星型模式包含两个度量 dollars_sold 和 units_sold。例例3其中DMQL说明被翻译成如下SQL查询，这些查询产生所需要的 sales_star 数据立方体。聚集函数sum用于计算dollars_sold和units_sold

45、。概念分层概念分层n概念分层概念分层(concept hierarchy)定义一个映射序列，将低层概念定义一个映射序列，将低层概念映射到更一般的高层概念。如每映射到更一般的高层概念。如每个城市可以映射到它所属的省或个城市可以映射到它所属的省或州。这些省和州依次可以映射到州。这些省和州依次可以映射到它所属的国家。国家可以映射到它所属的国家。国家可以映射到它所属的大洲。它所属的大洲。n概念分层也可以通过将给定维或概念分层也可以通过将给定维或属性的值离散化或分组来定义，属性的值离散化或分组来定义，产生集合分组分层。产生集合分组分层。u在多维数据模型中，数据组织成多在多维数据模型中，数据组织成多维，每

46、维包含由概念分层定义的多个维，每维包含由概念分层定义的多个抽象层。这种组织为用户从不同角度抽象层。这种组织为用户从不同角度观察数据提供了灵活性。观察数据提供了灵活性。物理数据模型物理数据模型n物理数据模型：星型模型等在数据仓库中的实现，如物理的存取物理数据模型：星型模型等在数据仓库中的实现，如物理的存取方式、数据存储结构等。方式、数据存储结构等。n在物理设计时，常常要按数据的重要程度、使用频率以及对响应在物理设计时，常常要按数据的重要程度、使用频率以及对响应时间的要求进行分类，并将不同类的数据分别存储在不同的存储时间的要求进行分类，并将不同类的数据分别存储在不同的存储设备中。重要程度高、经常存

47、取并对响应时间高的数据就存放在设备中。重要程度高、经常存取并对响应时间高的数据就存放在高速存储设备上，如硬盘；存取频率低或对存取响应时间要求低高速存储设备上，如硬盘；存取频率低或对存取响应时间要求低的数据则可以放在低速存储设备上。的数据则可以放在低速存储设备上。数据建模注意问题数据建模注意问题n必须回答紧迫的问题；必须回答紧迫的问题；n必须有正确的事实表；必须有正确的事实表；n将有正确的维表，描述必须按最终用户的业务术语表达；将有正确的维表，描述必须按最终用户的业务术语表达；n必须理解数据仓库所影响的公司过程或影响数据仓库的公司过程；必须理解数据仓库所影响的公司过程或影响数据仓库的公司过程；n

48、对于事实表，应该有正确的对于事实表，应该有正确的“粒度粒度”；n根据需要存储正确长度的公司历史数据；根据需要存储正确长度的公司历史数据；n以一种对于公司有意义的方式来集成所有必要的数据；以一种对于公司有意义的方式来集成所有必要的数据；n创建必要的聚合表；创建必要的聚合表；n创建必要的索引；创建必要的索引；n能够加载数据仓库数据库并使它以一种适宜的方式可用。能够加载数据仓库数据库并使它以一种适宜的方式可用。数据仓库开发过程数据仓库开发过程Building the Data Warehouse应用A应用B应用C收集应用需求分析应用需求构建数据库系统实施系统测试应用编程DBSDLC方法数据仓库建模数

49、据获取与集成构建数据仓库理解需求系统测试DSS应用编程DWCLDS方法DB外部数据DB数据仓库的数据仓库的CLDS设计方法设计方法数据仓库的设计思想数据仓库的设计思想n为了提高系统的效率和性能，数据仓库的数据内容、结构、粒度、分为了提高系统的效率和性能，数据仓库的数据内容、结构、粒度、分割以及其他物理设计需要根据用户所返回的信息不断地调整和完善，割以及其他物理设计需要根据用户所返回的信息不断地调整和完善，而且数据仓库需要通过不断地理解用户的分析需求，向用户提供更准而且数据仓库需要通过不断地理解用户的分析需求，向用户提供更准确、更有用的决策信息，所以数据仓库对灵活性和扩展性有较高的要确、更有用的

50、决策信息，所以数据仓库对灵活性和扩展性有较高的要求，它的建立是一个动态、循环和反馈的过程。求，它的建立是一个动态、循环和反馈的过程。n“让我看看能得到什么，然后我才能告诉你我需要什么。让我看看能得到什么，然后我才能告诉你我需要什么。”n数据驱动的数据驱动的原型法原型法数据仓库设计的技术要求数据仓库设计的技术要求n对大量数据的组织和管理。数据仓库中的数据是从数据库中提取得来的，不必关心对大量数据的组织和管理。数据仓库中的数据是从数据库中提取得来的，不必关心它的数据安全性和数据完整性，它要求进行大量数据的组织与管理。它的数据安全性和数据完整性，它要求进行大量数据的组织与管理。n支持高性能的复杂分析