第二章 数据仓库的概念与体系结构(09)220273.pptx

系统分析与设计第第2章章 数据仓库的概念与体系结构数据仓库的概念与体系结构 历史数据的几种处理方式历史数据的几种处理方式:1)简单删除简单删除2）备份后删除）备份后删除3）建立数据仓库）建立数据仓库3/28/2023数据仓库与数据挖掘系统分析与设计2.1 2.1 数据仓库的概念、特点与组成数据仓库的概念、特点与组成数据仓库的概念数据仓库的概念数数据据仓仓库库就就是是一一个个面面向向主主题题的的（Subject Subject OrientedOriented）、集集成成的的（IntegrateIntegrate）、相相对对稳稳定定的的（Non-VolatileNon-Volatile）、反反映映历历史史变变化化（Time Time VariantVariant）的的数数据据集集合合，通通常常用用于于辅助决策支持（辅助决策支持（DDSDDS）3/28/2023数据仓库与数据挖掘系统分析与设计2.1 2.1 数据仓库的概念、特点与组成数据仓库的概念、特点与组成数据仓库的特点：数据仓库的特点：面向主题；面向主题；集成的；集成的；相对稳定的；相对稳定的；反映历史变化。反映历史变化。3/28/2023数据仓库与数据挖掘系统分析与设计2.1 2.1 数据仓库的概念、特点与组成数据仓库的概念、特点与组成数据仓库的组成：数据仓库的组成：数据仓库数据库（核心部分）（特点：支持海量数数据仓库数据库（核心部分）（特点：支持海量数据和快速检索）；据和快速检索）；数据抽取工具数据抽取工具（提取、转换、整理），数据转换的内容通常（提取、转换、整理），数据转换的内容通常有：有：1)1)删除没意义的数据；删除没意义的数据；2 2）转换到统一的数据名称和定义；）转换到统一的数据名称和定义；3 3）计算统计和衍生数据；）计算统计和衍生数据；4 4）填补缺失数据等）填补缺失数据等；元数据：技术元数据与业务元数据；元数据：技术元数据与业务元数据；技术元数据：技术元数据：数据仓库的涉及和管理人员用于开发和管理数数据仓库的涉及和管理人员用于开发和管理数据仓库时使用的元数据，包括：数据转换的描述、数据清洗和据仓库时使用的元数据，包括：数据转换的描述、数据清洗和数据更新时用的规则等等。数据更新时用的规则等等。业务元数据业务元数据:从单位业务的角度描述数据仓库，如业务主题的从单位业务的角度描述数据仓库，如业务主题的描述，即业务主体包含的数据、查询及报表等。描述，即业务主体包含的数据、查询及报表等。3/28/2023数据仓库与数据挖掘系统分析与设计2.1 2.1 数据仓库的概念、特点与组成数据仓库的概念、特点与组成数据仓库的组成：数据仓库的组成：-访问工具：访问工具：如分析、报表、数据挖掘工具如分析、报表、数据挖掘工具数据集市（数据集市（Data MartsData Marts）：）：为特定的应用目的，从数据仓库为特定的应用目的，从数据仓库中独立出来的一部分数据，也称部门数据或主题数据。中独立出来的一部分数据，也称部门数据或主题数据。数据仓库管理：数据仓库管理：包括安全与权限的管理、数据更新的跟踪、包括安全与权限的管理、数据更新的跟踪、元数据的管理与更新、数据的复制于删除等等元数据的管理与更新、数据的复制于删除等等。信息发布系统：信息发布系统：将数据发送给不同的地点或用户。将数据发送给不同的地点或用户。3/28/2023数据仓库与数据挖掘系统分析与设计2.2 2.2 数据挖掘的概念与方法数据挖掘的概念与方法数据挖掘的概念数据挖掘的概念数数据据挖挖掘掘(Data(Data Mining)Mining)，就就是是从从大大量量数数据据中中获获取取有有效效的的、新新颖颖的的、潜潜在在有有用用的的、最最终终可可理理解解的的模模式式的的非非平平凡凡过过程程，简简单单的的说说，数数据据挖挖掘掘就就是是从从大大量量数数据据中中提提取取或或“挖挖掘掘”知知识识，又又被被称称为为数数据据库库中中的的知知识识发发现现(Knowledge Discovery in Database,KDD)(Knowledge Discovery in Database,KDD)3/28/2023数据仓库与数据挖掘系统分析与设计2.2 2.2 数据挖掘的概念与方法数据挖掘的概念与方法数据挖掘的方法：数据挖掘的方法：直接数据挖掘直接数据挖掘间接数据挖掘。间接数据挖掘。3/28/2023数据仓库与数据挖掘系统分析与设计2.2 2.2 数据挖掘的概念与方法数据挖掘的概念与方法数据仓库与数据挖掘的关系数据仓库与数据挖掘的关系若若将将数数据据仓仓库库（Data Data WarehouseWarehouse）比比作作矿矿井井，那那么么数数据挖掘（据挖掘（Data MiningData Mining）就是深入矿井采矿的工作）就是深入矿井采矿的工作 数数据据挖挖掘掘是是从从数数据据仓仓库库中中找找出出有有用用信信息息的的一一种种过过程程与技术与技术 3/28/2023数据仓库与数据挖掘系统分析与设计2.3 2.3 数据仓库的技术、方法与产品数据仓库的技术、方法与产品联联机机事事务务处处理理（OLTPOLTP）与与联联机机分分析析处处理理（OLAPOLAP）的比较；见表的比较；见表1.11.1OLAPOLAP技技术术的的有有关关概概念念 ：多多维维数数据据集集、维维度度、度度量量值和多维分析（切片、切块、钻取、旋转等）；值和多维分析（切片、切块、钻取、旋转等）；OLAPOLAP根根据据其其存存储储数数据据的的方方式式可可分分为为三三类类：ROLAPROLAP、MOLAPMOLAP、HOLAPHOLAP（混混合合，低低层层关关系系型型，高高层层多多维维型）型）OLAPOLAP工工具具：对对特特定定问问题题的的联联机机数数据据访访问问与与分分析析，一一般是前端工具。般是前端工具。3/28/2023数据仓库与数据挖掘系统分析与设计2.3 2.3 数据仓库的技术、方法与产品数据仓库的技术、方法与产品数据仓库实施中的三个关键环节数据仓库实施中的三个关键环节数据抽取；数据抽取；数据存储与管理：数据存储与管理：大量数据管理，并行处理，支持查大量数据管理，并行处理，支持查询的优化，支持多维分析的查询模式询的优化，支持多维分析的查询模式数据表现数据表现:工具主要集中在多维分析、数据挖掘、统计工具主要集中在多维分析、数据挖掘、统计分析。分析。3/28/2023数据仓库与数据挖掘系统分析与设计2.3 2.3 数据仓库的技术、方法与产品数据仓库的技术、方法与产品数据仓库实施方法论数据仓库实施方法论数据仓库不是简单的数据或产品堆砌，它是一个数据仓库不是简单的数据或产品堆砌，它是一个综合集成解决方案和系统工程。在数据仓库的实综合集成解决方案和系统工程。在数据仓库的实施过程中，技术决策至关重要，技术选择或决策施过程中，技术决策至关重要，技术选择或决策错误很可能导致项目实施失败错误很可能导致项目实施失败 3/28/2023数据仓库与数据挖掘系统分析与设计2.3 2.3 数据仓库的技术、方法与产品数据仓库的技术、方法与产品常用数据仓库产品比较常用数据仓库产品比较常用常用OLAPOLAP工具介绍工具介绍 ；各数据仓库厂商提供的解决方案各数据仓库厂商提供的解决方案 IBM IBM、OracleOracle、NCRNCR、MicrosoftMicrosoft、SASSAS等等3/28/2023数据仓库与数据挖掘系统分析与设计2.4 2.4 数据仓库系统的体系结构数据仓库系统的体系结构数据仓库系统的体系结构的分类数据仓库系统的体系结构的分类（1 1）两层架构（）两层架构（Generic Two-Level ArchitectureGeneric Two-Level Architecture）。）。（2 2）独立型数据集市（）独立型数据集市（Independent Data MartIndependent Data Mart）。）。（3 3）依依赖赖型型数数据据集集市市和和操操作作型型数数据据存存储储（Dependent Dependent Data Mart and Operational Data StoreData Mart and Operational Data Store）。）。（4 4）逻逻辑辑型型数数据据集集市市和和实实时时数数据据仓仓库库（Logical Logical Data Data Mart and Real-Time Data WarehouseMart and Real-Time Data Warehouse）。）。3/28/2023数据仓库与数据挖掘系统分析与设计2.4 2.4 数据仓库系统的体系结构数据仓库系统的体系结构l两层数据仓库体系结构两层数据仓库体系结构 3/28/2023数据仓库与数据挖掘系统分析与设计2.4 2.4 数据仓库系统的体系结构数据仓库系统的体系结构l基于独立数据集市的数据仓库体系结构基于独立数据集市的数据仓库体系结构 3/28/2023数据仓库与数据挖掘系统分析与设计2.4 2.4 数据仓库系统的体系结构数据仓库系统的体系结构l基于依赖型数据集市和操作型数据存储基于依赖型数据集市和操作型数据存储(ODS)(ODS)的数的数据仓库体系结构据仓库体系结构 3/28/2023数据仓库与数据挖掘系统分析与设计2.4 2.4 数据仓库系统的体系结构数据仓库系统的体系结构l逻辑型数据集市和实时数据仓库的体系结构逻辑型数据集市和实时数据仓库的体系结构 3/28/2023数据仓库与数据挖掘系统分析与设计2.5 2.5 数据仓库的产生、发展与未来数据仓库的产生、发展与未来数据仓库的产生数据仓库的产生联联机机事事务务处处理理系系统统（业业务务系系统统）刚刚上上线线时时，查查询询不不到到数数据据是是因因为为数数据据太太少少了了，而而几几十十年年后后查查询询不不到到有有关关数数据据是是因因为为数数据据太太多多了了。针针对对这这一一问问题题，人人们们设设想想专专门门为为业业务务数数据据的的统统计计分分析析建建立立一一个个数数据据中中心心，它它的的数数据据从从联联机机事事务务处处理理系系统统中中来来、从从异异构构的的外外部部数数据据源源来来、或或从从脱脱机机的的历历史史业业务务数数据据中中来来，这这个个数数据据中中心心也也是是一一个个联联机机系系统统，它它专专门门为为分分析析统统计计和和决决策策支支持持应应用用服服务务，通通过过它它可可获获取取决决策策支支持持和和联联机机分分析析应应用用所所需需要要的的一一切切数数据据。这这个个数数据据中中心心就就叫叫做做数数据据仓仓库库。简简单单地地说说，数数据据仓仓库库就就是是一一个个作作为为决决策策支支持持和和联联机机分分析析应应用用系系统统数数据据源源的的结结构构化化数数据据环环境境，数数据据仓仓库库要要研研究究和和解解决决的的问问题题就就是是从从数数据据库库中中获获取取信息的问题。信息的问题。3/28/2023数据仓库与数据挖掘系统分析与设计2.5 2.5 数据仓库的产生、发展与未来数据仓库的产生、发展与未来数据仓库的发展数据仓库的发展以报表为主以报表为主以分析为主以分析为主 以预测模型为主以预测模型为主 以营运导向为主以营运导向为主 以实时数据仓库、自动决策应用为主以实时数据仓库、自动决策应用为主 3/28/2023数据仓库与数据挖掘系统分析与设计2.5 2.5 数据仓库的产生、发展与未来数据仓库的产生、发展与未来数据仓库的未来数据仓库的未来在在数数据据抽抽取取方方面面，未未来来的的技技术术发发展展将将集集中中在在系系统统集集成成化化方方面面。它它将将互互连连、转转换换、复复制制、调调度度、监监控控纳纳入入标标准准化化的的统统一一管管理理，以以适适应应数数据据仓仓库库本本身身或或数数据源可能的变化，使系统更便于管理和维护。据源可能的变化，使系统更便于管理和维护。在在数数据据管管理理方方面面，未未来来的的发发展展将将使使数数据据库库厂厂商商明明确确推推出出数数据据仓仓库库引引擎擎，作作为为数数据据仓仓库库服服务务器器产产品品与与数数据据库库服服务务器器并并驾驾齐齐驱驱。在在这这一一方方面面，带带有有决决策策支支持扩展的并行关系数据库将最具发展潜力。持扩展的并行关系数据库将最具发展潜力。在在数数据据表表现现方方面面，数数理理统统计计的的算算法法和和功功能能将将普普遍遍集集成成到到联联机机分分析析产产品品中中，并并与与Internet/WebInternet/Web技技术术紧紧密密结结合合。按按行行业业应应用用特特征征细细化化的的数数据据仓仓库库用用户户前前端端软软件件将将成成为为产产品品作作为为数数据据仓仓库库解解决决方方案案的的一一部部分分。数数据据仓仓库库实实现现过过程程的的方方法法论论将将更更加加普普及及，将将成成为为数数据据库库设设计计的的一一个个明明确确分分支支，成成为为管管理理信信息息系系统统设设计计的必备的必备 3/28/2023数据仓库与数据挖掘系统分析与设计演讲完毕，谢谢观看！