数据仓库与数据挖掘概述(1).ppt

《数据仓库与数据挖掘概述(1).ppt》由会员分享，可在线阅读，更多相关《数据仓库与数据挖掘概述(1).ppt（46页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第1 1章章 数据仓库与数据挖掘概述数据仓库与数据挖掘概述 第第1 1章章1.1 1.1 数据仓库的兴起数据仓库的兴起1.2 1.2 数据挖掘的兴起数据挖掘的兴起1.31.3 数据仓库和数据挖掘的结合数据仓库和数据挖掘的结合 1.1 数据仓库的兴起数据仓库的兴起n1.1.1 从数据库到数据仓库从数据库到数据仓库n1.1.2 从从OLTP到到OLAPn1.1.3 数据字典与元数据数据字典与元数据n1.1.4 数据仓库的定义与特点数据仓库的定义与特点1.1.1 1.1.1 从数据库到数据仓库从数据库到数据仓库（1 1）“数据太多，信息不足数据太多，信息不足”的现状的现状（2 2）异构环境的数据的

2、转换和共享）异构环境的数据的转换和共享 （3 3）利用数据进行数据处理）利用数据进行数据处理转换为转换为利用数据支利用数据支持决策持决策1.数据库用于事务处理数据库用于事务处理n数据库作为数据资源用于管理业务中的事务处数据库作为数据资源用于管理业务中的事务处理。它已经成为了成熟的信息基础设施。理。它已经成为了成熟的信息基础设施。n数据库中存放的数据基本上是保存当前数据，数据库中存放的数据基本上是保存当前数据，随着业务的变化随时在更新数据库中的数据。随着业务的变化随时在更新数据库中的数据。n不同的管理业务需要建立不同的数据库。例如，不同的管理业务需要建立不同的数据库。例如，银行中储蓄业务、信用卡

3、业务分别要建立储蓄银行中储蓄业务、信用卡业务分别要建立储蓄数据库和信用卡数据库。数据库和信用卡数据库。2.数据仓库用于决策分析数据仓库用于决策分析n数据库用于事务处理，数据仓库用于决策分析数据库用于事务处理，数据仓库用于决策分析n数据库保持事务处理的当前状态，数据仓库既数据库保持事务处理的当前状态，数据仓库既保存过去的数据又保存当前的数据保存过去的数据又保存当前的数据n数据仓库的数据是大量数据库的集成数据仓库的数据是大量数据库的集成n对数据库的操作比较明确，操作数据量少。对对数据库的操作比较明确，操作数据量少。对数据仓库操作不明确，操作数据量大数据仓库操作不明确，操作数据量大3.数据库与数据仓

4、库对比1.1.2从从OLTP到到OLAP1.联机事物处理（联机事物处理（OLTP）2.联机分析处理（联机分析处理（OLAP）3.OLTP与与OLAP的对比的对比1.联机事物处理（联机事物处理（OLTP）n联机事物处理（联机事物处理（On Line Transaction Processing，OLTP）是在网络环境下的事）是在网络环境下的事务处理工作，以快速的响应和频繁的数据修务处理工作，以快速的响应和频繁的数据修改为特征，使用户利用数据库能够快速地处改为特征，使用户利用数据库能够快速地处理具体的业务。理具体的业务。nOLTP是用户的数据可以立即传送到计算中心是用户的数据可以立即传送到计算中心

5、进行处理，并在很短的时间内给出处理结果。进行处理，并在很短的时间内给出处理结果。也称为也称为实时系统实时系统(Real time System)。nOLTP主要用于包括银行业、航空、邮购订单、主要用于包括银行业、航空、邮购订单、超级市场和制造业等的输入数据和取回交易超级市场和制造业等的输入数据和取回交易数据。如银行为分布在各地的数据。如银行为分布在各地的自动取款机自动取款机(ATM)完成即时取款交易；机票预定系统能每完成即时取款交易；机票预定系统能每秒处理的定票事务峰值可以达到秒处理的定票事务峰值可以达到20000个。个。nOLTP是事务处理从单机到网络环境地发展新是事务处理从单机到网络环境地

6、发展新阶段。阶段。nOLTP的特点在于事务处理量大，应用要的特点在于事务处理量大，应用要求多个并行处理，事务处理内容比较简求多个并行处理，事务处理内容比较简单且重复率高。单且重复率高。n大量的数据操作主要涉及的是一些增加、大量的数据操作主要涉及的是一些增加、删除、修改、查询等操作。每次操作的删除、修改、查询等操作。每次操作的数据量不大且多为当前的数据。数据量不大且多为当前的数据。nOLTP处理的数据是高度结构化的，数据处理的数据是高度结构化的，数据访问路径是已知的，至少是固定的。访问路径是已知的，至少是固定的。nOLTP面对的是事务处理操作人员和低层面对的是事务处理操作人员和低层管理人员。管理

7、人员。n但是，为高层领导者提供决策分析时，但是，为高层领导者提供决策分析时，OLTP则显得力不从心。则显得力不从心。2.联机分析处理（联机分析处理（OLAP）nE.F.Codd认为认为决策分析决策分析需要对多个关系数据库需要对多个关系数据库共同进行大量的综合计算才能得到结果。共同进行大量的综合计算才能得到结果。nE.F.Codd在在1993年年提出了提出了多维数据库和多维多维数据库和多维分析的概念，即分析的概念，即联机分析处理（联机分析处理（On Line Analytical Processing，OLAP）概念。）概念。n关系数据库是二维数据（平面），多维数据库关系数据库是二维数据（平面）

8、，多维数据库是空间立体数据。是空间立体数据。nOLAP专门用于支持复杂的决策分析操作，专门用于支持复杂的决策分析操作，侧重对分析人员和高层管理人员的决策侧重对分析人员和高层管理人员的决策支持支持，nOLAP可以应分析人员的要求快速、灵活可以应分析人员的要求快速、灵活地进行大数据量的复杂处理，并且以一地进行大数据量的复杂处理，并且以一种直观易懂地形式将查询结果提供给决种直观易懂地形式将查询结果提供给决策制定人策制定人 nOLAP软件，以它先进地分析功能和以软件，以它先进地分析功能和以多维多维形式形式提供数据的能力，正作为一种支持企业提供数据的能力，正作为一种支持企业关键商业决策的解决方案而迅速崛

9、起。关键商业决策的解决方案而迅速崛起。nOLAP的基本思想是决策者从多方面和多角的基本思想是决策者从多方面和多角度以度以多维的形式多维的形式来观察企业的状态和了解企来观察企业的状态和了解企业的变化。业的变化。3.OLTP与OLAP的对比 OLTPOLAP细节细节性数据性数据综综合性数据合性数据当前数据当前数据历历史数据史数据经经常更新常更新不更新，但周期性刷新不更新，但周期性刷新一次性一次性处处理的数据量小理的数据量小一次一次处处理的数据量大理的数据量大对对响响应时间应时间要求高要求高响响应时间应时间合理合理面向面向应应用，事用，事务驱动务驱动面向分析，分析面向分析，分析驱动驱动1.1.3 数

10、据字典与元数据数据字典与元数据n1.数据库的数据字典数据库的数据字典n2.数据仓库的元数据数据仓库的元数据1.数据库的数据字典数据库的数据字典数据字典是描述数据库中各类数据的集合，包括：数据字典是描述数据库中各类数据的集合，包括：(1)数据项数据项 (2)数据结构数据结构 (3)数据流数据流 (4)数据存储数据存储 (5)处理过程处理过程 数据字典是数据库的元数据数据字典是数据库的元数据。2.数据仓库的元数据数据仓库的元数据n在数据仓库中引入了在数据仓库中引入了“元数据元数据”的概念，的概念，它不仅仅是数据仓库的字典，而且还是它不仅仅是数据仓库的字典，而且还是数据仓库本身信息的数据。数据仓库本

11、身信息的数据。n元数据（元数据（metadata）定义为关于数据的）定义为关于数据的数据（数据（data about data），即），即元数据元数据描述了数据仓库的数据和环境描述了数据仓库的数据和环境。数据仓库的元数据除对数据仓库中数据的数据仓库的元数据除对数据仓库中数据的描述（数据仓库字典）外，还有以下三描述（数据仓库字典）外，还有以下三类元数据类元数据：(1)关于数据源的元数据关于数据源的元数据(2)关于抽取和转换的元数据关于抽取和转换的元数据(3)关于最终用户的元数据关于最终用户的元数据1.1.41.1.4数据仓库的定义与特点数据仓库的定义与特点 1.1.数据仓库定义数据仓库定义 （1

12、 1）W.H.InmonW.H.Inmon在在建立数据仓库建立数据仓库一书中，对数一书中，对数据仓库的定义为：据仓库的定义为：数据仓库是面向主题的、集成的、稳定的，不同数据仓库是面向主题的、集成的、稳定的，不同时间的数据集合，用于支持经营管理中决策制定过程。时间的数据集合，用于支持经营管理中决策制定过程。（2 2）SASSAS软件研究所观点：软件研究所观点：数数据据仓仓库库是是一一种种管管理理技技术术，旨旨在在通通过过通通畅畅、合合理理、全全面面的的信信息息管管理理，达达到到有有效效的的决决策策支支持。持。2.数据仓库特点数据仓库特点（1 1 1 1）数据仓库是面向主题的）数据仓库是面向主题的

13、）数据仓库是面向主题的）数据仓库是面向主题的 主题是数据归类的标准，每一个主题基本对应一主题是数据归类的标准，每一个主题基本对应一个宏观的分析领域。个宏观的分析领域。例如，银行的数据仓库的主题：客户例如，银行的数据仓库的主题：客户 DWDW的客户数据来源：的客户数据来源：从从银行储蓄银行储蓄DBDB、信用卡信用卡DBDB、贷款贷款DBDB等三个等三个DBDB中抽中抽取同一客户的数据整理而成。取同一客户的数据整理而成。在在D DW W中能全面地分析客户数据，再决定是否继续中能全面地分析客户数据，再决定是否继续给予贷款。给予贷款。（2 2 2 2）数据仓库是集成的）数据仓库是集成的）数据仓库是集成

14、的）数据仓库是集成的 数据进入数据仓库之前，必须经过加工与集成。数据进入数据仓库之前，必须经过加工与集成。对对不不同同的的数数据据来来源源进进行行统统一一数数据据结结构构和和编编码码。统统一一原原始始数数据据中中的的所所有有矛矛盾盾之之处处，如如字字段段的的同同名名异异义，异名同义，单位不统一，字长不一致等。义，异名同义，单位不统一，字长不一致等。将将原原始始数数据据结结构构做做一一个个从从面面向向应应用用到到面面向向主主题题的大转变。的大转变。（3 3 3 3）数据仓库是稳定的）数据仓库是稳定的）数据仓库是稳定的）数据仓库是稳定的 数数据据仓仓库库中中包包括括了了大大量量的的历历史史数数据据

15、。数数据据经经集集成进入数据仓库后是极少或根本不更新的。成进入数据仓库后是极少或根本不更新的。（4 4 4 4）数据仓库是随时间变化的）数据仓库是随时间变化的）数据仓库是随时间变化的）数据仓库是随时间变化的 数数据据仓仓库库内内的的数数据据时时限限在在5 51010年年，故故数数据据的的键键码码包包含含时时间间项项，标标明明数数据据的的历历史史时时期期，这这适适合合DSSDSS进行时间趋势分析。进行时间趋势分析。而而数数据据库库只只包包含含当当前前数数据据，即即存存取取某某一一时时间间的的正确的有效的数据。正确的有效的数据。（5 5）数据仓库的数据量很大）数据仓库的数据量很大 大大型型DWDW

16、的的数数据据是是一一个个TBTB（1000GB1000GB）级级数数据据量量（一一般般为为10GB10GB级级DWDW，相相当当于于一一般般数数据据库库100MB100MB的的100100倍）倍）（6 6）数据仓库软、硬件要求较高）数据仓库软、硬件要求较高 需要一个巨大的硬件平台需要一个巨大的硬件平台 需要一个并行的数据库系统需要一个并行的数据库系统1.2数据挖掘的兴起数据挖掘的兴起1.2.1 从机器学习到数据挖掘从机器学习到数据挖掘1.2.2 数据挖掘含义数据挖掘含义1.2.3 数据挖掘与数据挖掘与OLAP的比较的比较1.2.4 数据挖掘与统计学数据挖掘与统计学1.2.1 从机器学习到数据挖

17、掘从机器学习到数据挖掘n学习是人类具有的智能行为，主要在于获取知识。学习是人类具有的智能行为，主要在于获取知识。n机器学习是研究使计算机模拟或实现人类的学习行机器学习是研究使计算机模拟或实现人类的学习行为，即让计算机通过算法自动获取知识。为，即让计算机通过算法自动获取知识。n机器学习是人工智能领域中的重要研究方向。机器学习是人工智能领域中的重要研究方向。n20世纪世纪60年代开始了机器学习的研究。年代开始了机器学习的研究。(1)1980年在美国召开了第一届国际机器学习研讨会；年在美国召开了第一届国际机器学习研讨会；明确了机器学习是人工智能的重要研究方向明确了机器学习是人工智能的重要研究方向(2

18、)1989年年8月月于于美美国国底底特特律律市市召召开开的的第第一一届届知知识识发发现现（KDD）国）国 际学术会议；际学术会议；首次提出知识发现概念首次提出知识发现概念(3)1995年年在在加加拿拿大大召召开开了了第第一一届届知知识识发发现现和和数数据据挖挖掘掘（DM）国际学术会议；）国际学术会议；首次提出数据挖掘概念首次提出数据挖掘概念(4)我国于我国于1987年召开了第一届全国机器学习研讨会。年召开了第一届全国机器学习研讨会。1.2.21.2.2数据挖掘含义数据挖掘含义知识发现（知识发现（KDD）：从数据中发现有用知识的整个过程。：从数据中发现有用知识的整个过程。数据挖掘（数据挖掘（DM

19、）：KDD过程中的一个特定步骤，它用专门算过程中的一个特定步骤，它用专门算 法从数据中抽取知识。法从数据中抽取知识。如在人类数据库中挖掘知识为：如在人类数据库中挖掘知识为：（头发（头发=黑色）黑色）（眼睛（眼睛=黑色）黑色）亚洲人亚洲人 该知识覆盖了所有亚州人的记录。该知识覆盖了所有亚州人的记录。1.2.3数据挖掘与数据挖掘与OLAP的比较的比较1.OLAP的多维分析的多维分析OLAP的典型应用，通过商业活动变化的查询发的典型应用，通过商业活动变化的查询发现的问题，经过追踪查询找出问题出现的原因，现的问题，经过追踪查询找出问题出现的原因，达到辅助决策的作用。达到辅助决策的作用。2.数据挖掘数据

20、挖掘数据挖掘任务在于聚类（如神经网络聚类）、分数据挖掘任务在于聚类（如神经网络聚类）、分类（如决策树分类）、预测等。类（如决策树分类）、预测等。1.2.4 数据挖掘与统计学数据挖掘与统计学n统计学与国家政治有紧密的关系。统计学与国家政治有紧密的关系。n支配着社会现象的法则和方法是概率论。支配着社会现象的法则和方法是概率论。n通过对全部对象（总体）进行调查，为制定通过对全部对象（总体）进行调查，为制定计划和决策提供依据。计划和决策提供依据。统计学中应用于数据挖掘的内容统计学中应用于数据挖掘的内容（1）常用统计）常用统计（2）相关分析）相关分析（3）回归分析）回归分析（4）假设检验）假设检验（5）

21、聚类分析）聚类分析（6）判别分析）判别分析 (7)主成份分析主成份分析统计学与数据挖掘的比较统计学与数据挖掘的比较 n统计学主要是对数量数据（数值）或连续值数统计学主要是对数量数据（数值）或连续值数据（如年龄、工资等），进行数值计算（如初据（如年龄、工资等），进行数值计算（如初等运算）的定量分析，得到数量信息。等运算）的定量分析，得到数量信息。n数据挖掘主要对离散数据（如职称、病症等）数据挖掘主要对离散数据（如职称、病症等）进行定性分析（覆盖、归纳等），得到规则知进行定性分析（覆盖、归纳等），得到规则知识。识。n统计学与数据挖掘是有区别的。但是，它们之统计学与数据挖掘是有区别的。但是，它们之间

22、是相互补充的。间是相互补充的。1.3 数据仓库和数据挖掘的结合数据仓库和数据挖掘的结合1.3.1 数据仓库和数据挖掘的区别与联系数据仓库和数据挖掘的区别与联系1.3.2 基于数据仓库的决策支持系统基于数据仓库的决策支持系统1.3.3数据仓库与商业智能数据仓库与商业智能1.3.1 数据仓库和数据挖掘的区别与联系数据仓库和数据挖掘的区别与联系1.数据仓库与数据挖掘的区别数据仓库与数据挖掘的区别2.数据仓库与数据挖掘的关系数据仓库与数据挖掘的关系3.数据仓库中数据存储特点数据仓库中数据存储特点4.数据仓库中数据挖掘特点数据仓库中数据挖掘特点1.数据仓库与数据挖掘的区别数据仓库与数据挖掘的区别n数据仓

23、库是一种存储技术，它能适应于数据仓库是一种存储技术，它能适应于不同用户对不同决策需要提供所需的数不同用户对不同决策需要提供所需的数据和信息。据和信息。n数据挖掘研究各种方法和技术，从大量数据挖掘研究各种方法和技术，从大量的数据中挖掘出有用的信息和知识。的数据中挖掘出有用的信息和知识。2.数据仓库与数据挖掘的关系数据仓库与数据挖掘的关系n数据仓库与数据挖掘都是决策支持新技术。数据仓库与数据挖掘都是决策支持新技术。但它们有着完全不同的辅助决策方式。但它们有着完全不同的辅助决策方式。n在数据仓库系统的前端的分析工具中，数据在数据仓库系统的前端的分析工具中，数据挖掘是其中重要工具之一。它可以帮助决策挖

24、掘是其中重要工具之一。它可以帮助决策用户挖掘数据仓库的数据中隐含的规律性。用户挖掘数据仓库的数据中隐含的规律性。数据挖掘用于数据仓库实现决策支持：数据挖掘用于数据仓库实现决策支持：（1）预测客户购买倾向；）预测客户购买倾向；（2）客户利润贡献度分析；）客户利润贡献度分析；（3）分析欺诈行为；）分析欺诈行为；（4）销售渠道优化分析等。）销售渠道优化分析等。数据仓库和数据挖掘的结合对支持决策会起更大数据仓库和数据挖掘的结合对支持决策会起更大的作用。的作用。3.数据仓库中数据存储特点数据仓库中数据存储特点由于数据仓库不同于数据库，数据挖掘也由于数据仓库不同于数据库，数据挖掘也随之发生变化。随之发生变

25、化。（1）数据存储方式的不同）数据存储方式的不同（2）数据存储的数据量的不同）数据存储的数据量的不同（3）数据存储的结构不同）数据存储的结构不同4.数据仓库中数据挖掘特点数据仓库中数据挖掘特点（1）数据挖掘从数据仓库中挖掘更深层次）数据挖掘从数据仓库中挖掘更深层次的信息的信息（2）数据仓库为数据挖掘提出了新要求）数据仓库为数据挖掘提出了新要求 数据挖掘需要可扩展性数据挖掘需要可扩展性 数据挖掘方法需要能挖掘多维知识数据挖掘方法需要能挖掘多维知识1.3.2 基于数据仓库的决策支持系统基于数据仓库的决策支持系统数据仓库的决策支持功能有：数据仓库的决策支持功能有：(1)对当前和历史数据完成查询和报表

26、处理对当前和历史数据完成查询和报表处理(2)可以用不同方法进行可以用不同方法进行“如果，将怎样如果，将怎样 （what-if）”分析分析(3)从综合数据到细节数据，深入追踪钻取查从综合数据到细节数据，深入追踪钻取查 询，寻找问题出现原因询，寻找问题出现原因(4)认清过去的发展趋势，并将其应用于对未认清过去的发展趋势，并将其应用于对未 来结果的分析来结果的分析n数据仓库中有大量的综合数据，为决策者提供了综合数据仓库中有大量的综合数据，为决策者提供了综合信息。数据仓库保存有大量历史数据，通过预测模型信息。数据仓库保存有大量历史数据，通过预测模型计算可以得到预测信息。计算可以得到预测信息。n联机分析

27、处理（联机分析处理（OLAP）对数据仓库中的数据进行多维）对数据仓库中的数据进行多维数据分析，即多维数据的切片、切块、旋转、钻取等，数据分析，即多维数据的切片、切块、旋转、钻取等，得到更深层中的信息和知识。得到更深层中的信息和知识。n数据挖掘（数据挖掘（DM）技术能获取关联知识、时序知识、聚）技术能获取关联知识、时序知识、聚类知识、分类知识等。类知识、分类知识等。n数据仓库（数据仓库（DW）、联机分析处理（）、联机分析处理（OLAP）、数据挖）、数据挖掘（掘（DM）等结合，形成决策支持系统。）等结合，形成决策支持系统。1.3.3数据仓库与商业智能数据仓库与商业智能1.商业智能的概念商业智能的概

28、念2.商业智能辅助制定更好更快的决策商业智能辅助制定更好更快的决策1.商业智能的概念商业智能的概念n商业智能以数据仓库为基础，通过联机分析处商业智能以数据仓库为基础，通过联机分析处理和数据挖掘技术帮助企业领导者针对市场变理和数据挖掘技术帮助企业领导者针对市场变化的环境，做出快速、准确的决策。化的环境，做出快速、准确的决策。n商业智能与决策支持系统从组成和目标来看是商业智能与决策支持系统从组成和目标来看是一致的。但是，商业智能是一种技术，决策支一致的。但是，商业智能是一种技术，决策支持系统是解决实际决策问题的一个系统。可以持系统是解决实际决策问题的一个系统。可以理解为：决策支持系统是利用商业智能技术来理解为：决策支持系统是利用商业智能技术来解决实际决策问题的系统。解决实际决策问题的系统。2.商业智能辅助制定更好更快的决策商业智能辅助制定更好更快的决策（1）信息共享）信息共享（2）实时反馈分析）实时反馈分析（3）鼓励用户找出问题的根本原因）鼓励用户找出问题的根本原因（4）使用主动智能）使用主动智能（5）实时智能）实时智能