第十七数据仓库与联机分析处理技术.pptx

《第十七数据仓库与联机分析处理技术.pptx》由会员分享，可在线阅读，更多相关《第十七数据仓库与联机分析处理技术.pptx（25页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、会计学1第十七第十七 数据仓库与联机数据仓库与联机(lin j)分析处理分析处理技术技术第一页，共25页。第十七章第十七章第十七章第十七章 数据仓库与联机数据仓库与联机数据仓库与联机数据仓库与联机(lin j)(lin j)分析处理技术分析处理技术分析处理技术分析处理技术17.1 数据仓库技术数据仓库技术(jsh)17.2 联机分析处理技术联机分析处理技术(jsh)17.3 数据挖掘技术数据挖掘技术(jsh)17.4 小结小结第1页/共25页第二页，共25页。17.1 17.1 数据仓库技术数据仓库技术数据仓库技术数据仓库技术(jsh)(jsh)表17.1 操作(cozu)型数据和分析型数据的

2、区别操作型数据分析型数据细节的综合的，或提炼的在存取瞬间是准确的代表过去的数据可更新不更新操作需求事先可知道操作需求事先不知道生命周期符合SDLC完全不同的生命周期对性能要求高对性能要求宽松一个时刻操作一元组一个时刻操作一集合事务驱动分析驱动面向应用面向分析一次操作数据量小一次操作数据量大支持日常操作支持管理决策需求第2页/共25页第三页，共25页。数据仓库技术数据仓库技术数据仓库技术数据仓库技术(jsh)(jsh)(续续续续)n n数据仓库定义：n n是一个(y)用以更好地支持企业（或组织）决策分析处理的、面向主题的、集成的、不可更新的、随时间不断变化的数据集合。n n本质上和数据库一样，是

3、长期储存在计算机内的、有组织、可共享的数据集合。第3页/共25页第四页，共25页。数据仓库技术数据仓库技术数据仓库技术数据仓库技术(jsh)(jsh)(续续续续)n n一、数据仓库的基本特征n n数据仓库的数据是面向(min xin)主题的；n n数据仓库的数据是集成的；n n数据仓库的数据是不可更新的；n n数据仓库的数据是随时间不断变化的 第4页/共25页第五页，共25页。数据仓库技术数据仓库技术数据仓库技术数据仓库技术(jsh)(jsh)(续续续续)n n二、数据仓库中的数据组织数据仓库的数据组织结构(jigu)第5页/共25页第六页，共25页。数据仓库技术数据仓库技术数据仓库技术数据仓

4、库技术(jsh)(jsh)(续续续续)n n三、数据仓库系统(xtng)的体系结构数据仓库体系结构 第6页/共25页第七页，共25页。数据仓库技术数据仓库技术数据仓库技术数据仓库技术(jsh)(jsh)(续续续续)n n数据仓库的后台工具数据仓库的后台工具n n 包括数据抽取、清洗、转换、装载和维护包括数据抽取、清洗、转换、装载和维护(Maintain)(Maintain)工具。工具。n n数据仓库服务器数据仓库服务器n n 相当于数据库系统中的相当于数据库系统中的DBMSDBMS，负责管理数据仓库中数据的存储管理，负责管理数据仓库中数据的存储管理和数据存取，并给和数据存取，并给OLAPOLA

5、P服务器和前台工具提供存取接口服务器和前台工具提供存取接口(如如SQLSQL查询接查询接口口)n nOLAPOLAP服务器服务器n n 透明地为前台工具和用户提供多维数据视图透明地为前台工具和用户提供多维数据视图n n OLAP OLAP服务器则必须考虑物理服务器则必须考虑物理(wl(wl)上这些分析数据的存储问题上这些分析数据的存储问题n n前台工具前台工具n n 包括查询报表工具、多维分析工具、数据挖掘工具和分析结果可视化包括查询报表工具、多维分析工具、数据挖掘工具和分析结果可视化工具等工具等 第7页/共25页第八页，共25页。第十七章第十七章第十七章第十七章 数据仓库与联机分析处理数据仓

6、库与联机分析处理数据仓库与联机分析处理数据仓库与联机分析处理(ch(ch l l)技术技术技术技术17.1 数据仓库技术数据仓库技术(jsh)17.2 联机分析处理技术联机分析处理技术(jsh)17.3 数据挖掘技术数据挖掘技术(jsh)17.4 小结小结第8页/共25页第九页，共25页。17.2 17.2 联机分析处理联机分析处理联机分析处理联机分析处理(ch(ch l l)技术技术技术技术n nOLAP(On-Line Analytical Processing)OLAP(On-Line Analytical Processing)即联机分析处理，是以海量数据为基础的复杂即联机分析处理，是

7、以海量数据为基础的复杂分析技术分析技术 n n一、多维数据模型一、多维数据模型n n数据分析时用户的数据视图，是面向分析的数据模型，用于给分析人员提供多种数据分析时用户的数据视图，是面向分析的数据模型，用于给分析人员提供多种观察的视角观察的视角(shji(shji o)o)和面向分析的操作和面向分析的操作 n n可用这样来一个多维数组来表示：可用这样来一个多维数组来表示：(维维1 1，维，维2 2，维，维n n，度量值，度量值)第9页/共25页第十页，共25页。联机分析处理联机分析处理联机分析处理联机分析处理(ch(ch l l)技术技术技术技术(续续续续)v一、多维数据模型(续)v 例如：(

8、地区，时间(shjin)，电器商品种类，销售额)n三维数组可以用一个(y)立方体来直观地表示n一般地多维数组用多维立方体CUBE（超立方体）来表示第10页/共25页第十一页，共25页。联机联机联机联机(lin j)(lin j)分析处理技术分析处理技术分析处理技术分析处理技术(续续续续)n n二、多维分析操作n n 常用的OLAP多维分析操作n n切片(slice)n n切块(dice)n n旋转(pivot)n n向上综合(zngh)(roll-up)n n向下钻取(drill-down)等 第11页/共25页第十二页，共25页。联机联机联机联机(lin j)(lin j)分析处理技术分析处

9、理技术分析处理技术分析处理技术(续续续续)n n三、OLAP的实现方式(fngsh)n n按照多维数据模型的不同实现方式(fngsh)n nMOLAP结构n nROLAP结构n nHOLAP结构第12页/共25页第十三页，共25页。OLAPOLAP的实现的实现的实现的实现(shxin)(shxin)方式方式方式方式(续续续续)n nMOLAP结构n n以多维立方体CUBE来组织数据，以多维数组来存储数据，支持(zhch)直接对多维数据的各种操作。n n多维数据库(Multi-Dimension DataBase，简记为MDDB)。n n例如：Arbor公司的Essbase第13页/共25页第十

10、四页，共25页。联机联机联机联机(lin j)(lin j)分析处理技术分析处理技术分析处理技术分析处理技术(续续续续)n nROLAP结构n n用RDBMS或扩展的RDBMS来管理(gunl)多维数据，用关系的表来组织和存储多维数据n n两类表：一类是事实(fact)表，另一类是维表n n事实表用来描述和存储多维立方体的度量值及各个维的码值；n n维表用来描述维信息。n nROLAP用“星形模式”和“雪片模式”来表示多维数据模型第14页/共25页第十五页，共25页。联机分析联机分析联机分析联机分析(fnx)(fnx)处理技术处理技术处理技术处理技术(续续续续)n n星形模式星形模式(msh)

11、(msh)（Star SchemaStar Schema）通常由一个中心表）通常由一个中心表(事实表事实表)和和一组维表组成一组维表组成 n n 如下图所示的星形模式如下图所示的星形模式(msh)(msh)星形模式的中心(zhngxn)是销售事实表维表有时间维表、顾客维表、销售员维表、制造商维表和产品维表 图17.4 星形模式第15页/共25页第十六页，共25页。联机联机联机联机(lin j)(lin j)分析处理技术分析处理技术分析处理技术分析处理技术(续续续续)n n雪片模式就是对维表按层次雪片模式就是对维表按层次(cngc)(cngc)进一步细化后形成的进一步细化后形成的图17.5 雪片

12、(xupin)模式第16页/共25页第十七页，共25页。第十七章第十七章第十七章第十七章 数据仓库与联机分析处理数据仓库与联机分析处理数据仓库与联机分析处理数据仓库与联机分析处理(ch(ch l l)技术技术技术技术17.1 数据仓库技术数据仓库技术17.2 联机分析联机分析(fnx)处理技术处理技术17.3 数据挖掘技术数据挖掘技术17.4 小结小结第17页/共25页第十八页，共25页。17.3 17.3 数据挖掘技术数据挖掘技术数据挖掘技术数据挖掘技术(jsh)(jsh)n n一、数据挖掘的概念n n概念：数据挖掘是从大量数据中发现并提取隐藏在内的、人们事先不知道的但又可能有用的信息和知识

13、的一种新技术n n目的：帮助决策者寻找数据间潜在的关联，发现经营者被忽略(hl)的要素n n数据挖掘技术涉及数据库技术、人工智能技术、机器学习、统计分析等多种技术n n决策支持系统(DSS)跨入了一个新阶段 第18页/共25页第十九页，共25页。数据挖掘技术数据挖掘技术数据挖掘技术数据挖掘技术(jsh)(jsh)(续续续续)n n二、数据挖掘和传统分析方法的区别 n n本质区别：数据挖掘是在没有明确假设的前提下去挖掘信息，发现知识 n n数据挖掘所得到的信息应具有事先未知、有效(yuxio)和可实用3个特征 第19页/共25页第二十页，共25页。数据挖掘技术数据挖掘技术数据挖掘技术数据挖掘技术

14、(jsh)(jsh)(续续续续)n n三、数据挖掘的数据源 n n从数据仓库中来n n优点：许多数据不一致的问题都较好地解决了，在数据挖掘时大大减少了清理数据的工作量 n n缺点：建立数据仓库是一项巨大的工程，耗时耗力n n从数据库中来n n如果只是为了数据挖掘，可以把一个(y)或几个OLTP数据库导入一个(y)只读的数据库中，然后在上面进行数据挖掘第20页/共25页第二十一页，共25页。数据挖掘技术数据挖掘技术数据挖掘技术数据挖掘技术(jsh)(jsh)(续续续续)n n四、数据挖掘的功能n n概念描述n n关联分析n n分类和预测n n聚类n n孤立点检测n n趋势(qsh)和演变分析第2

15、1页/共25页第二十二页，共25页。数据挖掘技术数据挖掘技术数据挖掘技术数据挖掘技术(jsh)(jsh)(续续续续)典型(dinxng)的数据挖掘系统的体系结构n n数据挖掘步骤数据挖掘步骤n n明确明确(mngqu)(mngqu)挖掘任务挖掘任务n n对所选择数据进行预处理对所选择数据进行预处理n n选择具体的算法进行挖掘选择具体的算法进行挖掘n n对挖掘出的模式进行评价对挖掘出的模式进行评价n n消减重复部分消减重复部分n n展现最终的结果展现最终的结果第22页/共25页第二十三页，共25页。第十七章第十七章第十七章第十七章 数据仓库与联机数据仓库与联机数据仓库与联机数据仓库与联机(lin

16、 j)(lin j)分析处理技术分析处理技术分析处理技术分析处理技术17.1 数据仓库技术数据仓库技术(jsh)17.2 联机分析处理技术联机分析处理技术(jsh)17.3 数据挖掘技术数据挖掘技术(jsh)17.4 小结小结第23页/共25页第二十四页，共25页。17.4 17.4 小结小结小结小结(xi(xi oji)oji)n n数据仓库用于数据的存储和组织数据仓库用于数据的存储和组织n nOLAPOLAP集中于数据的分析集中于数据的分析n n数据挖掘则致力于知识的自动发现数据挖掘则致力于知识的自动发现 n n将它们结合起来将它们结合起来(q(q li)li)就成为一种新的就成为一种新的DSSDSS构架，成为商务智能构架，成为商务智能(Business Intelligence(Business Intelligence，BI)BI)的的3 3个支柱个支柱 n n 即：即：DWDWOLAPOLAPDMDM支持支持BIBI的可行方案的可行方案第24页/共25页第二十五页，共25页。