第二章-数据仓库的基本概念ppt课件.ppt
《第二章-数据仓库的基本概念ppt课件.ppt》由会员分享,可在线阅读,更多相关《第二章-数据仓库的基本概念ppt课件.ppt(138页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用主讲:王名扬主讲:王名扬信息学院信息学院数据仓库与数据挖掘数据仓库与数据挖掘经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用引引 言言 近年来,由于计算机和网络的应用,计算开始向两个不同的方向拓展:u 广度计算广度计算:将计算机的应用范围扩大,实现广泛的数据交流,如互联网的出现;u 深度计算深度计算:希望计算机参与更多的数据分析与决策制定事务型(操作型)数据处理:数据库分析型数据处理:
2、数据仓库u 数据处理的环境由原来的以单一数据库为中心的数据环境发展为以数据仓库为基础的体系化环境。经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用 第 2 章数据仓库的基本概念数据仓库的基本概念经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用第第2章章 数据仓库的基本概念数据仓库的基本概念2.1 什么是数据仓库2.2 数据立方体2.3 数据仓库的三级模型2.4 数据仓库的设计2.5 提高数据仓库设计性能的几种方法经营者提供商品或者服
3、务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用2.1 什么是数据仓库什么是数据仓库经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用1.1.什么是数据仓库?什么是数据仓库?经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用经营者提供商品或者服务有
4、欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用数据数据仓库仓库(Data Warehouse)u 数据仓库是为构建分析型数据处理环境而出现的一种数据存储和组织技术。用来保存从多个数据库或其它信息源选取的数据,并为上层应用提供统一用户接口,完成数据查询和分析。u 在数据仓库的发展过程中,许多人作出重要贡献:Devlin&Murphy(1988):发表关于数据仓库论述的最早文章;William H.Inmon(
5、1993):Building the Data Warehouse,首次系统阐述数据仓库的思想、理论,被尊为“数据仓库之父数据仓库之父”。经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用数据数据仓库仓库(Data Warehouse)u数据仓库的定义很多,但却很难有一种严格的定义数据仓库的定义很多,但却很难有一种严格的定义:它是一个提供决策支持功能的数据库,它与公司的操作数据库分开维护。为统一的历史数据分析提供坚实的平台,对信息处理提供支持。u数据仓库是一个面向主题的、集成的、随时间而变化的、不容易丢失的数据集合
6、,支持管理部门的决策过程.-W.H.Inmon经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用数据仓库回答的问题数据仓库将为高层管理人员的科学决策提供可靠依据。去年各个地区各个产品的销售量和销售额?10年以来各厂商每季度的销售额占有比例的变化情况?如果某种产品的销售价格打9折,利润将发生怎样的变化?今年销售量下降的主要因素(时间、地区、部门、商品)是什么?经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用数据仓库的作用两个主要作用:存
7、储经过加工处理的决策需要的数据 存储数据的一种形式 加工和集成后的再存储 查询和决策分析的依据 为数据驱动型的决策支持提供数据基础经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用数据数据仓库仓库的关的关键键特征特征关键特征:关键特征:u 面向主题;u 集成的;u 随时间而变化的(时变的);u 不容易丢失的(非易失)。经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用1)面向主题在较高层次上对分析对象的数据进行一个完整、一致的描述,能完
8、整、统一管理各个分析对象所涉及的企业各项数据以及数据之间的联系。高层次:很高的数据抽象级别,如整个企业、组织经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用1)面向主题)面向主题u 面向主题,是数据仓库显著区别于关系数据库系统的一个特征;u 给出数据仓库中数据组织的基本原则,数据仓库中所有数据都是围绕某一主题组织、展开的;主题是一个在较高层次将数据归类的标准,每一个主题基本对应一个宏观的领域。如,一个生产企业的数据仓库所组织的主题可能是产品订货分析和货物发运分析,而按应用组织的话可能为财务子系统、供应子系统、销售
9、子系统、人力资源子系统和生产调度子系统等。典型的主题领域:客户、产品、交易、账目等。16经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用171)面向主题)面向主题u关注决策者的数据建模与分析,而不是集中于组织机构的日常操作和事务处理。经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用181)面向主题)面向主题u 但数据的产生都是基于应用而产生,因此数据在进入数据仓库之前,必然要经过加工和集成,将原始数据结构做一个从面向应用到面向主题面
10、向应用到面向主题的大转变。经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用【例】一家采用“会员制”经营方式的商场,按业务建立起若干子系统,并按业务处理要求建立各自数据库模式:采购子系统:订单(订单号,供应商号,总金额,日期)订单细则(订单号,商品号,类别,单价,数量)供应商(供应商号,供应商名,地址,电话)销售子系统:顾客(顾客号,姓名,性别,年龄,文化程度,地址,电话)销售(员工号,
11、顾客号,商品号,数量,单价,日期)20经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用人事管理子系统:员工(员工号,姓名,性别,年龄,文化程度,部门号)部门(部门号,部门名称,部门主管,电话)库存管理子系统:领料单(领料单号,领料人,商品号,数量,日期)进料单(进料单号,订单号,进料人,收料人,日期)库存(商品号,库房号,库存量,日期)库房(库房号,仓库管理员,地点,库存商品描述)21经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用
12、传统的面向应用进行数据组织方式的特征为:v重点在“数据”和“处理”;v通常要反映一个企业内数据的动态特征;v所生成的各项数据库模式与企业实际的业务处理流程中所涉及的单据及文档,有很好的对应关系。22经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用面向应用到面向主题的转变面向应用到面向主题的转变:面向主题的数据组织方式应分为两个步骤:抽取主题 确定每个主题所包含的数据内容仍以商场为例,它所应有的主题包括:商品、供应商、顾客。每个主题有各自独立的逻辑内涵,对应一个分析对象。23经营者提供商品或者服务有欺诈行为的,应当
13、按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用v 商品:商品固有信息:商品号,商品名,类别,颜色等商品采购信息:商品号,供应商号,供应价,供 应日期,供应量等商品销售信息:商品号,顾客号,售价,销售日 期,销售量等商品库存信息:商品号,库房号,库存量,日期 等24经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用v 供应商:供应商固有信息:供应商号,供应商名,地址,电话等。供应商品信息:供应商号,供应价,供应日期,供应量等。v 顾客:顾客固有信息:顾客号,顾客名,性别,年
14、龄,文化程度,住址,电话等。顾客购物信息:顾客号,商品号,售价,购买日期,购买量等。25经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用q 从面向应用 面向主题丢弃了原来不必要,不适合分析的信息。将分散在各子系统中的有关主题的信息集成,形成关于商品的一致信息。不同主题之间也有重叠的内容,但只是逻辑上的重叠,细节级上的重叠,另外主题间并不是两两重叠。供应商供应商顾顾 客客商商 品品1)面向主题)面向主题26经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的
15、价款或接受服务的费用2)集成性)集成性u 一个数据仓库是通过集成多个异种数据源来构造的;关系数据库,一般文件,联机事务处理记录u 数据仓库中的综合数据不能从原有的数据库系统直接得到,需使用数据清理和数据集成技术对数据进行处理:统一源数据中所有矛盾之处(命名约定、编码结构、属性度量等)进行数据综合和计算主要做两个工作:经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用3)数据不易丢失(稳定
16、的)数据不易丢失(稳定的)u 尽管数据仓库中的数据来自于操作数据库,但他们却是在物理上分离保存的操作数据库的更新操作不会出现在数据仓库环境下。u 只进行两种数据访问:数据的初始装载;查询操作。29经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用4)随时间而变化的(时变的)随时间而变化的(时变的)u 数据仓库从历史的角度来提供信息:时间范围比操作数时间范围比操作数据库系统要长的多据库系统
17、要长的多操作数据库系统:主要保存当前数据;数据仓库:从历史的角度提供信息(比如过去 5-10 年)u 数据仓库中的每一个关键结构都隐式或显式地包含时间元素,时间维是数据仓库中一个非常重要的维度;u 而操作数据库中的关键结构可能就不包括时间元素。31经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额
18、为消费者购买商品的价款或接受服务的费用2.2.为什么要建立数据仓库?为什么要建立数据仓库?经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用回顾:数据组织的发展过程回顾:数据组织的发展过程总起来讲,数据组织的发展经历了四个阶段:总起来讲,数据组织的发展经历了四个阶段:p 人工管理阶段(人工管理阶段(1946年年20世纪世纪50年代中期之前)年代中期之前)p 文件系统管理阶段(文件系统管理阶段(20世纪世纪50年代后期到年代后期到60年代中期)年代中期)p 数据库阶段(数据库阶段(20世纪世纪60年代后期年代后期-8
19、0年代中期之前)年代中期之前)p 高级数据库阶段(高级数据库阶段(20世纪世纪80年代中期)年代中期)经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用数据程序无独立性数据程序无独立性数据不能长期保存数据不能长期保存数据无法共享数据无法共享人工管理阶段人工管理阶段(1)人工管理阶段 36经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用文件管理阶段文件管理阶段数据程序分开存储数据程序分开存储数据程序相互依赖数据程序相互依赖数据冗余度大数
20、据冗余度大数据不一致性数据不一致性(2)文件管理阶段37经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用数据程序完全独立数据程序完全独立数据可以共享数据可以共享数据模型表示数据结构数据模型表示数据结构数据库阶段数据库阶段(3)数据库阶段 38经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用分布式数据库分布式数据库多媒体数据库多媒体数据库数据仓库数据仓库高级数据库阶段高级数据库阶段(3)数据库阶段 39经营者提供商品或者服务有欺诈行为
21、的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用从数据库到数据仓库管理信息的处理类型:管理信息的处理类型:(1)事务型处理:)事务型处理:业务操作处理,用来协助企业对相应事件或事务的日常商务活动进行处理。是事件驱动、面向应用的,通常是对一个/组记录的增、删、改以及简单查询等,以满足组织特定的日常管理需要(数据库数据库);(2)分析型处理:)分析型处理:用于管理人员的决策分析,例如DSS、EIS和多维数据分析等。帮助决策者分析数据以察看趋向、判断问题。分析型处理经常要访问大量的历史数据,支持复杂的查询分析(数据仓库数据仓库)。40经营者提供商品或
22、者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用事务型处理事务型处理分析型处理分析型处理细节的综合的,提炼的当前的代表过去的数据可更新的不可更新,只读的事务驱动分析驱动面向应用面向分析一次操作数据量小一次操作数据量大支持日常操作支持管理需求二者的区别二者的区别经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用事务型与分析型环境的分离事务型与分析型环境的分离 要摆脱传统数据库面临的困境,必须将用于事务处理的数据环境和用于数据分析的数据环境分离:(1)事
23、务型处理:)事务型处理:以传统数据库为中心数据库为中心进行企业的日常业务处理,其使用人员通常是企业的具体操作人员;处理企业业务的细节细节信息,以实现企业的业务运营;(2)分析型处理:)分析型处理:分析数据背后的关联和规律,为企业决策提供可靠依据,其使用人员通常是企业的中高层管理者,或从事数据分析的工程师;处理企业的宏观宏观信息,而非具体细节,以为企业的决策者提供支持信息。42经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用分离示意图分离示意图43经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受
24、到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用转换同时进行的集成转换同时进行的集成44经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用3.3.数据仓库与数据挖掘的关系数据仓库与数据挖掘的关系?经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用u 数据仓库数据仓库:是一种是一种存储存储技术,它能适应于不同技术,它能适应于不同用户对不同决策需要提供所需的数据和信息用户对不同决策需要提供所需的数据和信息。u 数据挖掘数据挖掘
25、:是一种是一种分析分析技术,研究各种方法和技术,研究各种方法和技术,从大量的数据中挖掘出有用的信息和知技术,从大量的数据中挖掘出有用的信息和知识。识。二者的区别二者的区别经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用u 成功的数据挖掘的关键之一是通过访问正确的、完整的和集成的数据,以进行深层次的分析,而这正是数据仓库所能提供的;u 数据仓库不仅是集成数据的一种方式,而且为数据挖掘提供了一个极佳的操作平台;u 如果数据仓库与数据挖掘能实现有效的联结,将给数据挖掘带来各种便利和功能。二者的联系二者的联系47经营者提
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第二 数据仓库 基本概念 ppt 课件
限制150内