数据仓库的规划.ppt





《数据仓库的规划.ppt》由会员分享,可在线阅读,更多相关《数据仓库的规划.ppt(48页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、第第3 3章章数据仓库开发应用过程数据仓库开发应用过程 数据仓库的开发应用像生物一样具有其特有的、完整的生命周期,数据仓库的开发应用周期可以分成:数据仓库规划分析阶段、数据仓库设计实施阶段以及数据仓库的使用维护三个阶段。这三个阶段是一个不断循环、完善、提高的过程。在一般情况下数据仓库系统不可能在一个循环过程中完成,而是经过多次循环开发,每次循环都会为系统增加新的功能,使数据仓库的应用得到新的提高。本章学习目标:(1)了解数据仓库开发应用的特点。(2)掌握数据仓库的规划、数据仓库的概念模型设计、数据仓库的逻辑模型设计、数据仓库的物理模型设计 和数据仓库的实施。(3)了解数据仓库的应用、支持和增强
2、。数据仓库开发应用过程数据仓库开发应用过程 3.1数据仓库开发应用过程 3.2数据仓库的规划 3.3数据仓库的概念模型设计 3.4数据仓库的逻辑模型设计 3.5数据仓库的物理模型设计 3.6数据仓库的实施 3.7数据仓库的应用、支持和增强 练 习3.1数据仓库开发应用的特点数据仓库开发应用的特点 3.1.1 数据仓库开发应用的阶段性 数据仓库的开发应用过程划分为:创始阶段成长阶段控制阶段成熟阶段 3.1.2 数据仓库的螺旋式开发方法数据仓库的螺旋式开发方法设计体系结构开发概念模型开发逻辑模型数据库与元数据设计数据抽取转换与加载开发中间件填充与测试数据仓库数据仓库应用数据仓库维护数据仓库评价规划
3、与确定需求 规划 分析阶段 数据仓库 开发过程 设计实施 使用维护阶段 阶段 3.2 数据仓库的规划数据仓库的规划3.2.1 选择数据仓库实现策略选择数据仓库实现策略开发策略主要有:自顶向下:实际应用比较困难 。自底向上:用于一个数据集市或一个部门的数据仓库开发 ,容易获得成功,容易获得成功 。两种策略的联合使用 :能够快速地完成数据仓库的开:能够快速地完成数据仓库的开发与应用,而且还可以建立具有长远价值的数据仓库发与应用,而且还可以建立具有长远价值的数据仓库方案。在实际使用中难以操作方案。在实际使用中难以操作 。3.2.2 确定数据仓库的开发目标和实现确定数据仓库的开发目标和实现范围范围首要
4、目标是确定所需要信息的范围,确定数据仓库在为用户提供决策帮助时,在主题和指标领域需要哪些数据源。另一个重要目标是确定利用哪些方法和工具访问和导另一个重要目标是确定利用哪些方法和工具访问和导航数据?航数据?其它目标是确定数据仓库内部数据的规模其它目标是确定数据仓库内部数据的规模 从用户的角度分析从用户的角度分析 从技术的角度分析从技术的角度分析 3.2.3 数据仓库的结构数据仓库的结构1.1.数据仓库的应用结构数据仓库的应用结构 基于业务处理系统的数据仓库基于业务处理系统的数据仓库基于业务处理系统的数据仓库基于业务处理系统的数据仓库 单纯数据仓库单纯数据仓库单纯数据仓库单纯数据仓库 单纯数据集市
5、单纯数据集市单纯数据集市单纯数据集市 数据仓库和数据集市数据仓库和数据集市数据仓库和数据集市数据仓库和数据集市 2.2.数据仓库的技术平台结构数据仓库的技术平台结构数据仓库的技术平台结构数据仓库的技术平台结构单层结构单层结构单层结构单层结构 客户客户客户客户/服务器两层结构服务器两层结构服务器两层结构服务器两层结构 三层客户三层客户三层客户三层客户/服务器服务器服务器服务器 多层式结构多层式结构多层式结构多层式结构 3.2.4 数据仓库使用方案和项目规数据仓库使用方案和项目规划预算划预算实际使用方案还可以将最终用户的决策支持实际使用方案还可以将最终用户的决策支持要求与数据仓库的技术要求联系起来
6、要求与数据仓库的技术要求联系起来 开发方案的预算进行估计开发方案的预算进行估计 编制数据仓库开发说明书编制数据仓库开发说明书 :说明系统与企业战略目标的关系,系统与企业急需处理的、范说明系统与企业战略目标的关系,系统与企业急需处理的、范围相对有限的开发机会。围相对有限的开发机会。业务机会的说明以及任务概况说明、重点支持的职能部门和今业务机会的说明以及任务概况说明、重点支持的职能部门和今后工作的建议。后工作的建议。计划中需要阐明期望取得的有形和无形利益计划中需要阐明期望取得的有形和无形利益业务价值计划最好由目标业务主管来完成业务价值计划最好由目标业务主管来完成规划书中要确定数据仓库的开发目标实现
7、范围、体系结构和使规划书中要确定数据仓库的开发目标实现范围、体系结构和使用方案及开发预算。用方案及开发预算。http:/www.lvfangguan.orghttp:/www.lvfangguan.org3.3 数据仓库的概念模型设计数据仓库的概念模型设计概念模型的设计可以分为以下几个阶段:用户需求调概念模型的设计可以分为以下几个阶段:用户需求调查、模型定义、模型分析和模型设计。查、模型定义、模型分析和模型设计。3.3.1 3.3.1 概念模型的需求调查概念模型的需求调查概念模型的需求调查概念模型的需求调查数据仓库开发的任务书数据仓库开发的任务书 首先要明确用户的信息需求首先要明确用户的信息需
8、求 了解管理人员在信息需求方面的内容了解管理人员在信息需求方面的内容 了解关于信息的来源了解关于信息的来源 组织所使用的系统环境组织所使用的系统环境 3.3.2 概念模型的定义概念模型的定义1.1.数据仓库用户的决策分析数据仓库用户的决策分析数据仓库用户的决策分析数据仓库用户的决策分析2.2.支持决策的数据需求分析支持决策的数据需求分析支持决策的数据需求分析支持决策的数据需求分析3.3.数据需求分析工具数据需求分析工具数据需求分析工具数据需求分析工具决策分析问题客户购买商品趋势分析需求信息类日期地点商品客户年龄组客户经济状况客户信用需求信息1层需求信息2层需求信息3层需求信息4层需求信息5层年
9、(4)季(16)月(48)国家(15)省(60)市(200)街道(2100)商店(20000)商品种类(7)商品小类(40)商品(220)年龄组(8)经济类(10)信用(10)3.3.2 概念模型的定义概念模型的定义4.CRUD4.CRUD矩阵矩阵矩阵矩阵 实体功能客户销售单商品销售代表供货商销售单输入CRUDCRUDRRURU销售单处理CRUDCRUD商品管理RRRUR预算系统RRRRUR财务计算RURRURR库存控制RRUCRUDR后勤RRURRUC:Create产生、R:Read引用、U:Update更新D:Delete删除。3.3.2 概念模型的定义概念模型的定义5.5.企业业务处理系
10、统数据存储表企业业务处理系统数据存储表企业业务处理系统数据存储表企业业务处理系统数据存储表OracleSysbaseSQL ServerVFP其它模式销售单输入销售单处理商品管理预算系统(Excel)财务计算库存控制后勤外部数据源商品供应商市场调查公司3.3.3 概念模型的分析概念模型的分析 客户变动信息商品变动信息客户号商品固有信息 客户固有 信息 客户号供应商号开 户日期 日期销售数量 日期 商品号 商品 客户 销售3.3.4 概念模型的设计概念模型的设计经济(年收入)100万以上10万以上1万以上1万以下地点国家省市销售销售数量销售价格销售金额时间ID地点ID商品ID年龄60岁以上40岁
11、以上30岁以上20岁以上20岁以下日期年月日商品种类ID小类ID商品ID信用10万元以上1万元以上1千元以上1千元以下 0元经济(年收入)100万以上10万以上1万以上地点国家省市销售销售ID销售数量销售价格销售金额时间ID地点ID商品ID年龄60岁以上40岁以上30岁以上20岁以上20岁以下日期年月日商品ID种类小类商品信用10万元以上1万元以上1千元以上1千元以下 0元商品ID生产厂家进货价格进货日期客户客户ID姓名地址电话邮政编码3.3.5 概念模型文档与评审概念模型文档与评审1.概念模型设计文档概念模型设计文档数据仓库开发需求分析报告数据仓库开发需求分析报告概念模型分析报告概念模型分析
12、报告概念模型概念模型概念模型的评审报告。概念模型的评审报告。2.概念模型的评审概念模型的评审3.概念模型的评审人员概念模型的评审人员4.概念模型的评审内容概念模型的评审内容数据仓库开发任务书;用户决策分析信息需求调查表;数据仓库主题;E-R图、星型模型和雪花模型。3.4 数据仓库的逻辑模型设计数据仓库的逻辑模型设计数据仓库的逻辑模型设计任务:数据仓库的逻辑模型设计任务:分析主题域,确定要装载到数据仓库的主题;分析主题域,确定要装载到数据仓库的主题;确定粒度层次划分;确定粒度层次划分;确定数据分割策略;确定数据分割策略;关系模式的定义和记录系统定义、确定数据抽取模型等。关系模式的定义和记录系统定
13、义、确定数据抽取模型等。逻辑模型最终设计成果:逻辑模型最终设计成果:每个主题的逻辑定义,并将相关内容记录在数据仓库的每个主题的逻辑定义,并将相关内容记录在数据仓库的元数据中元数据中粒度划分粒度划分数据分割策略数据分割策略表划分和数据来源等。表划分和数据来源等。3.4.1 分析主题域分析主题域主题名公共码键属性组商品商品号商品固有信息:商品号,商品名,类型,颜色等商品采购信息:商品号,供应商号,供应价,供应日期,供应量等商品库存信息:商品号,库房号,库存量,日期等销售销售单号销售单固有信息:销售单号,销售地址等销售信息:客户号,商品号,销售价,销售量、销售时间等客户客户号客户固有信息:客户号,客
14、户名,性别,年龄,文化程度,住址,电话等客户经济息:客户号,年收入,家庭总收入等3.4.2 粒度层次和聚集的确定粒度层次和聚集的确定3.4.3 确定数据分割策略确定数据分割策略数据分割标准1.数据量数据量2.2.数据分析处理的对象数据分析处理的对象数据分析处理的对象数据分析处理的对象3.3.粒度分割的策略粒度分割的策略粒度分割的策略粒度分割的策略 3.4.4 关系模型定义关系模型定义3.4.5 数据仓库的实体定义数据仓库的实体定义实体的逻辑分析实体所有列的具体特征 列名列的键属性值来源/值域完整性约束类型与大小Customer_Number主键列、外部键列来自客户实体的合法客户键列没有客户键列
15、,数据就不存在Char(10)Order_Number主键列、外部键列来自销售单实体的合法键列没有销售单键列,数据就不存在Char(10)Product_Number主键列、外部键列来自商品实体的合法键列没有商品键列,数据就不存在Char(10)Product_Price正的金额数Money(float)3.4.5 数据仓库的实体定义数据仓库的实体定义实体容量更新频率Customer 中等容量,有100个重点客户,2000个跟踪客户每月对客户情况进行一次分析,更新频率也为每月一次Product小容量,500种商品大约有500种商品,商品的更新是每月一次,数据更新也照此。Order_Detail
16、大容量,其上限是354,000,000,000,考虑到各种客户类型与各种商品的组合情况,一般很少达到。数据每月汇总一次,但是业务处理系统的数据每日需要更新一次,因此更新频率为每日一次。3.4.6 数据仓库的数据抽取模型数据仓库的数据抽取模型F1 数据抽取规则P2清理数据记录F8 数据清理规则F2KHCGF5 CQLS_KHCGF6 CQLS_KHCGF7 SJCK_KHCGP4加载到数据仓库F3SPQKF4ZGYJP3数据排序聚集P1抽取数据源记录3.4.6 数据仓库的数据抽取模型数据仓库的数据抽取模型2.数据仓库的数据抽取、转换与加载计划数据仓库的数据抽取、转换与加载计划(1)影响数据抽取、
17、转换与加载的因素)影响数据抽取、转换与加载的因素数据格式数据格式坏数据坏数据系统的兼容性系统的兼容性数据源的变化数据源的变化数据抽取的时间数据抽取的时间 (2 2)数据抽取、转换与加载对策)数据抽取、转换与加载对策)数据抽取、转换与加载对策)数据抽取、转换与加载对策 全库比较全库比较利用程序日志利用程序日志利用数据库日志利用数据库日志利用时间戳或利用位图索引利用时间戳或利用位图索引3.4.6 数据仓库的数据抽取模型数据仓库的数据抽取模型3.数据仓库的数据清理转换方法数据仓库的数据清理转换方法(1)类型转换类型转换(2)串操作串操作(3)数学函数数学函数(4)参照完整性参照完整性(5)关键字翻译
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据仓库 规划

限制150内