数据仓库系统的设计与开发课件.ppt

《数据仓库系统的设计与开发课件.ppt》由会员分享，可在线阅读，更多相关《数据仓库系统的设计与开发课件.ppt（32页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数据仓库系统的设数据仓库系统的设计与开发计与开发第1页，此课件共32页哦2023/4/42023/4/413.1 数据仓库系统的设计与开发概述数据仓库系统的设计与开发概述 l建立一个数据仓库系统的参考步骤建立一个数据仓库系统的参考步骤 l数据仓库系统的生命周期数据仓库系统的生命周期 l创建数据仓库系统的两种思维模式创建数据仓库系统的两种思维模式 l数据仓库数据库的设计步骤数据仓库数据库的设计步骤 第2页，此课件共32页哦2023/4/42023/4/42建立一个数据仓库系统的参考步骤建立一个数据仓库系统的参考步骤 数数据据仓仓库库系系统统的的建建立立是是一一个个复复杂杂而而漫漫长长的的过程。涉

2、及到：过程。涉及到：l源数据库系统源数据库系统l数据仓库对应的数据库系统数据仓库对应的数据库系统l数据分析与报表工具数据分析与报表工具l第3页，此课件共32页哦2023/4/42023/4/43建立一个数据仓库系统的参考步骤建立一个数据仓库系统的参考步骤l收集和分析业务需求步骤收集和分析业务需求步骤 l建立数据模型和数据仓库的物理设计建立数据模型和数据仓库的物理设计 l定义数据源定义数据源 l选择数据仓库技术和平台选择数据仓库技术和平台 l从从操操作作型型数数据据库库中中抽抽取取、清清洗洗及及转转换换数数据据到到数数据据仓库仓库 l选选择择访访问问和和报报表表工工具具，选选择择数数据据库库连连

3、接接软软件件，选选择择数数据分析和数据展示软件据分析和数据展示软件 l更新数据仓库更新数据仓库 第4页，此课件共32页哦2023/4/42023/4/44数据仓库系统的生命开发周期数据仓库系统的生命开发周期 l数数据据仓仓库库系系统统的的开开发发与与设设计计是是一一个个动动态态的的反反馈馈和和循循环环过程。过程。l一个数据仓库系统包括：一个数据仓库系统包括：l数据仓库数据库数据仓库数据库l数据分析应用系统数据分析应用系统第5页，此课件共32页哦2023/4/42023/4/45数据仓库系统的生命开发周期数据仓库系统的生命开发周期 第6页，此课件共32页哦2023/4/42023/4/46建立数

4、据仓库系统的两种思维模式建立数据仓库系统的两种思维模式 l自顶向下（自顶向下（Top-downTop-down）将数据通过将数据通过ETLETL汇集到数据仓库中，然后再把数据通汇集到数据仓库中，然后再把数据通过复制的方式存入各个数据集市中。过复制的方式存入各个数据集市中。l自底向上（自底向上（Bottom-UpBottom-Up）通过通过ETL将数据汇集到数据集市中，再将数将数据汇集到数据集市中，再将数据汇集到数据仓库中。据汇集到数据仓库中。第7页，此课件共32页哦2023/4/42023/4/47数据仓库数据库的设计步骤数据仓库数据库的设计步骤 第8页，此课件共32页哦2023/4/4202

5、3/4/483.2 基于基于SQL Server的数据仓库数的数据仓库数据库设计过程详解据库设计过程详解 lSQL Server 2005介绍介绍集成了三个服务。集成了三个服务。lSQL Server 2005的数据仓库架构的数据仓库架构第9页，此课件共32页哦2023/4/42023/4/49MS SQL Server 2005MS SQL Server 2005的数据仓库架构的数据仓库架构 第10页，此课件共32页哦2023/4/42023/4/4103.2 基于基于SQL Server的数据仓库数据的数据仓库数据库设计过程详解库设计过程详解 包括以下步骤：包括以下步骤：l分析组织的业务状

6、况及数据源结构分析组织的业务状况及数据源结构 l组织需求调研，收集业务需求组织需求调研，收集业务需求 l采采用用信信息息包包图图法法进进行行数数据据仓仓库库的的概概念念模模型型设设计计 l利用星形图进行数据仓库的逻辑模型设计利用星形图进行数据仓库的逻辑模型设计 l数据仓库的物理模型设计数据仓库的物理模型设计 第11页，此课件共32页哦2023/4/42023/4/411分析组织的业务状况及数据源结构分析组织的业务状况及数据源结构以以SQL SQL Server Server 20052005实实例例数数据据库库Adventure Adventure Works Works DWDW中中所所描描

7、述述Adventure Adventure Works Works CyclesCycles公公司司的用户需求为例。的用户需求为例。l公司概况公司概况l业务系统流程介绍业务系统流程介绍 l对数据源结构的分析与理解对数据源结构的分析与理解第12页，此课件共32页哦2023/4/42023/4/412组织需求调研，收集业务需求组织需求调研，收集业务需求坚坚持持数数据据驱驱动动+用用户户（需需求求）驱驱动动的的设设计计理理体体念念，因因此此需需要要充充分分了了解解用用户户的的需需求求，进进而而对对需求进行分析。需求进行分析。l关于用户需求的调研（确定主题域）关于用户需求的调研（确定主题域）l对对用用

8、户户需需求求调调研研结结果果的的分分析析（确确定定度度量量指指标和维度）标和维度）第13页，此课件共32页哦2023/4/42023/4/413物理模型物理模型 星型、雪花模型星型、雪花模型 物理数据模型物理数据模型概念模型概念模型逻辑模型逻辑模型面向用户的需求面向用户的需求细细 化化层层次次更详细的更详细的技术细节技术细节信息包图信息包图采用信息包图法进行概念模型设计采用信息包图法进行概念模型设计 第14页，此课件共32页哦2023/4/42023/4/414信信息息包包图图：是是数数据据仓仓库库的的数数据据模模型型的的第第一一层层或或最最高高层层。由由于于大大多多数数商商务务数数据据是是多

9、多维维的的，但但传传统统的的数数据据模模型型表表示示三三维维以以上上的的数数据据有有一一定定困困难难。而而信信息息包包图图简简化化了了这这一一过过程程并并且且允允许许用用户户设设计计多多维维信信息息包包并并与与开开发发者者和和其其他他用用户户建建立立联联系系。这这种种模模型型集集中中在在用用户户对对信信息息包包的的需需要要，信信息息包包提供了分析人员思维模式的可视化表示。提供了分析人员思维模式的可视化表示。l信息包图法简介信息包图法简介 第15页，此课件共32页哦2023/4/42023/4/415工作：工作：确定系统边界：决策类型、需要的信息、原始确定系统边界：决策类型、需要的信息、原始信息

10、信息 确定主题域及其内容：主题域的公共键码、联系、确定主题域及其内容：主题域的公共键码、联系、确定主题域及其内容：主题域的公共键码、联系、确定主题域及其内容：主题域的公共键码、联系、属性组属性组属性组属性组 确定维度：如时间维、销售位置维、产品维、组别确定维度：如时间维、销售位置维、产品维、组别确定维度：如时间维、销售位置维、产品维、组别确定维度：如时间维、销售位置维、产品维、组别维等维等维等维等 确定类别：相应维的详细类别确定类别：相应维的详细类别确定类别：相应维的详细类别确定类别：相应维的详细类别 确定指标和事实：用于进行分析的数值化信息确定指标和事实：用于进行分析的数值化信息确定指标和事

11、实：用于进行分析的数值化信息确定指标和事实：用于进行分析的数值化信息第16页，此课件共32页哦2023/4/42023/4/416l信息包图的建立信息包图的建立 信息包：信息包：维度维度维度维度类别类别类别类别 空白信息包图样式空白信息包图样式空白信息包图样式空白信息包图样式指标和事实第17页，此课件共32页哦2023/4/42023/4/417例例例例试画出销售分析的信息包图。试画出销售分析的信息包图。试画出销售分析的信息包图。试画出销售分析的信息包图。解：首先根据销售分析的实际需求，确定信息包的维度、解：首先根据销售分析的实际需求，确定信息包的维度、解：首先根据销售分析的实际需求，确定信息

12、包的维度、解：首先根据销售分析的实际需求，确定信息包的维度、类别和指标与事实：类别和指标与事实：类别和指标与事实：类别和指标与事实：（1 1 1 1）维度：包括日期维、区域维、产品维、客户维、）维度：包括日期维、区域维、产品维、客户维、广告维（待用）等。广告维（待用）等。（2 2 2 2）类别：确定各维的详细类别，如：日期维包括年（）类别：确定各维的详细类别，如：日期维包括年（）类别：确定各维的详细类别，如：日期维包括年（）类别：确定各维的详细类别，如：日期维包括年（5 5 5 5）、季度（）、季度（）、季度（）、季度（20202020）、月（）、月（）、月（）、月（60606060）、日（）

13、、日（）、日（）、日（18001800），括号中的），括号中的），括号中的），括号中的数字分别指出各类别的数量；区域维包括国家（数字分别指出各类别的数量；区域维包括国家（数字分别指出各类别的数量；区域维包括国家（数字分别指出各类别的数量；区域维包括国家（10101010）、）、省州（省州（100100100100）、城市（）、城市（）、城市（）、城市（500500）、销售点（）、销售点（）、销售点（）、销售点（8000800080008000），括号中），括号中），括号中），括号中的数字同样分别指出各类别的数量；类似地，可以确的数字同样分别指出各类别的数量；类似地，可以确的数字同样分别指出各类

14、别的数量；类似地，可以确的数字同样分别指出各类别的数量；类似地，可以确定产品维、客户维、广告维等的详细类别。定产品维、客户维、广告维等的详细类别。定产品维、客户维、广告维等的详细类别。定产品维、客户维、广告维等的详细类别。（3 3 3 3）指标和事实：确定用于进行分析的数值化信息，）指标和事实：确定用于进行分析的数值化信息，包括实际销售额、计划销售额和计划完成率。包括实际销售额、计划销售额和计划完成率。第18页，此课件共32页哦2023/4/42023/4/418销售分析的信息包图销售分析的信息包图日期维区域维产品维客户维广告维（待用）年度年度(5)国家国家(10)产品类别产品类别(500)年

15、龄分组年龄分组(7)广告费分组广告费分组(2)季度季度(20)省州省州(100)产品名称产品名称(9000)收入分组收入分组（8）月月(60)城市城市(500)信用组（信用组（2）日日（1800）销售点销售点(8000)指标和事实:实际销售额、计划销售额、计划完成率信息包：信息包：销售分析销售分析维度维度类别类别第19页，此课件共32页哦2023/4/42023/4/419l设计基于主题域的概念模型设计基于主题域的概念模型 供应商ID相关信息有关信息商品信息供应商供应商主题供应商主题顾客顾客ID顾客主题顾客主题商品商品ID商品主题商品主题第20页，此课件共32页哦2023/4/42023/4/

16、420利用星形图进行数据仓库的逻辑模型利用星形图进行数据仓库的逻辑模型设计设计 l根据分析需求与信息包图制作星形图根据分析需求与信息包图制作星形图 销售分析客户广告区域时间产品第21页，此课件共32页哦2023/4/42023/4/421l根据分析需求与信息包图制作雪花图根据分析需求与信息包图制作雪花图 销售分析客户广告区域时间产品产品类别雪花模型对星型模型的维度表进一步标准化，对星型模雪花模型对星型模型的维度表进一步标准化，对星型模型中的维度表进行了规范化处理。型中的维度表进行了规范化处理。第22页，此课件共32页哦2023/4/42023/4/422l确定主题的属性组确定主题的属性组 主题

17、名 公共键码属性组商品商品商品号商品号基本信息：商品号、商品名、类型和颜色等基本信息：商品号、商品名、类型和颜色等采购信息：商品号、供应商号、供应价、供应日期和采购信息：商品号、供应商号、供应价、供应日期和供应量等供应量等库存信息：商品号、库房号、库存量和日期等库存信息：商品号、库房号、库存量和日期等销售销售销售单号销售单号基本信息：销售单号、销售地址等基本信息：销售单号、销售地址等销售信息：客户号、商品号、销售价、销售量和销售销售信息：客户号、商品号、销售价、销售量和销售时间等时间等客户客户客户号客户号第23页，此课件共32页哦2023/4/42023/4/423l事实表及其特征事实表及其特

18、征度量是客户发生事件或动作的事实记录，如客户打电话，度量是客户发生事件或动作的事实记录，如客户打电话，可能选择的度量有通话时长、通话次数和通话费用等。客户可能选择的度量有通话时长、通话次数和通话费用等。客户购买商品，可能选择的度量有购买的次数、购买商品的金额购买商品，可能选择的度量有购买的次数、购买商品的金额和购买商品的数量等。和购买商品的数量等。事实表则是在星型模型或雪花模型中用来记录业务事实，事实表则是在星型模型或雪花模型中用来记录业务事实，并作相应指标统计的表。并作相应指标统计的表。事实表的特征有：事实表的特征有：l记录数量情况记录数量情况l维度表情况维度表情况第24页，此课件共32页哦

19、2023/4/42023/4/424l事实表的类型与设计事实表的类型与设计 事实是一种度量，所以事实表中的这种指标往往需事实是一种度量，所以事实表中的这种指标往往需要具有数值化和可加性的特征。即：要具有数值化和可加性的特征。即：l要考虑决策分析的需要（必要的数据）要考虑决策分析的需要（必要的数据）l要考虑系统运行的需要（派生的数据）要考虑系统运行的需要（派生的数据）第25页，此课件共32页哦2023/4/42023/4/425l粒度的选择与设计步骤粒度的选择与设计步骤 根据需求和系统运行情况确定粒度：根据需求和系统运行情况确定粒度：l粒度的不同选择导致逻辑模型的差异粒度的不同选择导致逻辑模型的

20、差异l粒度的不同选择导致数据存储容量的差异粒度的不同选择导致数据存储容量的差异粒度的设计步骤：粒度的设计步骤：l粗略估计数据量粗略估计数据量l确定粒度的级别确定粒度的级别粒度设计实例：粒度设计实例：第26页，此课件共32页哦2023/4/42023/4/426l关于数据仓库的聚合模型关于数据仓库的聚合模型l数据的分割处理数据的分割处理 l星形图中的维度表简介星形图中的维度表简介 l常用维度的设计模式常用维度的设计模式 第27页，此课件共32页哦2023/4/42023/4/427l事实表及其特征事实表及其特征l事实表的类型与设计事实表的类型与设计 l粒度的选择与设计步骤粒度的选择与设计步骤 l

21、关于数据仓库的聚合模型与数据的分割处理关于数据仓库的聚合模型与数据的分割处理 l星形图中的维度表简介星形图中的维度表简介 l常用维度的设计模式常用维度的设计模式 第28页，此课件共32页哦2023/4/42023/4/428数据仓库的物理模型设计数据仓库的物理模型设计 l物理模型设计的主要工作物理模型设计的主要工作l物理存储结构设计的原则物理存储结构设计的原则 l数据仓库索引设计的特殊性数据仓库索引设计的特殊性 l存储优化与存储策略存储优化与存储策略 第29页，此课件共32页哦2023/4/42023/4/4293.3 使用使用SQL Server 2005建立多维建立多维数据模型数据模型 l

22、SQL Server 2005示例数据仓库环境示例数据仓库环境的配置与使用的配置与使用 l基于基于SQL Server 2005示例数据库的示例数据库的多维数据模型的建立与应用多维数据模型的建立与应用。第30页，此课件共32页哦2023/4/42023/4/430 3.3 使用使用SQL Server 2005建立多维建立多维数据模型数据模型l在在SQL Server 2005数据库环境中安数据库环境中安装数据仓库组件、示例和工具装数据仓库组件、示例和工具 l利用示例数据仓库利用示例数据仓库（AdventureWorks DW）环境及帮）环境及帮助系统学习助系统学习 第31页，此课件共32页哦2023/4/42023/4/4313.3 使用使用SQL Server 2005建立多维数建立多维数据模型据模型l创建一个新的数据仓库分析项目创建一个新的数据仓库分析项目 l定义数据源定义数据源 l定义数据源视图定义数据源视图 l定义多维数据集定义多维数据集 l部署部署“销售分析示例销售分析示例”项目项目 l浏览已部署的多维数据集浏览已部署的多维数据集 l提高多维数据集的可用性和易用性提高多维数据集的可用性和易用性 第32页，此课件共32页哦2023/4/42023/4/432