数据仓库系统的设计与开发.ppt

数据仓库系统的设数据仓库系统的设计与开发计与开发现在学习的是第1页，共32页3.1 数据仓库系统的设计与开发概述数据仓库系统的设计与开发概述 l建立一个数据仓库系统的参考步骤建立一个数据仓库系统的参考步骤 l数据仓库系统的生命周期数据仓库系统的生命周期 l创建数据仓库系统的两种思维模式创建数据仓库系统的两种思维模式 l数据仓库数据库的设计步骤数据仓库数据库的设计步骤 现在学习的是第2页，共32页建立一个数据仓库系统的参考步骤建立一个数据仓库系统的参考步骤 数据仓库系统的建立是一个复杂而漫长的数据仓库系统的建立是一个复杂而漫长的过程。涉及到：过程。涉及到：l源数据库系统源数据库系统l数据仓库对应的数据库系统数据仓库对应的数据库系统l数据分析与报表工具数据分析与报表工具l现在学习的是第3页，共32页建立一个数据仓库系统的参考步骤建立一个数据仓库系统的参考步骤l收集和分析业务需求步骤 l建立数据模型和数据仓库的物理设计 l定义数据源 l选择数据仓库技术和平台 l从操作型数据库中抽取、清洗及转换数据到数据仓库 l选择访问和报表工具，选择数据库连接软件，选择数据分析和数据展示软件 l更新数据仓库 现在学习的是第4页，共32页数据仓库系统的生命开发周期数据仓库系统的生命开发周期 l数据仓库系统的开发与设计是一个动态的反馈和循环过程。l一个数据仓库系统包括：l数据仓库数据库l数据分析应用系统现在学习的是第5页，共32页数据仓库系统的生命开发周期数据仓库系统的生命开发周期 现在学习的是第6页，共32页建立数据仓库系统的两种思维模式建立数据仓库系统的两种思维模式 l自顶向下（自顶向下（Top-downTop-down）将数据通过将数据通过ETLETL汇集到数据仓库中，然后再把数汇集到数据仓库中，然后再把数据通过复制的方式存入各个数据集市中。据通过复制的方式存入各个数据集市中。l自底向上（自底向上（Bottom-UpBottom-Up）通过通过ETL将数据汇集到数据集市中，再将将数据汇集到数据集市中，再将数据汇集到数据仓库中。数据汇集到数据仓库中。现在学习的是第7页，共32页数据仓库数据库的设计步骤数据仓库数据库的设计步骤 现在学习的是第8页，共32页3.2 基于基于SQL Server的数据仓库数据的数据仓库数据库设计过程详解库设计过程详解 lSQL Server 2005介绍介绍集成了三个服务。集成了三个服务。lSQL Server 2005的数据仓库架构的数据仓库架构现在学习的是第9页，共32页MS SQL Server 2005MS SQL Server 2005的数据仓库架构的数据仓库架构 现在学习的是第10页，共32页3.2 基于基于SQL Server的数据仓库数据的数据仓库数据库设计过程详解库设计过程详解 包括以下步骤：l分析组织的业务状况及数据源结构 l组织需求调研，收集业务需求 l采用信息包图法进行数据仓库的概念模型设计 l利用星形图进行数据仓库的逻辑模型设计 l数据仓库的物理模型设计 现在学习的是第11页，共32页分析组织的业务状况及数据源结构分析组织的业务状况及数据源结构以SQL Server 2005实例数据库Adventure Works DW中所描述Adventure Works Cycles公司的用户需求为例。l公司概况l业务系统流程介绍 l对数据源结构的分析与理解现在学习的是第12页，共32页组织需求调研，收集业务需求组织需求调研，收集业务需求坚持数据驱动+用户（需求）驱动的设计理体念，因此需要充分了解用户的需求，进而对需求进行分析。l关于用户需求的调研（确定主题域）l对用户需求调研结果的分析（确定度量指标和维度）现在学习的是第13页，共32页物理模型物理模型 星型、雪花模型星型、雪花模型 物理数据模型物理数据模型概念模型概念模型逻辑模型逻辑模型面向用户的需求面向用户的需求细细 化化层层次次更详细的更详细的技术细节技术细节信息包图信息包图采用信息包图法进行概念模型设计采用信息包图法进行概念模型设计 现在学习的是第14页，共32页l信息包图法简介 现在学习的是第15页，共32页现在学习的是第16页，共32页l信息包图的建立 指标和事实现在学习的是第17页，共32页现在学习的是第18页，共32页日期维区域维产品维客户维广告维（待用）年度年度(5)国家国家(10)产品类别产品类别(500)年龄分组年龄分组(7)广告费分组广告费分组(2)季度季度(20)省州省州(100)产品名称产品名称(9000)收入分组（收入分组（8）月月(60)城市城市(500)信用组（信用组（2）日（日（1800）销售点销售点(8000)指标和事实:实际销售额、计划销售额、计划完成率信息包：信息包：销售分析销售分析维度维度类别类别现在学习的是第19页，共32页l设计基于主题域的概念模型 供应商ID相关信息有关信息商品信息供应商供应商主题供应商主题顾客顾客ID顾客主题顾客主题商品商品ID商品主题商品主题现在学习的是第20页，共32页利用星形图进行数据仓库的逻辑模利用星形图进行数据仓库的逻辑模型设计型设计 l根据分析需求与信息包图制作星形图根据分析需求与信息包图制作星形图 销售分析客户广告区域时间产品现在学习的是第21页，共32页l根据分析需求与信息包图制作雪花图 销售分析客户广告区域时间产品产品类别雪花模型对星型模型的维度表进一步标准化，对星型模型中雪花模型对星型模型的维度表进一步标准化，对星型模型中的维度表进行了规范化处理。的维度表进行了规范化处理。现在学习的是第22页，共32页l确定主题的属性组 主题名公共键码属性组商品商品商品号商品号基本信息：商品号、商品名、类型和颜色等基本信息：商品号、商品名、类型和颜色等采购信息：商品号、供应商号、供应价、供应日期采购信息：商品号、供应商号、供应价、供应日期和供应量等和供应量等库存信息：商品号、库房号、库存量和日期等库存信息：商品号、库房号、库存量和日期等销售销售销售单号销售单号基本信息：销售单号、销售地址等基本信息：销售单号、销售地址等销售信息：客户号、商品号、销售价、销售量和销销售信息：客户号、商品号、销售价、销售量和销售时间等售时间等客户客户客户号客户号现在学习的是第23页，共32页l事实表及其特征度量是客户发生事件或动作的事实记录，如客户打电话，可能选择的度量有通话时长、通话次数和通话费用等。客户购买商品，可能选择的度量有购买的次数、购买商品的金额和购买商品的数量等。事实表则是在星型模型或雪花模型中用来记录业务事实，并作相应指标统计的表。事实表的特征有：l记录数量情况l维度表情况现在学习的是第24页，共32页l事实表的类型与设计 事实是一种度量，所以事实表中的这种指标往往需要具有数值化和可加性的特征。即：l要考虑决策分析的需要（必要的数据）l要考虑系统运行的需要（派生的数据）现在学习的是第25页，共32页l粒度的选择与设计步骤 根据需求和系统运行情况确定粒度：l粒度的不同选择导致逻辑模型的差异l粒度的不同选择导致数据存储容量的差异粒度的设计步骤：l粗略估计数据量l确定粒度的级别粒度设计实例：现在学习的是第26页，共32页l关于数据仓库的聚合模型l数据的分割处理 l星形图中的维度表简介 l常用维度的设计模式 现在学习的是第27页，共32页l事实表及其特征l事实表的类型与设计 l粒度的选择与设计步骤 l关于数据仓库的聚合模型与数据的分割处理 l星形图中的维度表简介 l常用维度的设计模式 现在学习的是第28页，共32页数据仓库的物理模型设计数据仓库的物理模型设计 l物理模型设计的主要工作物理模型设计的主要工作l物理存储结构设计的原则物理存储结构设计的原则 l数据仓库索引设计的特殊性数据仓库索引设计的特殊性 l存储优化与存储策略存储优化与存储策略 现在学习的是第29页，共32页3.3 使用使用SQL Server 2005建立多维建立多维数据模型数据模型 lSQL Server 2005示例数据仓库环境示例数据仓库环境的配置与使用的配置与使用 l基于基于SQL Server 2005示例数据库的示例数据库的多维数据模型的建立与应用多维数据模型的建立与应用。现在学习的是第30页，共32页 3.3 使用使用SQL Server 2005建立多维建立多维数据模型数据模型l在在SQL Server 2005数据库环境中安数据库环境中安装数据仓库组件、示例和工具装数据仓库组件、示例和工具 l利用示例数据仓库（利用示例数据仓库（AdventureWorks DW）环境及帮助）环境及帮助系统学习系统学习 现在学习的是第31页，共32页3.3 使用使用SQL Server 2005建立多维数据建立多维数据模型模型l创建一个新的数据仓库分析项目创建一个新的数据仓库分析项目 l定义数据源定义数据源 l定义数据源视图定义数据源视图 l定义多维数据集定义多维数据集 l部署部署“销售分析示例销售分析示例”项目项目 l浏览已部署的多维数据集浏览已部署的多维数据集 l提高多维数据集的可用性和易用性提高多维数据集的可用性和易用性 现在学习的是第32页，共32页