数据仓库开发模型.ppt

《数据仓库开发模型.ppt》由会员分享，可在线阅读，更多相关《数据仓库开发模型.ppt（47页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 第2章数据仓库开发模型在在创创建建数数据据仓仓库库之之时时，需需要要使使用用各各种种数数据据模模型型对对数数据据仓仓库库进进行行描描述述。数数据据仓仓库库的的开开发发人人员员依依据据这这些些数数据据模模型型，才才能能开开发发出出一一个个满满足足用用户户需需求求的的数数据据仓仓库库。使使开开发发人人员员能能够够将将注注意意力力集集中中在在数数据据仓仓库库开开发发的的主主要要部部分分。模模型型有有更更好好的的适适应应性性，更更易易于于修修改改。当当用用户户的的需需求求改改变时，仅对模型做出相应的变化就能反映这个改变。变时，仅对模型做出相应的变化就能反映这个改变。数据仓库开发模型2.1数据仓库开发

2、模型数据仓库开发模型2.2数据仓库概念模型数据仓库概念模型2.3数据仓库逻辑模型数据仓库逻辑模型2.4数据仓库的物理模型数据仓库的物理模型2.5数据仓库的元数据模型数据仓库的元数据模型2.6数据仓库的粒度和聚集模型数据仓库的粒度和聚集模型练练习习2.1 数据仓库开发模型模模型型是是对对现现实实世世界界进进行行抽抽象象的的工工具具。在在信信息息管管理理中中需需要要将将现现实实世世界界的的事事物物及及其其有有关关特特征征转转换换为为信信息息世世界界的的数数据据才才能能对对信信息息进进行行处处理理与与管管理理，这这就就需需要要依依靠靠数数据据模模型型作作为为这这种种转转换换的的桥梁。这种转换一般需要

3、经历桥梁。这种转换一般需要经历:l从现实到概念模型，从现实到概念模型，l从概念模型到逻辑模型，从概念模型到逻辑模型，l从逻辑模型到物理模型从逻辑模型到物理模型现实世界现实世界概念世界概念世界逻辑世界逻辑世界计算机世界计算机世界信用信用特性特性属性属性列（字段、数据列（字段、数据项）项）张三张三个体个体实体实体记录记录客户客户整体整体同质总体同质总体表文件表文件客户与产品客户与产品整体间联系整体间联系异质总体异质总体数据库数据库数据仓库的设计就是在概念模型、逻辑模型和物理模型的依次转换过程中实现的。作为数据仓库的灵魂元数据模型元数据模型则自始至终伴随着数据仓库的开发、实施与使用。数据粒度和聚集模

4、型也在数据仓库的创建中发挥着指导的作用，指导着数据仓库的具体实现。现实世界概念模型逻辑模型物理模型数据仓库元数据模型数据粒度和聚集模型2.2 数据仓库概念模型 2.2.1 概念数据模型财务部门销售收入账应收账应付账成本账销售部门销售计划销售合同销售统计人事部门员工业绩记录员工技能情况员工薪酬表企业数据模型销售部门人事部门财务部门图2.3 企业数据模型数据仓库可以采用数据仓库可以采用ER图作为概念设计框架，但是图作为概念设计框架，但是与具体的业务处理系统设计还是有所区别。与具体的业务处理系统设计还是有所区别。l数据仓库的数据模型中不包含操作型的数据，数据仓数据仓库的数据模型中不包含操作型的数据，

5、数据仓库的数据模型只包含用户所感兴趣的库的数据模型只包含用户所感兴趣的分析数据、描述分析数据、描述数据和细节数据数据和细节数据。l数据仓库的数据模型扩充了关键字结构，增加了时间数据仓库的数据模型扩充了关键字结构，增加了时间属性作为关键字的一部分属性作为关键字的一部分l数据仓库的数据模型中还增加了一些由基本数据所导数据仓库的数据模型中还增加了一些由基本数据所导出的衍生数据，这些导出的衍生数据主要用于对企业出的衍生数据，这些导出的衍生数据主要用于对企业的管理决策进行分析的管理决策进行分析指指标标实实体体（事事实实实体）实体）指标实体指标实体名名维度实维度实体名体名详细详细类别类别实体实体名名维度实

6、体维度实体详详细细类类别别实实体体（引用实体）（引用实体）为表述数据仓库所需的分析数据、描述数据和细节数据，为表述数据仓库所需的分析数据、描述数据和细节数据，反映时间属性，表现数据导出关系。将原反映时间属性，表现数据导出关系。将原ERD的实体分解为的实体分解为“事实实体、维实体和详细类别实体事实实体、维实体和详细类别实体。5个基本特征2.2.2 规范的数据模型第第一一范范式式、第第二二范范式式、第第三三范范式式数数据据仓仓库库的的反反规范化处理规范化处理数据仓库的数据数据仓库的数据普通数据库系统的数据普通数据库系统的数据长期的框架长期的框架静态静态数据通常是汇总的数据通常是汇总的特殊查询访问特

7、殊查询访问定期更新定期更新数据驱动数据驱动短期的框架短期的框架快速变化快速变化记录级的访问记录级的访问标准查询访问标准查询访问实时更新实时更新事件驱动事件驱动2.2.3 星型模型 星星型型模模型型是是最最常常用用的的数数据据仓仓库库设设计计结结构构的的实实现现模模式式。使使数数据据仓仓库库形形成成了了一一个个集集成成系系统统，为为用用户户提提供供分分析析服服务务对象。对象。事实表维 度表维 度表维 度表维 度表维 度表核心是事实表，围绕事实表的是维度表。通过事实表将各种不同的维度表连接起来，各个维度表都连接到中央事实表。例例1某公司销售数据的星型模型某公司销售数据的星型模型time_keyda

8、yday_of_the_weekmonthquarteryeartime 维表location_keystreetcitystate_or_provincecountrylocation 维表Sales 事实表 time_key item_key branch_key location_key units_sold dollars_sold avg_sales度量item_keyitem_namebrandtypesupplier_typeitem 维表branch_keybranch_namebranch_typebranch 维表概念分层例例2超市营销数据仓库日期商品促销客户门市商品营销超

9、市营销主题日期关键字门市关键字商品关键字促销关键字商品销售编号商品销售量商品销售额商品成本商品销售利润日期维日 期 关键字商品维商 品 关键字门市维门 市 关键字促销维促 销 关键字客户维客 户 关 键字日期日期维维度度销销售事售事实实日期关日期关键键字字日期关日期关键键字字星期星期商品关商品关键键字字日日历历日期日期编编号号门门市关市关键键字字日日历历周周编编号号促促销销关关键键字字日日历历月月编编号号客客户户关关键键字字纪纪元日元日编编号号公司纪元公司纪元POS事事务编务编号号纪纪元周元周编编号号销销售量售量纪纪元月元月编编号号销销售售额额财财政月日政月日编编号号成本成本额额年度日年度日历

10、历周数周数利利润润金金额额年度日年度日历历月数月数日日历历年月年月(YYYY-MM)日日历历季度季度日日历历年季度年季度日日历历半年度半年度2012年2月222.2.4 雪花模型雪雪花花模模型型是是对对星星型型模模型型的的扩扩展展，每每一一个个维维度度都都可可以以向向外外连连接接到到多多个详细类别表。个详细类别表。雪花模型对星型模型的维度表进一步标准化，对星型模型中的维度表进行了规范化处理。事实表维度表维度表维度表维度表维度表详细类别表详细类别表例：销售数据雪花模型例：销售数据雪花模型time_keydayday_of_the_weekmonthquarteryeartimelocation_

11、keystreetcity_keylocationSales Fact Table time_key item_key branch_key location_key units_sold dollars_sold avg_salesMeasuresitem_keyitem_namebrandtypesupplier_keyitembranch_keybranch_namebranch_typebranchsupplier_keysupplier_typesuppliercity_keycitystate_or_provincecountrycity补充：事实星座模型补充：事实星座模型事实星座

12、（事实星座（Factconstellations）:复杂应用可能复杂应用可能需要多个事实表共享维表需要多个事实表共享维表,这种模式可以看作星这种模式可以看作星型模式的汇集，因此称为星系模式（型模式的汇集，因此称为星系模式（galaxyschema），或者事实星座（），或者事实星座（factconstellation）time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcityprovince_or_statecountrylocationSales Fact Tabletime_key item_key branch_

13、key location_key units_sold dollars_sold avg_salesMeasuresitem_keyitem_namebrandtypesupplier_typeitembranch_keybranch_namebranch_typebranchShipping Fact Tabletime_key item_key shipper_key from_location to_location dollars_cost units_shippedshipper_keyshipper_namelocation_keyshipper_typeshipper2.3 数据

14、仓库逻辑模型 信息反馈贵宾卡账号 姓名 客户类型 初 次 交 易时间账号 省 市 县 街道 邮政编码账号 现金交易额 信用交易额账号 商品编号 时间 交易量账号 最大信用额 最近信用发 生时间账号 记录人 反馈类型 反馈时间账号 服务种类 时间 服务费用颜色信用交易客户编号交易记录信用状况商品交易服务交易签字现金交易 账号 交易额 信用额 信用时间 2.3.1 事实表模型设计1.事实表（1）客户事实表）客户事实表客户基本情况表（账号Integer9，姓名Character12，出生地Character20，初次交易时间Date，）。2事实表中的事实特性事实表中的事实特性 事实表中一般包含两部分

15、，一是由主键和外键所组成的键部分键部分，另一是用户希望在数据仓库中所了解的数值指标数值指标。派生事实主要有两种，一是可以用同一事实表中其他事实计算得到，还有一类派生事实是非加法性事实。2.3.1 事实表模型设计3.设计原则设计原则通过调查确定所有可能的事实，派生事实通过调查确定所有可能的事实，派生事实按功能排序，删除重复事实按功能排序，删除重复事实基于不同准则但是有相同性质的派生事实基于不同准则但是有相同性质的派生事实确认计算派生事实的基本事实包含在模型中确认计算派生事实的基本事实包含在模型中事实表尽可能小！事实表尽可能小！2.3.2 维模型设计客户主题维度表模型时间维度表（年Date，月Da

16、te，日Date）。地点维度表（省Character20，市Character20，县Character20，街道Character20）。2.4 数据仓库的物理模型2.4.1数据仓库物理模型的存储结构数据仓库物理模型的存储结构确定数据的存储结构确定数据的存储结构 并行存储结构RAID（Redundant Array of Inexpensive Disk，廉价冗余磁盘阵列）。RAIDRAID1级。RAID2级。RAID3级。RAID4级。RAID5级。2.4.2 数据仓库物理模型的索引构建位图索引位图索引 女性索引女性索引客客户户性性别别客客户户所在地所在地上海市索引上海市索引北京市索引北京

17、市索引0男男北京市北京市011女女江江苏苏省省001女女北京市北京市010男男山山东东省省001女女北京市北京市010男男上海市上海市100男男江江苏苏省省001女女上海市上海市101女女北京市北京市010男男浙江省浙江省001女女广广东东省省002.4.2 数据仓库物理模型的索引构建上海市上海市索引索引OR北京市北京市索引索引=地区地区索引索引AND女性女性索引索引=最后最后索引索引01100000100111100000011111010000000101110111100000000102.4.2 数据仓库物理模型的索引构建2广义索引的构建广义索引的构建3连接索引连接索引连接索引Aage

18、level_idtime_idyear_idmonth_idgeo_idprov_idcity_idcounty_idprodu_idagelevel_id time_idgeo_idprodu_idamou_moneagelevel_id time_idyear_idmonth_idgeo_idprov_idcity_idcounty_idprodu_idamou_moneagelevel_id time_idgeo_idprodu_id全连接结果time_idgeo_id连接索引B2.4.3 数据仓库物理模型的优化问题1.合合并并表表：几几个个表表的的记记录录分分散散存存放放在在几几个个物

19、物理理块块中中时时，多多个个表表的的存取和连接操作的代价会很大。存取和连接操作的代价会很大。2.建建立立数数据据序序列列：按按照照某某一一固固定定的的顺顺序序访访问问并并处处理理一一组组数数据据记记录录。将数据按照处理顺序存放到连续的物理块中，形成数据序列。将数据按照处理顺序存放到连续的物理块中，形成数据序列。3.引引入入冗冗余余：一一些些表表的的某某些些属属性性可可能能在在许许多多地地方方都都要要用用到到，将将这这些属性复制到多个主题中，可以减少处理时存取表的个数。些属性复制到多个主题中，可以减少处理时存取表的个数。4.表表的的物物理理分分割割：每每个个主主题题中中的的各各个个属属性性存存取

20、取频频率率是是不不同同的的。将将一一张张表表按按各各属属性性被被存存取取的的频频率率分分成成两两个个或或多多个个表表，将将具具有有相相似似访访问频率的数据组织在一起。问频率的数据组织在一起。5.生生成成派派出出数数据据：在在原原始始数数据据的的基基础础上上进进行行总总结结或或计计算算，生生成成派派出出数数据据，可可以以在在应应用用中中直直接接使使用用这这些些派派出出数数据据，减减少少I/O次次数数，免免去去计计算算或或汇汇总总步步骤骤，在在更更高高级级别别上上建建立立了了公公用用数数据据源源，避避免免了了不同用户重复计算可能产生的偏差。不同用户重复计算可能产生的偏差。2.5 数据仓库的元数据模

21、型元数据元数据静态元数据静态元数据名称名称描述描述格式格式数据类型数据类型关系关系生成生成时时间间来源来源索引索引类别类别域域业务业务规规则则2.5.1元数据的类型与组成元数据的类型与组成元数据元数据动态元数据动态元数据入库时间入库时间更新周更新周期期数据质数据质量量统计信统计信息息状态状态处理处理存储存储位置位置存储大小存储大小引用引用处处元元数数据据描描述述了了数数据据的的结结构构、内内容容、键键、索索引引等等项项内内容容。在在数数据据仓仓库库中中，元元数数据据定定义义了了数数据据仓仓库库中中的的许许多多对对象象表表、列列、查查询询、商商业业规规则则或或是是数数据据仓仓库库内内部部的的数数

22、据据转转移移。元元数数据据是是数数据据仓仓库的重要构件，是数据仓库的指示图（库的重要构件，是数据仓库的指示图（roadmap）。）。1.数据仓库的元数据重要性数据仓库的元数据重要性为数据仓库服务与为数据仓库服务与DSS分析员及高层决策人员服务提供便利分析员及高层决策人员服务提供便利 解决操作型环境和数据仓库的复杂关系解决操作型环境和数据仓库的复杂关系 数据仓库中数据的管理数据仓库中数据的管理 2.元数据在数据仓库开发期间的使用元数据在数据仓库开发期间的使用确认数据质量确认数据质量、同步化和刷新同步化和刷新、映射映射3.元数据在数据源抽取中的作用元数据在数据源抽取中的作用资资源源领领域域的的确确

23、定定、跟跟踪踪历历史史数数据据结结构构变变化化的的过过程程、属属性性到到属属性性的映射的映射、属性转换属性转换 4.元数据在数据求精与重构工程上的作用元数据在数据求精与重构工程上的作用数据的分割数据的分割、概括与聚集概括与聚集、预算与推导预算与推导、转换与再映像转换与再映像 2.5.2 元数据在数据仓库中的作用2.5.3 元数据的收集1.数据源的元数据 2.数据模型的元数据数据模型的元数据3.数据源与数据仓库映射的元数据数据源与数据仓库映射的元数据4.数据仓库应用的元数据数据仓库应用的元数据2.6 数据仓库的粒度和聚集模型粒度可定义成数据仓库中数据细节的最低层次，如事务层次。这种数据层次是高度

24、细节化的，这样就能使用户按所需的任何层次进行汇总。根据粒度的划分标准可以将数据划分为：详细数据、轻度总结、高度总结三级或更多级粒度。粒度的具体划分将直接影响到数据仓库中的数据量以及查询质量。粒度级别粒度级别综合性综合性数据细节数据细节低（如事低（如事务）务）高（如汇高（如汇总）总）低低高高非常高非常高中等到低中等到低2.6.1 数据粒度的划分第一步，是估算数据仓库中将来要使用的数据行数和所需的直接存取存储设备数。每一个表的存储空间，应该是每一个表的数据存储空间和索引存储空间之和。一年数据一年数据五年数据五年数据数据量（行数）数据量（行数）粒度划分策略粒度划分策略数据量（行数）数据量（行数）粒度

25、划分策略粒度划分策略10,000,0001,000,000100,00010,000双重粒度并仔细设计双重粒度并仔细设计双重粒度双重粒度仔细设计仔细设计不考虑不考虑20,000,00010,000,0001,000,000100,000双重粒度并仔细设计双重粒度并仔细设计双重粒度双重粒度仔细设计仔细设计不考虑不考虑2.6.2 确定粒度的级别考虑因素：要接受的分析类型、可接受的数据最低粒度和能存储的数据量。粒度的层次定义越高，就越不能在该仓库中进行更细致的分析。在同一模式中使用多重粒度。如果存储资源有一定的限制，就只能采用较高粒度的数据粒度划分策略。粒度的确定实质上是业务决策分析、硬件、软件和数

26、据仓库使用方法的一个折衷。数据粒度划分策略一定要保证数据的粒度确实能够满足用户的决策分析需要，这是数据粒度划分策略中最重要的一个准则。2.6.3 数据仓库的聚集模型确定聚集数据主要是为了使用户获得更好的查询性能 聚集模型设计时应该注意将聚集数据存储在其事实表中，并与其底层数据相区别。设计聚集模型时，首先需要考虑用户的使用要求。其次要考虑数据仓库的粒度模型和数据的统计分布情况。数据仓库的聚集模型的设计与数据仓库的粒度模型紧密相关 建立聚集模型时还需要考虑作为聚集属性的数量因素 2.6.4 聚集模型的处理聚集事实表已经独立存在并且可以与基本事实表一同保存 通过将当前加载数据添加到系统中的累积“桶”

27、中 将数据的聚集与数据仓库的加载过程组合为同一处理过程 在将数据仓库数据加载以后，再进行聚集处理 每次在加载数据仓库数据时，都需要对各种聚集进行计算和增加，及时保持聚集与基本数据的同步性 2.6.5 聚集模型的管理要根据使用情况删除不经常使用的聚集 需要减少层次过于接近的聚集生成 注意将聚集独立存储在自己的事实表中 数据仓库示例数据仓库示例SQL开发套件介绍开发套件介绍数据仓库建立数据仓库建立-AdventureWorksDW示例数据仓示例数据仓库介绍库介绍数据转换工具数据转换工具ETL介绍介绍多维数据模型建立多维数据模型建立SQL开发套件介绍开发套件介绍MicrosoftSQLServerM

28、anagementStudio数据仓库的物理实现数据仓库的物理实现SQLBusinessIntelligenceDevelopmentStudio数据的预处理、转换数据的预处理、转换ETL项目项目多维数据集的建立、多维数据集的建立、OLAP操作和数据挖掘操作和数据挖掘AnalysisService项目项目SQL2005或或2008开发版。开发版。AdventureWorksDW示例数据仓库介绍示例数据仓库介绍主题划分、概念模型主题划分、概念模型销售主题：销售主题：员工主题员工主题财务主题财务主题宏观环境宏观环境逻辑细分逻辑细分数据仓库的建立数据仓库的建立采用关系型数据库作为物理存储采用关系型数

29、据库作为物理存储不需要建立数据表之间的联系不需要建立数据表之间的联系在做在做OLAP和和DM时用时用analysisservice项目建立多项目建立多维数据模型维数据模型数据转换与清理数据转换与清理建一个建一个简单简单ETL包，包，该该包可以从包可以从单单个平面文个平面文件源提取数据，使用两个件源提取数据，使用两个查查找找转换组转换组件件转换该转换该数数据，然后将据，然后将该该数据写入数据写入AdventureWorksDW中的中的FactCurrencyRate事事实实数据表。数据表。了解包要求了解包要求查看源查看源查看目标查看目标将源数据映射为与目标兼容将源数据映射为与目标兼容数据转换与清

30、理数据转换与清理创建新的创建新的IntegrationServices项目项目添加和配置平面文件连接管理器添加和配置平面文件连接管理器添加和配置添加和配置OLEDB连接管理器连接管理器添加一个数据流任务添加一个数据流任务添加平面文件源组件添加平面文件源组件添加并配置添加并配置CurrencyKey查找转换查找转换添加和配置示例添加和配置示例OLEDB目标目标运行运行回顾回顾多维数据集建立多维数据集建立在在MicrosoftSQLServer2005AnalysisServices(SSAS)中，可以方便地创建复杂的联机中，可以方便地创建复杂的联机分析处理分析处理(OLAP)和数据挖掘解决方案。

31、和数据挖掘解决方案。AnalysisServices工具提供了设计、创建和管理来自数据工具提供了设计、创建和管理来自数据仓库的多维数据集和数据挖掘模型的功能，还提仓库的多维数据集和数据挖掘模型的功能，还提供对供对OLAP数据和数据挖掘数据的客户端访问。数据和数据挖掘数据的客户端访问。参考书目：参考书目：AnalysisServices教程教程第第1课：在课：在AnalysisServices项目中定义数项目中定义数据源视图据源视图1.1创建创建analysisservice项目项目1.2定义数据源定义数据源1.3定义一个新的数据源视图定义一个新的数据源视图1.4修改表的默认名称修改表的默认名称

32、第第2课：定义和部署多维数据集课：定义和部署多维数据集2.1定义多维数据集定义多维数据集2.2了解多维数据集设计器选项卡了解多维数据集设计器选项卡2.3浏览已部署的多维数据集浏览已部署的多维数据集回顾回顾多维数据集建立多维数据集建立多维数据集建立多维数据集建立第第3课：修改度量值、属性和层次结构在定义、部署和处理初始多维数据集课：修改度量值、属性和层次结构在定义、部署和处理初始多维数据集3.1修改多维数据集的度量值修改多维数据集的度量值3.2修改维度修改维度删除未使用的属性删除未使用的属性修改用户层次结构和特性属性修改用户层次结构和特性属性添加命名计算添加命名计算将命名计算用于成员名称将命名计算用于成员名称添加属性并定义显示文件夹添加属性并定义显示文件夹部署更改、处理对象以及查看更改部署更改、处理对象以及查看更改3.3修改修改”时间时间”层次结构层次结构提供唯一的维度成员名称提供唯一的维度成员名称指定组合键值指定组合键值修改组合键成员顺序修改组合键成员顺序3.4修改修改“产品产品”维度维度删除不需要的属性删除不需要的属性定义命名计算，修改名称属性值，定义用户层次结构定义命名计算，修改名称属性值，定义用户层次结构指定文件夹名称和成员名称指定文件夹名称和成员名称检查检查“产品产品”维度更改维度更改