数据仓库架构培训.pptx

厂商的数据仓库架构厂商的数据仓库架构第1页/共37页IBMIBM数据仓库架构数据仓库架构第2页/共37页NCRNCRNCRNCR数据仓库架构数据仓库架构数据仓库架构数据仓库架构第3页/共37页SAPSAPSAPSAP的数据仓库的数据仓库的数据仓库的数据仓库第4页/共37页两级数据仓库架构两级数据仓库架构两级数据仓库架构两级数据仓库架构第5页/共37页公司的数据仓库架构公司的数据仓库架构第6页/共37页业务系统业务系统数据存储平台数据存储平台数据仓库应用平台数据仓库应用平台应用服务层元数据访问服务元数据访问服务 BIBI工具引擎工具引擎报表报表查询查询决策支持决策支持应用层（Portal）EDWDDS对外接口对外接口数据交换平台数据交换平台数据挖掘数据挖掘与分析系统与分析系统其它应用其它应用元元数数据据管管理理OLAPADSDM系统总体架构图系统总体架构图系统总体架构图系统总体架构图历史数据存储（历史数据存储（HDSHDS）操作数据存储（操作数据存储（ODSODS）主数据ETL数据数据质量质量管理管理第7页/共37页业务系统业务系统数据存储平台数据存储平台数据仓库应用平台数据仓库应用平台应用服务层元数据访问服务元数据访问服务 BIBI工具引擎工具引擎报表报表查询查询决策支持决策支持应用层（Portal）EDWDDS对外接口对外接口数据交换平台数据交换平台数据挖掘数据挖掘与分析系统与分析系统其它应用其它应用元元数数据据管管理理OLAPADS公司实施常用架构公司实施常用架构公司实施常用架构公司实施常用架构历史数据存储（历史数据存储（HDSHDS）DMETL数据数据质量质量管理管理第8页/共37页数据存储与数据存储与ETLETL第9页/共37页10数据存储数据存储数据存储数据存储第10页/共37页主数据存储主数据存储主数据存储主数据存储模型特点模型特点lERER模型：与业务系统中代码信息存放方式类似模型：与业务系统中代码信息存放方式类似l数据标准：在企业中采用统一的编码规则和标准数据标准：在企业中采用统一的编码规则和标准l保留历史：保留主数据变化的版本保留历史：保留主数据变化的版本第11页/共37页ODSODSODSODS数据存储数据存储数据存储数据存储模型特点模型特点lERER模型：与业务系统中模型基本一致，尽量减少由于数据处理带来的模型：与业务系统中模型基本一致，尽量减少由于数据处理带来的时间消耗时间消耗l实时性：保存实时变化的数据实时性：保存实时变化的数据第12页/共37页EDWEDWEDWEDW数据存储数据存储数据存储数据存储模型特点模型特点l采用采用3NF3NF方式建模，采用面向对象的建模方式方式建模，采用面向对象的建模方式l从业务模型入手，结合实际的业务系统的数据，使用主题域对数据进从业务模型入手，结合实际的业务系统的数据，使用主题域对数据进行抽象行抽象l建模原则建模原则l全面性：最终应该能够覆盖到客户经营活动中所有的业务数据全面性：最终应该能够覆盖到客户经营活动中所有的业务数据l抽象性：从业务的角度把客户的所有业务要素抽象成若干对象，采用面抽象性：从业务的角度把客户的所有业务要素抽象成若干对象，采用面向对象的设计方法向对象的设计方法l扩展性：其体系结构应该能够适应客户今后业务的发展扩展性：其体系结构应该能够适应客户今后业务的发展l高效性：应该注意不要使对象之间的关系过于复杂，导致在实际查询时高效性：应该注意不要使对象之间的关系过于复杂，导致在实际查询时的速度过慢的速度过慢第13页/共37页DDSDDSDDSDDS数据存储数据存储数据存储数据存储模型特点模型特点l星型模型：以维度表和事实表的方式对数据进行组织和存放星型模型：以维度表和事实表的方式对数据进行组织和存放l面向需求：从满足应用需求的角度进行设计，从中找出维度，维和分面向需求：从满足应用需求的角度进行设计，从中找出维度，维和分析变量析变量l粒度较粗：从明细数据汇总得到粒度较粗：从明细数据汇总得到第14页/共37页 数据抽取 数据加载 数据映射 数据转换 数据清洗从HDS或ODS中获取所需数据 清除错误的、不符合业务逻辑的数据将业务系统的数据字段对应到主数据的数据字段将数据转换成主数据的模型将转换完毕的数据写入物理数据库 数据标准化按照数据的标准，对数据进行统一主数据加载主数据加载主数据加载主数据加载第15页/共37页 数据抽取 数据加载 数据映射 数据转换 数据清洗从HDS或ODS中获取所需数据 清除错误的、不符合业务逻辑的数据将业务系统的数据字段对应到EDW的数据字段将数据转换成EDW的模型将转换完毕的数据写入物理数据库 数据标准化按照数据的标准，对数据进行统一EDWEDWEDWEDW数据加载数据加载数据加载数据加载第16页/共37页 数据抽取 数据加载 数据转换 数据汇总 数据映射从EDW数据存储中获取所需数据 将EDW存储模型的字段，对应到DDS存储模型的字段把数据从EDW的ER模型转换为DDS的多维存储模型把EDW中的数据进行一定程度的汇总将转换完毕的数据写入物理数据库DDSDDSDDSDDS数据加载数据加载数据加载数据加载第17页/共37页前端业务应用与管理系统前端业务应用与管理系统第18页/共37页n 应用服务层应用服务层数据中心存储平台数据中心存储平台DDSOLAPDMMeta Data数据服务层数据服务层OLAP引擎元数据管理服务管理和审计服务BI引擎统一的安全管理EDS数据访问层代理Web Server浏览器GUI应用程序ODS数据交换服务主数据管理服务第19页/共37页分析人员使用分析人员使用决策层使用决策层使用管理人员使用管理人员使用业务人员使用业务人员使用分析型应用分析型应用分析型应用分析型应用企业绩效企业绩效企业绩效企业绩效KPIKPIKPIKPI业务报务、业务应用业务报务、业务应用业务报务、业务应用业务报务、业务应用跨部门、跨业务应用跨部门、跨业务应用跨部门、跨业务应用跨部门、跨业务应用应用层次规划应用层次规划应用层次规划应用层次规划第20页/共37页资产分析成本分析 业务分类财务 生产销售KPI库存物流盈利产量原料质检销量市场竞争对手市场生产指标财务指标销售指标库存分析应用分类应用分类应用分类应用分类第21页/共37页n管理系统：元数据管理管理系统：元数据管理主数据数据中心 ODS EDS DDS DM应用系统ETL元数据数据源元数据存储平台业务元数据业务指标维度技术元数据维度 ADSETL信息应用系统信息管理元数据ETL日志应用系统日志权限元数据应用平台维护功能业务元数据维护技术元数据维护查询功能分类导航全文检索日志查询权限查询展现功能动态指标解释信息展示血缘关系 OLAP业务指标/需求第22页/共37页主数据管理主数据管理主数据管理主数据管理第23页/共37页实施技术实施技术实施技术实施技术第24页/共37页实施过程实施过程第25页/共37页数据仓库实施方法数据仓库实施方法数据仓库实施方法数据仓库实施方法自下而上自下而上l从业务数据入手，建立数据模型从业务数据入手，建立数据模型l建立完整的后台数据建立完整的后台数据自上而下自上而下l完全基于业务需求分析的结果完全基于业务需求分析的结果l以需求确定后台的数据范围以需求确定后台的数据范围迭代开发迭代开发l整个建设过程分为多个迭代过程整个建设过程分为多个迭代过程l从关键的业务入手，即考虑后台数据，又提供前端展现从关键的业务入手，即考虑后台数据，又提供前端展现第26页/共37页27项目组架构项目组架构项目组架构项目组架构项目管理组客户方项目组系统架构组ETLETL组数据建模组应用开发组质量管理组项目管理委员会需求分析组售后与服务组系统测试组第27页/共37页实施流程实施流程实施流程实施流程项目准备项目规划需求定义技术需求业务需求技术架构源数据分析数据建模应用设计开发ETL设计开发集成测试系统上线运行维护系统演进项 目 管 理第28页/共37页实施案例实施案例第29页/共37页业务系统业务系统数据存储平台数据存储平台数据仓库应用平台数据仓库应用平台应用服务层元数据访问服务元数据访问服务 BIBI工具引擎工具引擎报表报表查询查询决策支持决策支持应用层（Portal）EDWDDS对外接口对外接口数据交换平台数据交换平台数据挖掘数据挖掘与分析系统与分析系统其它应用其它应用元元数数据据管管理理OLAPADSDM数据中心数据中心数据中心数据中心-案例案例案例案例1 1 1 1历史数据存储（历史数据存储（HDSHDS）操作数据存储（操作数据存储（ODSODS）主数据ETL数据数据质量质量管理管理第30页/共37页业务系统业务系统数据存储平台数据存储平台数据仓库应用平台数据仓库应用平台应用服务层元数据访问服务元数据访问服务 BIBI工具引擎工具引擎报表报表查询查询决策支持决策支持应用层（Portal）EDWDDS对外接口对外接口数据交换平台数据交换平台数据挖掘数据挖掘与分析系统与分析系统其它应用其它应用元元数数据据管管理理OLAPADSDM数据仓库数据仓库数据仓库数据仓库-案例案例案例案例2 2 2 2历史数据存储（历史数据存储（HDSHDS）操作数据存储（操作数据存储（ODSODS）主数据ETL数据数据质量质量管理管理第31页/共37页业务系统业务系统数据存储平台数据存储平台数据仓库应用平台数据仓库应用平台应用服务层元数据访问服务元数据访问服务 BIBI工具引擎工具引擎报表报表查询查询决策支持决策支持应用层（Portal）EDWDDS对外接口对外接口数据交换平台数据交换平台数据挖掘数据挖掘与分析系统与分析系统其它应用其它应用元元数数据据管管理理OLAPADSDM数据仓库数据仓库数据仓库数据仓库-案例案例案例案例3 3 3 3历史数据存储（历史数据存储（HDSHDS）操作数据存储（操作数据存储（ODSODS）主数据ETL数据数据质量质量管理管理第32页/共37页业务系统业务系统数据存储平台数据存储平台数据仓库应用平台数据仓库应用平台应用服务层元数据访问服务元数据访问服务 BIBI工具引擎工具引擎报表报表查询查询决策支持决策支持应用层（Portal）EDWDDS对外接口对外接口数据交换平台数据交换平台数据挖掘数据挖掘与分析系统与分析系统其它应用其它应用元元数数据据管管理理OLAPADSDM数据仓库数据仓库数据仓库数据仓库-案例案例案例案例4 4 4 4历史数据存储（历史数据存储（HDSHDS）操作数据存储（操作数据存储（ODSODS）主数据ETL数据数据质量质量管理管理第33页/共37页业务系统业务系统数据存储平台数据存储平台数据仓库应用平台数据仓库应用平台应用服务层元数据访问服务元数据访问服务 BIBI工具引擎工具引擎报表报表查询查询决策支持决策支持应用层（Portal）EDWDDS对外接口对外接口数据交换平台数据交换平台数据挖掘数据挖掘与分析系统与分析系统其它应用其它应用元元数数据据管管理理OLAPADSDM数据仓库数据仓库数据仓库数据仓库-案例案例案例案例5 5 5 5历史数据存储（历史数据存储（HDSHDS）操作数据存储（操作数据存储（ODSODS）主数据ETL数据数据质量质量管理管理第34页/共37页业务系统业务系统数据存储平台数据存储平台数据仓库应用平台数据仓库应用平台应用服务层元数据访问服务元数据访问服务 BIBI工具引擎工具引擎报表报表查询查询决策支持决策支持应用层（Portal）EDWDDS对外接口对外接口数据交换平台数据交换平台数据挖掘数据挖掘与分析系统与分析系统其它应用其它应用元元数数据据管管理理OLAPADSDMBIBIBIBI系统系统系统系统-案例案例案例案例6 6 6 6历史数据存储（历史数据存储（HDSHDS）操作数据存储（操作数据存储（ODSODS）主数据ETL数据数据质量质量管理管理第35页/共37页追求卓越追求卓越 不断创新不断创新 客户至上客户至上第36页/共37页感谢您的观看！第37页/共37页