数据仓库实践系列课程(3)——BI数据架构35782.pptx

《数据仓库实践系列课程(3)——BI数据架构35782.pptx》由会员分享，可在线阅读，更多相关《数据仓库实践系列课程(3)——BI数据架构35782.pptx（42页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数据仓库实践系列课程（3）BI数据架构文思海辉总体数据架构ESB数据采集和交换平台集成型数据区历史数据访问应用数据挖掘工具监管报送平台即席查询工具数据集成平台新核心系统老核心系统客户系统外围系统渠道系统外部系统(外联平台)操作型数据区分析型数据区应用服务区应用服务器报表工具WEB服务器历史数据区统一报表平台管理会计系统流动性风险系统市场风险系统历史数据平台数据挖掘平台大数据平台数据交换区实时事件处理平台贴源模型层（ODS）主题模型层（EDW）应用集市层数据缓冲层共性加工层(GDM)国家审计署平台非现场审计课程大纲引言BI环境中的数据层次各层次设计重点BI用户与各层次数据使用课程总结Q&A课程大

2、纲引言BI环境中的数据层次各层次设计重点BI用户与各层次数据使用课程总结Q&A银行有多少数据？-范围出生日期婚姻状况投资组合联系电话咨询/投诉存取款信用评级供养人口称谓姓名是否进入黑名单还款/迟缴职业收入学历关联客户科目消费账户余额房产理财产品促销活动联系地址证件信息偏好渠道开户机构内部机构产品渠 道交 易资源/资产营销/策略性别财 务汽车其他投资交易渠道网银转账积分明细兑换历史管理机构客户经理房贷存款信用卡贷款还款情况总帐协议/账户客 户银行有多少数据？-数量系统系统表表个数个数字段数字段数AI108888B2I21285CAS1081994CCIF102859CIF91500CIFSC49

3、398CMP1172419CMS2442442CMS383420388DTS901201GTS1762498IB2604171IFAR2925707PDS1902344储蓄式国债47467贷记卡外挂623528记账式国债681221开放式基金39655总计309649965特点：数量多分布广内容庞杂挑战：这么多的数据怎么管？重点是什么？数据应该怎么分类？每类的定义和特点是什么？跨系统同类数据是否遵循同样的标准？实施分类管理贷记卡系统卡片信息授信信息利率信息额度信息储蓄系统客户信息机构信息账户信息利率信息贷款核销产品信息信贷系统客户信息机构信息授信信息账户信息利率信息贷款展期贷款核销产品信息客户

4、信息机构信息额度信息积分信息账户信息产品信息银保通客户信息机构信息账户信息利率信息保单信息产品信息网上银行客户信息账户信息转账信息支付信息产品信息机构信息数据模型7将各系统、各部门分散、重复的业务概念进行统筹、整合。从企业级视角进行结构化、规范化的设计，统一数据定义，明晰数据之间的关系。数据主题客户账户交易机构渠道资产财务数据模型设计示例以“客户”为例不同的数据模型设计没有绝对的对错，合适的就是最好的。课程大纲引言BI环境中的数据层次各层次设计重点BI用户与各层次数据使用课程总结Q&AnBI数据架构n各层次数据模型的定位与特点n各层次数据模型示例一个相对完整的BI数据架构应用集市层面向应用按需

5、定制共性加工层初级的数据加工依赖对应用的提炼技术缓冲层ETL专用的纯技术层完全与源系统结构一致近源模型层基本依照源系统建模尽量保持业务数据原貌整合模型层面向整合主题设计提供规范和共享技术缓冲层定位服务于数据加载和转换的需要，不对外提供数据服务特点数据原样加载，与源系统结构一致有增量，有全量可能需要保留数天历史(重加/查数)技术缓冲层示例表外帐户贷款户明细近源模型层定位尽量保持源系统数据原貌，提供基于业务数据原貌的访问特点简单处理不考虑整合保留较短期历史（重点考虑保留策略）近源模型层示例 开始日期开始日期开始日期开始日期 结束日期结束日期结束日期结束日期 。整合模型层定位长期的，细节的，整合的数

6、据存储，为各类业务需求提供支持特点面向主题，数据整合提供规范和共享中性设计，偏范式化，灵活可扩展细节信息，保留长期历史整合模型层示例产品/服务事件协议渠道客户资产财务/风险地区/地址市场营销内部机构共性加工层定位提供相对中性，具有业务意义的初级加工数据，支持上层应用的数据加工，或供业务人员的访问特点全局考虑，提炼需求共性多层次设计，多种数据粒度侧重业务理解，蕴含丰富的业务规则共性加工层示例：汇总加工出常用的变量，方便数据处理与查询遵循业务常用原则共性加工层示例：统计信息n蕴含一定业务规则的复杂加工应用集市层定位提供特定应用支持特点面向应用形式各异，各自独立按需定制，满足特定业务的需求报表模型示

7、例：常见表样多维模型示例：卡交易量分析事实表事实表数据挖掘示例复杂加工的变量复杂加工的变量目标以数据下载的结构为准，一般与源系统结构相同数据可能是增量，也可能是全量用于技术加工短期的，细节的反应业务原貌的数据存储直接提供基于源系统结构的简单原貌访问为BI环境中适合的业务需求提供支持长期的，细节的，整合的数据存储为BI环境中适合的各类业务需求提供支持相对中性，具业务意义的初加工数据，但不面向特定应用作为上层应用数据加工的基础，或供业务人员直接访问服务特定应用原则简单处理关注源系统结构的变化简单处理，不考虑整合关注保留策略面向全局，数据整合中性设计，灵活扩展提供规范和共享提炼应用需求共性多种数据粒

8、度易于理解和使用面向具体应用按需设计形式源系统模型近源系统模型设计根据支持应用情况可以保留短期历史面向主题设计偏范式化长期保留历史初步数据加工分层设计形式各异，依具体应用不同 技术缓冲层 近源模型层 整合模型层共性加工层应用集市层各数据层次的定位课程大纲引言BI环境中的数据层次各层次设计重点BI用户与各层次数据使用课程总结Q&An整合模型层n共性加工层n应用集市层重点关注的层次近源模型层 基本依照源系统建模 尽量保持业务数据原貌整合模型层 面向整合 主题设计 提供规范和共享应用集市层 面向应用 按需定制共性加工层 初级的数据加工 依赖对应用的提炼技术缓冲层 ETL专用的纯技术层 完全与源系统结

9、构一致各层设计重点主题定义框架设计整合策略实施方法整合模型层应用筛选应用提炼共性加工层整体性一致性应用集市层整合模型层设计主题定义产品客户化自行设计项目目标是什么？可参考主题都有哪些？该主题在当前环境下是否适用？是否需要其他修改？目标达成！项目目标是什么？总是有这些共通的主题：客户、协议(账户)、产品、事件(交易)其他业务信息的归纳使用业务熟悉的主题词汇目标达成！整合模型层设计框架设计主实体名称含义分类分类依据子类名称子类含义关系主实体间关系其他重要关系框架设计体现了模型设计原则框架决定了模型的整体结构主实体及其关系主实体及其关系主实体分类主实体分类关键实体及重要关系关键实体及重要关系 整合后

10、的对象标识选择已有标识还是新建？整合前信息是否保留？选择单一信息源(系统)？还是多个源？是否整合依赖业务现状，需要确定影响性？整合模型层设计整合策略是否整合同一业务对象有多种实例确定信息源源保留策略整合标识选择确定业务对象整合策略共性加工层设计设计目标n技术层面避免相同汇总数据的重复计算和存储，减少系统开销实现共享，降低应用开发和数据查询的复杂度避免数据加工口径的不一致n业务层面实现对常用统计口径的统一定义和维护便于业务人员理解，直接进行数据分析共性加工层设计设计理念中间层是因为需求而产生的，所以一定要基于需求，可以借鉴行业经验，但是每个行的应用建设过程有所不同，所以本行的需求才是根本需求驱动

11、中间层是提炼不同应用公共指标，提炼的程度太高会失去汇总层的意义，个性化程度太高会导致与应用层无区别，所以模型设计人员的经验很重要提炼共性在中间层再分明细层和汇总层，明细层是协议主题的扩展，是协议的业务呈现。汇总层是除协议外的其他主题业务呈现架构分明中间层的建设是一个循环往复的过程，不可能一步到位。随着应用的增加和对应用理解的深入，中间层会不断的丰富和发展，提升其业务价值迭代开发共性加工层数据处理方法33预计算预连接预聚类将分散在基础层数据中的很多实体根据应用的要求进行预先连接，这种预连接可以有不同的实现方式，比如可以采用物理表、视图，更多的是采用视图的方式。将在基础层数据中以及应用集市中难于计

12、算，通常是规则比较复杂，或者计算一次所需的时间比较长的数据预先计算出来，比如日均、重定价日等，但粒度不变，仍为最细的账户粒度，因需要运行的时间也比较长，建议采用物理表的方式。以维度建模方式对基础数据进行汇总和聚合，不再是最细粒度了；采用物理表与视图结合的方式，对于预聚合粒度比较粗的，数据量上会减少很多，所以适当的多采用物理表的方式，以节约系统资源，提高查询效率，对于预聚类粒度还是很细的，数据量减少不多，建议采用视图方式，如汇总层的客户汇总表。预连接预计算预聚类p Account&Card level summary 卡账户平均余额汇总 average balance 卡账户迟缴历史 Delin

13、quent 卡账户重要交易汇总 important events 最近三个月卡重要交易汇总 events in recent 3 months 最近六个月卡重要交易汇总 events in recent 6 months 账户利润组成汇总 profit components 卡账户利润汇总 profit 卡账户准备金计提记录 risk reservation amountp Customer level summary 客户平均余额汇总 average balance 客户持卡信息汇总 Card holds by customer 客户迟缴历史 Delinquent 客户交易汇总 events

14、 客户重要交易汇总 important events 客户利润汇总 profitp Organization level summary 机构平均余额汇总 average balance 机构发卡汇总 Card issued by org 机构交易汇总 Issuer events IST事件汇总 IST events 机构利润汇总 profit共性加工层设计示例（信用卡）建模时将产品层与机构层用一张汇总表来实现。共性加工层设计示例（逐层汇总）应用集市层设计按需定制面向应用的模型设计尽可能使用共性加工层模型实体整体性一致性 加工规则应尽量和已有规则保持一致业务驱动，按需定制课程大纲引言BI环境中

15、的数据层次各层次设计重点BI用户与各层次数据使用课程总结Q&A各数据层次的定位目标以数据下载的结构为准，一般与源系统结构相同数据可能是增量，也可能是全量用于技术加工短期的，细节的反应业务原貌的数据存储直接提供基于源系统结构的简单原貌访问为BI环境中适合的业务需求提供支持长期的，细节的，整合的数据存储为BI环境中适合的各类业务需求提供支持相对中性，具业务意义的初加工数据，但不面向特定应用作为上层应用数据加工的基础，或供业务人员直接访问服务特定应用原则简单处理关注源系统结构的变化简单处理，不考虑整合关注保留策略面向全局，数据整合中性设计，灵活扩展提供规范和共享提炼应用需求共性多种数据粒度易于理解和

16、使用面向具体应用按需设计形式源系统模型近源系统模型设计根据支持应用情况可以保留短期历史面向主题设计偏范式化长期保留历史初步数据加工分层设计形式各异，依具体应用不同重点理解源结构理解源结构主题定义框架设计整合策略实施方法应用筛选应用提炼整体性一致性用途不对外提供数据服务业务原貌查询即时报表数据质量检查灵活查询整合规则检查常规报表灵活查询业务规则检查特定应用 技术缓冲层 近源模型层 整合模型层共性加工层应用集市层不同类型项目的数据层次建议ODS视加工过程是否需要而定，非必须，但一般会有同源设计，基本不做处理必须，是ODS核心模型层简单处理视项目具体需求而定，非必须建设层次只针对必须整合且比较基础的

17、部分才考虑建设此层视项目具体需求而定，非必须建设层次视项目具体需求而定，分仓内仓外两种建设策略EDW视加工过程是否需要而定，非必须，但一般会有同源设计，基本不做处理视项目具体需求而定，非必须建设层次必须，是EDW核心模型层整合设计建议保留兼顾业务需求和数据处理性能双方需求视具体情况而定，分仓内仓外两种建设策略按单个应用分别建设 技术缓冲层 近源模型层 整合模型层共性加工层应用集市层BI数据架构小结数据层次仅是建议规范的一种表现形式，并不能够代表所有的情形。通过层次的标准化，可以帮助理解数据的传递路径和定位、使用方式和服务对象、范围等。需要重点把握的是每个数据层次的定位、原则和用途。对于某类项目而言，可能在不同的情况下需要的层次会有差异。课程大纲引言BI环境中的数据层次各层次设计重点BI用户与各层次数据使用课程总结Q&A谢谢谢谢