银行业务数据库导入的探析与规划-精品文档.docx

《银行业务数据库导入的探析与规划-精品文档.docx》由会员分享，可在线阅读，更多相关《银行业务数据库导入的探析与规划-精品文档.docx（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、银行业务数据库导入的探析与规划1加载策略源数据的获取将依靠于数据的生成和更新周期，目前与源数据层约定的获取接口为规定的数据库接口，由DataStage通过数据库接口，从各个源系统获取源数据，在ETL服务器上，以数据文件或命名管道文件的形式，将数据加载到数据仓库中央数据库中。在经过初步的转换处理后，数据将首先加载进入数据仓库临时数据区，在临时数据区的基础上完成数据的进一步清洗、汇总计算和转换处理，并最终生成数据仓库的物理模型数据，相关的数据集市和OLAP立方体，以及其他为数据输出而准备的中间数据。在整个ETL经过中，需要自动化管理ETL任务调度和控制以及必要的数据质量检查模块。2相关层次数据导入

2、是在源数据中经确认的数据进入数据仓库数据服务的数据获取和数据处理的中间层，是重要的数据处理环节。下面将结合ETL经过的几个重点步骤，对数据导入的数据处理经过进行具体的描绘：1确认源数据确实认是指根据针对本系统的业务需求，来定义包含相应的数据源的物理表/数据构造的经过，这些表在进行信息需求分析时需要确定下来，即确定需要使用源系统的哪些数据来知足业务需求。2映射数据的映射(Mapping)是指确定操作源数据和数据仓库数据库中数据存储之间的物理映射关系，简单的讲就是将已确认的源数据与本系统数据库中的数据相对应起来，供ETL参考。3获取为了把源数据加载到数据仓库数据库中，首先需要先获取这些数据。一般来

3、讲，数据获取包括两种方式：数据源主动(PUSH)：即数据源主动定时将相关数据吐到ETL服务器上。再由ETL服务器对数据进行必要处理转换、清洗后加载到数据库；ETL服务器主动(PULL)：即ETL服务器主动到数据源中获取数据。考虑到本系统的主要数据源是业务系统的镜像系统或Snapshot，数据获取经过将采用ETL服务器主动(PULL)的方式，即业务系统完成Snapshot或镜像处理后，由ETL服务器主动到业务系统的镜像系统或Snapshot中获取数据，而后直接加载入数据仓库数据库中。4转换转换工作主要分为两部分：加载前的转换：主要是针对数据格式、代码映射以及数据类型转换等。加载后的清洗和转换：主

4、要是针对明细数据进行汇总计算以及异常数据的过滤。5加载数据加载是将完成抽取、转换后的源数据加载到数据仓库中央数据库中，数据加载经过需保证加载的快速、稳定，并且考虑到数据加载的维护，本次源数据向数据库加载将仅采用DataStage的Teradata专用组件TeradataEnterprise来完成，数据后续处理产生汇总表，多表关联等的工作将使用TeradataSQL来完成。3数据质量管理数据质量对任何数据仓库来讲都是非常重要的，决策支持的质量往往是取决于查询所选择的数据本身的质量。一般地，数据质量问题主要来源于下面几种情况：1源数据质量问题：源系统中的数据信息不真实、不符合业务规则或数据约束条件

5、，或者源系统导出的接口数据文件不符合接口标准或格式等；因而在数据仓库建设中仍要采用多种手段进行数据质量的检查和管理。2数据从源系统到数据仓库的抽取、传输经过中造成数据失真、丢失，或在整合经过中对数据的取舍存在误判；这类问题主要来自于ETL体系本身，能够通过各类技术手段进行避免。3从数据仓库到前端展现存在的问题，包括代码错误、算法错误，或者对业务问题的理解错误等。这部分主要是业务逻辑与统计口径不准确所致，并不能代表数据本身的质量问题。数据质量管理包括：检查规则管理、数据质量检查模块以及数据质量检查结果展示与管理。检查规则管理是通过数据库中建立一个数据检查的规则库，用于各数据质量检查模块进行数据检

6、查的根据。数据质量检查模块是分散在数据导入即ETL的各个环节中，数据质量检查包括文件级检查、记录级检查以及业务指标检查。文件级检查的主要内容包括：文件大小检验：确保数据在传输经过中没有缺失、损坏，在本系统中，就是保证数据由数据源到数据加载机ETL服务器传输的完好性。文件格式检验：接口数据文件的格式能否是根据约定的格式进行，如定长或变长、分割符的约定等。记录级检查的主要内容包括：数据类型与格式检查主外键及关联检查编码映射检查数据值域检查基本业务规则检查记录集合检查，数据仓库临时数据区数据与一期ODS的数据比拟；业务指标检查的主要内容包括：比拟同一业务指标在临时数据区、数据区及OLAP的计算值，判定数据在转换经过中能否遗漏；利用来自其他渠道的业务指标参考值，与该指标在数据区或OLAP的计算值相比拟，判定数据的正确性；在数据质量检查经过中，假如发生了数据异常和错误现象，则需及时通知相关人员进行相应处理，甚至包括数据文件的二次生成或重新传输的经过；假如确定源数据本身有误，则需要通知源数据方进行修改或更正，对数据仓库系统来讲，不得修改任何记录。