总体架构设计介绍ppt课件.pptx

《总体架构设计介绍ppt课件.pptx》由会员分享，可在线阅读，更多相关《总体架构设计介绍ppt课件.pptx（82页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、UDSF系统总体架构q总体架构q物理架构q技术架构q数据架构 2为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能总体架构哈尔滨银行数据应用总体架构本期哈尔滨银行数据应用平台建设架构规划如下：p数据采集平台：T+1数据采集、缺失数据补录p数据整合平台：基础数据层模型和加工数据层模型，ETL管理p数据推送平台：数据定制下载,数据接口文件推送p通用展现平台：平台管理功能,经营分析系统,金融经理考核系统,报表开发功能 3为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能物理架构:网

2、络拓扑图物理架构应用服务器:1)服务器DB SERVER2)服务器ETL SERVERFILE SERVERWEB SERVERREPORT SERVER说明:ETL,WEB,FILE,REPORT目前使用同一台服务器,但其在逻辑上是分离的,未来可以根据规划需要进行物理分离.待确认:未来我行用户使用哪个网段访问应用系统?哈尔滨银行数据应用物理架构 4为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能物理架构:服务器配置应用服务器软硬件配置(推荐)物理服务器服务器1服务器2逻辑服务器DB ServerETL ServerFILE Ser

3、verWEB ServerReport Server硬件配置型号：CPU：8个内存：16G-32G网卡：1kM Ethernet存储：2T型号：PC SERVERCPU：4个内存：8G网卡：2*1kM Ethernet存储：500G软件配置操作系统：AIX数据库：DB2操作系统：REDHAT LINUXApp Server：IBM WebSphere其它：宇诚WFT,润乾报表备注各逻辑服务器未来可以根据规划需要进行物理分离 5为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能技术架构:前端应用技术宇诚应用门户宇诚应用门户通用展现平台J

4、2EE技术体系宇诚宇诚EMP润乾报表润乾报表平台管理平台管理金融经理考核金融经理考核经营分析经营分析ETL监控监控数据定制数据定制报表开发报表开发数据补录数据补录图表开发图表开发报表展示报表展示 6为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能技术架构:后端应用技术UDSFETLSHELL数据采集数据采集CC/S技术体系架构技术体系架构总控总控PROCEDURE宇诚宇诚WFT 7为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:数据源范围本期哈尔滨银行数据应用平

5、台整合数据源范围如下：p核心系统:140张p信贷系统:23张张p农贷系统:10张p微贷系统:20张p中间业务系统:26张p国际业务系统:13张p卡前置(银联):2张 8为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:数据分层 9为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:数据层次说明q源数据层(ODM)n分为增量源数据(1日)/全量源数据两部分.n结构严格贴源,按系统划分主题.n完成统一编码标准化.q基础数据层(FDM)n对数据源中的关键模型按逻辑

6、主题进行重组.n完成对不同系统数据模型的信息整合与计算,如客户信息整合、账户均值等.n为关键模型建立历史变动拉链与月底快照模型.q加工数据层(ADM)n应用汇总指标计算,如经营分析指标库等.n划分主题的共性指标分析,贷款汇总统计模型等q应用集市层(MDM)n贴近应用使用的数据模型,一般对应前端一张报表.10为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:FDM主题划分 11为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:FDM账户主题q主题说明n账户主

7、题存放内容为客户持有我行产品所对应的各类账户信息.q二级主题n存款n贷款n银行卡n债券.q数据源范围n核心(存款/贷款/债券）n信贷（贷款）n农贷（贷款）n微贷.（贷款）12为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:FDM账户主题关键点q存款n存款静态表拆分对公对私，添加计算账户余额、积数.n账户款项关系表拆分对公对私，添加了关系的变动日期.n活期/定期动态表拆分对公对私，计算余额年/月积数.q贷款n贷款静态表,动态表信息整合（农贷）,拆分对公对私,计算积数,利息.n整合了分布在各个信贷系统中的账户属性信息,如五级分

8、类,四级分类等.q银行卡n计算了对应账户的余额,积数.q债券n计算了债券账户的余额积数.另外为账户主题的各模型建立了历史变动拉链,月底快照模型.13为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:FDM账户主题建设示例 14为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:FDM客户主题q主题说明n客户主题存放经过UDSF平台整合后客户详细信息.q二级主题n公共信息n个人客户n对公客户n补充信息q数据源范围n核心n信贷n农贷n微贷n国际结算 15为深入学

9、习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:FDM客户主题关键点q客户信息整合n对于分布在不同源系统中的客户信息进行整合.n区分对公对私客户信息.n同类信息的系统优先顺序为:信贷-核心-微贷-农贷-国结.q客户合并n外围系统客户向核心对照识别同一客户,无法识别的生成新的客户编码.n个人客户识别规则:证件类型+证件号码+姓名.n对公客户识别规则:营业执照号+名称.n兼顾核心系统客户合并处理.q客户关联关系n建立平台客户编码与源系统客户编码关系索引.n建立平台客户编码与各类账户的关联关系索引.另外为各客户主题模型建立了历史变动拉链

10、模型.16为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:FDM客户主题建设示例 17为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:FDM总账主题q主题说明n存放的内容包括核心系统总账与内部账信息.q二级主题n总账n内部账q数据源范围n核心 18为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:FDM总账主题关键点q总账n整合日总账(网点),日总账(汇总)两张总账模型.n将总账按月

11、存储,将竖表转为横表以减少数据量(约30倍).n计算余额均值类指标.q内部账n计算余额积数.n建立月底快照,历史变动拉链模型.19为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:FDM总账主题建设示例 20为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:FDM交易主题q主题说明n存放我行发生各类业务的交易事件信息.q主要处理说明n整合核心系统多张流水表的渠道交易信息n外围交易登记簿渠道交易n交易流水柜面交易n柜员业务量柜面交易（不记入交易流水类的）n批

12、量业务流水批量业务n通过以上流水汇总满足对渠道交易量,柜员交易量的统计分析q数据源范围n核心 21为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:FDM交易主题建设示例 22为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:FDM渠道主题q主题说明n存放我行各类渠道以及设备的详细信息.q二级主题n实柜员信息n虚柜员信息q数据源范围n核心n卡前置 23为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人

13、功能数据架构:FDM渠道主题建设示例 24为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:FDM产品主题q主题说明n存放我行发行的各类产品属性信息.q二级主题n公共信息n详细信息q数据源范围n核心n中间业务 25为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:FDM产品主题建设示例 26为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:FDM公共主题q主题说明n存放机构、员工、参数纬

14、表等公用信息.q二级主题n统计纬n平台标准码q数据源范围n核心n中间业务n信贷n 27为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:FDM公共主题建设示例 28为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:ADMq建设思路n采用循序渐进、分期、分阶段建设原则，避免设计空洞、不实用.n本期重点建设两个主题模型经营分析指标库、贷款分析模型.n重点从目前需建设的应用系统需求中的提炼共性需求.nADM数据层设计不宜过“厚”，以免统计口径不一致或粒度不符合业

15、务需求而重复开发.29为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:关键点模型设计规范q包含内容n表命名规范.n字段命名规范.n表空间及数据文件命名规范.n建模工具规范.30为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:关键点平台标准码q目标n建立平台统一标准代码屏蔽我行各数据源的编码差异.n为未来平台整合新的数据源提供编码参考以及编码整合方法.q标准化原则n针对源业务系统中,部分共性且代码相对固定、表达意义一致的代码种类，以及一些关键的统计纬度编

16、码,需要进行编码标准化,比如:币种、性别、借贷别、证件类型、余额分段等.n标准码分为三级编码形式,标准化后的代码在系统中是唯一的,不发生重复.也便于索引编码含义.例如:“账户状态”中“正常”=“1002(账户)0012(账户状态)00001(正常)”31为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:关键点历史变动拉链表设计q目标n拉链算法是目前数据仓库领域使用比较广泛的算法之一，其通常用于记录数据量很大且记录之间存在一种历史延续性，通过拉链算法可以方便快捷得到历史时点的状态，同时以最低的数据存储方式保留历史记录.q设计原

17、则n保留源表所有字段,添加开始日期、结束日期,采用“左闭右开”的方式.n最新状态记录结束时间为定值2099-12-31.n范围：FDM层关键模型，如账户、客户.n保留周期见“平台数据清理策略”部分.q使用方法如取“20080131”日状态语句Select*from table_his where start_date 20080131 32为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:关键点月底快照表设计q目标n由于客户/账户的余额、利率、账户状态等经常发生变动，同时结合实际业务需求，通常业务应用会频繁使用月底数据作为报

18、表需求的数据源，为了提高系统的响应速度，并且提高数据的可操作性，建议对某些客户/账户的状态信息表进行月底快照保存策略.q设计原则n增加统计日期字段，每月底批量保存快照信息，n只保留源表关键指标字段以便分析使用，如机构号，帐户状态等。n对于账户的快照增加计算出的月日均余额、年日均余额、统计积数等统计指标字段.n范围：FDM层账户主题存储余额以及积数类的数据模型.n保留周期见“平台数据清理策略”部分.33为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:关键点积数运算q目标n基于现有所了解的业务需求看，账户的日均、积数等信息是日

19、常报表经常统计的指标之一。通常积数的计算公式如下.n而在计算积数的过程中，采用全量更新账户积数的方式却不太现实（海量数据更新效率低），因此需要在模型设计过程中重点考虑积数的计算过程.1.以当天增量数据，更新增量记录的积数;2.积数的计算公式:3.对于均值的计算过程，需要首先计算截止当天为止的累计积数，然后再除以实际天数；因此在计算月底快照表中，需要采用积数的计算公式对账户的积数进行统计后再进行均值计算；4.在每年1月1号需要对积数进行清零.34为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:关键点数据清理策略q目标n为控制

20、UDSF系统数据容量，保证数据使用效率，在数据存储一定周期后需要对其进行备份再从UDSF系统中清理掉.n清理的数据范围主要包括流水、历史拉链、快照、周期性统计数据等。n账户、客户等关键信息表永久保留全量数据.q数据存储周期策略.增量文件层增量文件层ODMFDMADMMDM2个月13个月13个月13年3年以上 35为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:关键点数据备份策略q目标n需要日常备份的文件包含三类，UDSF数据库、数据采集平台每日采集的源系统增量文件以及UDSF卸载至推送平台的推送文件。采集源文件以及推送文件

21、都以文本文件形式存储，UDSF系统每日会建立单独目录存放可以直接将其拷贝到备机或磁带中完成备份.q备份策略n双机热备n双机冷备n单机备磁带.36为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据架构:关键点数据库规划q目标n数据库是哈尔滨银行UDSF系统的核心，它的设计直接关系系统执行的效率和系统的稳定性。因此在系统开发中，数据库设计应遵循必要的数据库范式理论，以减少冗余、保证数据的完整性与正确性。只有在合适的数据库产品上设计出合理的数据库模型，才能降低整个系统的编程和维护难度，提高系统的实际运行效率.q规划范围n数据库分区，用户

22、结构.n表空间、索引空间、日志空间规划.n数据容量评估，清理，备份策略.n数据库优化策略.数据采集平台q技术方案q采集策略q部署方案 38为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能采集平台:技术方案选择q目标nT+1数据采集的主要功能需要从源系统中采集数据到数据集成平台的源系统数据文件落地区q可选方案n通过专用数据同步工具将源系统生产数据实时同步到数据采集区.例如IBM的II或HDR、ER.n通过存储设备本身的同步复制软件将源系统生产数据同步到数据采集区.n开发通用的采集程序完成数据采集到落地过程.n核心模块采用通用模式（调度

23、传输），卸数部分自定义采集角本.q实施策略n上述四种数据采集模式，均各有特点，各有合适的应用场景。UDSF的数据源也是多种多样，不宜采用统一的数据采集模式；应根据采集数据本身的特点，来规划数据采集模式。对于哈尔滨银行UDSF项目本身来说，每日卸载的数据量在可以接受的范围内，采用第1，2两种方案会带来较大的实施成本和技术难度，我们设计暂用第四种方案完成数据T+1的采集工作.39为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能采集平台:采集策略数据卸载策略q目标n对于采集目标表的数据卸载主要有全量卸载和增量卸载两种方式.n全量卸载即日终

24、卸载数据表中全部数据，处理相对简单。n增量卸载的数据范围为对比上一卸载周期内数据表中新增以及内容发生过变化的数据记录，一般来说需要根据数据中某一时间戳进行判断，有时可能需要关联其他数据表的时间戳才能判断出变量数据，那么这就需要对采集的数据模型进行详细的分析、制订卸数采用的策略.n一般来说各类数据表的卸载策略可参考下面图例.40为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能采集平台:采集策略卸数时间策略q目标n采集数据的卸数时间应以其源系统数据库时间为准并且需要充分考虑业务系统可能发生的日终跑批处理、重启、备份等步骤，规划好每一个业

25、务数据源的卸数时间窗口，根据与科技、系统维护部门的沟通讨论，共同制定的各系统卸数时间方案如下.系统名主备机选择系统日终处理策略是否能够提供日终结束标志其他特殊处理卸载时间策略核心备份是pubsysctrlinfo时间表翻牌为准信贷生产国际结算生产微贷生产待核心系统日终结束运行可以提供（技术人员修改程序）根据生产系统提供的日终结束标志确定是否卸数农贷生产待核心系统日终结束运行可以提供（技术人员修改程序）根据生产系统提供的日终结束标志确定是否卸数中间业务生产md_xtcs.zjyw（日期）卡前置生产sysrunparam表Paramcode=0007的日期 41为深入学习习近平新时代中国特色社会主

26、义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能采集平台:采集策略补录数据策略q目标n数据补录是为了弥补数据源缺失或者业务系统建设不完善的情况而设置特殊采集模式。n数据补录模块的提供是针对不同业务数据库的通用数据录入工具，包括页面录入和模板录入以及数据入库的审批流程。支持对录入数据的事件处理（如新增前进行有效性数据检查、新增后进行数据平衡校验等，使用检核规则来实现）.n数据补录工具服务于各部门、各机构的数据录入人员。该模块使用到“数据集管理”功能.42为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能采集平台

27、:部署方案分布式部署q目标n如图所示：采集程序将在各个数据源服务器进行部署，各自完成针对其业务系统的卸数、存储、传输等采集步骤，各个系统的采集程序无依赖关系但总体程序处理风格保持一致。该方案弊端是采集需要分散部署，维护困难；.43为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能采集平台:部署方案集中式部署q目标n如图所示：采集程序将集中部署在UDSF数据库服务器中，通过DB2的客户端直接访问各数据源系统完成对其数据的卸载。该方案采集程序主要集中在一台服务器上，便于日常的管理和维护，目前该方案也是我们目前建议的部署方案。.44为深入学

28、习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能采集平台:关键点q效率保证n对各个数据源的采集是独立的，数据源间无依赖关系.n对单个数据源系统采集支持并发处理，允许调整最大并发数.n目前部分数据源表数据量较大，时间字段非索引造成采集语句执行异常缓慢，这部分需要待全面测试后与科技方探讨解决方案，可能需要在源系统端加一些时间索引q质量保证n所有卸数角本将采用相同的逻辑编写，避免代码方面差异造成的问题.n系统将设计并开发平台数据模型大数核对程序，可以为UDSF平台ODM的数据表制定关键核算指标，如COUNT、SUM等，与数据源端进行核对，通过这种

29、方式来校验采集的数据的完整性以及正确性。.数据整合平台q数据加载q数据整合q特殊处理 46为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能整合平台:数据加载-加载策略q总体策略n数据加载主要指从源系统采集到的每日增量数据文件装载到UDSF平台ODM数据层的过程，UDSF系统数据加载分为历史数据加载（Initial Load）也叫初始和日常数据加载（Incremental Load）.n从架构设计的角度将充分考虑同一套作业同时实现初始和增量装载的两套功能，每次运行装载处理哪一种加载将由参数来控制。在作业设计时只需要建立一套增量加载的E

30、TL程序 同样能够处理历史数据加载和日常数据加载，而不再开发另一套全量加载ETL 程序处理历史数据加载。这样只需要开发一套ETL 程序作业，减少了开发工作量，并且避免了两套程序可能出现的数据算法不一致造成的数据不一致的错误.n对于涉及大量历史数据加载的策略，我们可以采用时间窗口的分段的方法来处理历史数据量大的表的装载，即我们可以一个一个时间段来加载历史数据.47为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能整合平台:数据加载-加载策略q日常处理策略n全量加载：首先清空ODM（增量）目标表的昨日数据再进行全量数据加载；进行全量加载的

31、表主要为数据源表中无时间戳或其它标志可以剥离出每日变量的并且信息量较小信息表、代码表等，这部分包含的内容一般情况下不会被分析历史状态所使用，无需建立历史变动拉链表.n增量加载：首先清空ODM中目标表的昨日数据再进行该日增量数据的加载；增量加载的数据源表中包含时间戳或者唯一流水号、变动标志等能够准确剥离出每日变化数据的标志字段，如流水表、账户动态表等.n比较增量剥离：首先用本日的全量信息文件与上日的全量信息文件进行比较，将发生过变化或者新增的信息记录剥离出来，再将这些变化的数据插入ODM模型中。通过这种方式来满足那些数据源表中无时间戳或则其它标志可以剥离出每日变量的并且需要增量加载并在UDSF平

32、台保留历史变化痕迹的信息表，如客户地址信息、利率信息等模型.48为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能整合平台:数据加载-加载策略q初始化数据策略n考虑到由于历史数据初始化是UDSF上线前一次性将历史数据导入到UDSF模型的过程，ETL不单独再行开发程序，采用复用增量加载的JOB,并按实际情况进行手工调整JOB以满足初始化装载需求的方式。对于数据量特别大的历史表，ETL充分考虑处理的效率，将采取时间窗口分割的方法来进行分段加载.n初始化加载数据时应先检查UDSF物理数据库，删除索引后再进行数据加载，加载完成后需要使用脚本重

33、新创建索引.n初始化前的准备：存储的准备，数据的准备.n初始化过程监控：ETL在进行数据初始化过程中需要进行监控，保证初始化过程的正常运行以及错误的有效记录.n初始化事后检查：数据初始化累计完成数据后，需要对入库数据进行核对，一般主要对存量的客户数、账户数、交易量、机构和科目余额进行大数核对，确保初始化进入UDSF的数据的准确性.49为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能整合平台:数据加载-错误数据处理q错误数据处理n在数据文件ODM以及ODMFDM加载的过程中数据可能会因为数据质量或者其它一些原因产生被REJECT的情况

34、，异常数据产生后，需要一套专门的流程机制来完成数据的：排查定位分类修改复核提交记录的过程，一般情况下的处理方式如下.50为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能整合平台:数据加载-错误数据处理qREJECT数据处理n对于发生REJECT的记录需要添加至目标表对应的REJECT日志文件中，记录需要保留完整内容以便于问题分析和修正，对于REJECT信息的修正采用“数据源端修正”以及“手工修正”两种方式，对发生REJECT的数据源表需要与源系统负责技术人员共同探讨解决方案，如何可能尽量多采用“数据源端修正”的方式修改错误数据并且重

35、新采集加载至UDSF平台，否则采用“手工修正”数据文件方式调整记录内容再完成加载动作.qREJECT数据监控n在发生REJECT的同时，加载程序需要统计相关的REJECT信息插入至“REJECT日志统计信息表”中，UDSF平台应用端（WEB）将提供一张统计报表展示出日志统计信息表中的内容以达到监控的目的。“REJECT日志信息表”的内容如下.序号（自增长)）加载日期数据层（ODM/FDM）程序名 数据源表 目标表 REJECT记 录数备用 51为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能整合平台:数据加载-错误数据处理qREJE

36、CT任务处理n在UDSF平台数据加载过程中如果发生了REJECT数据情况那么平台的整体调度过程是否应受其影响，在这里考虑采用为每个加载信息表设置配置参数的方式来决定平台的整体运行机制.n处理策略目前包含两种选择1.忽略正常数据继续插入，平台整体ETL调度继续运行。2.暂停按照ETL出错处理（该任务回滚），暂停该装载JOB以及其后续的任务。.序号（自增长）添加日期 结束日期目标表名 处理策略 备用 52为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能整合平台:数据整合q数据整合范围n客户、账户、产品等逻辑主题模型整合n账户积数,均值计

37、算.n历史变动拉链n月底快照n标准码清晰n汇总指标的计算.53为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能整合平台:关键点机构撤并q源系统处理方式n对于机构的拆分和撤并在这里着重阐述一下UDSF平台的设计方案，目前哈尔滨银行各应用数据源系统对于拆分和撤并的处理方式不尽相同，如“国结系统”的撤并处理就比较简单，只是在机构参数表中将标志置为无效，对于历史数据不做处理。而“核心系统”相对而言处理略微复杂，主要方式是通过配置表定义撤并任务，在日终完成撤并或拆分动作，撤并或拆分将刷新部分账户或客户信息表中的机构号码，具体的处理方式如图.5

38、4为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能整合平台:关键点机构撤并qUDSF系统处理方式n核心系统在发生机构拆分或撤并时本身已有了一套机制来完成拆分或撤并的处理动作，那么未来UDSF平台对于发生的机构撤并与拆分该如何处理？这里有两套方案可供选择.方案介绍方案介绍优点优点缺点缺点是否推荐是否推荐1.1.采集撤并后的数据采集撤并后的数据.主要是针对核心而言，因为发生撤并处理时核心各子系统账户中机构号变更但账户变动日期不做记录，因此我们需要在数据采集时读取撤并的配置表，将本日撤并/拆分/并入机构相关的记录或者拆分的账户数据都当作增

39、量数据采集出来，再加载到UDSF平台中，这样能保证与核心数据一致1)处理相对简单 2)数据能够保证与源系统一致 1)该方案只适合核心系统数据 不推荐；虽然说对于核心某些数据表撤并的处理相对容易但还需要额外设计一套方案处理其它信息表，两套方案并行不适用2)获取的变量数据会包含实际未发生变化的记录 3)对于平台一些有特殊要求的表的处理也不通用，例如总账模型，需要额外设计处理细节 2 2重新设计撤并重新设计撤并/拆分处理（仿核心系统拆分处理（仿核心系统)1)使用所有采集到的数据源 1)逻辑相对复杂,对设计要求较高。推荐；参考核心系统的配置表重新设计一套UDSF平台的机构撤并/拆分处理方案，UDSF配

40、置表每日加载核心配置表中的配置项，采用与核心同样的程序逻辑来完成加载到平台的核心数据源模型的撤并/拆分处理；UDSF平台的处理方案还需要兼顾到其它采集到的数据源表、拉链表、快照表等，通过在核心系统配置撤并/拆分任务，UDSF平台完成所有采集数据源撤并/拆分处理这种模式来处理该类问题2)平台中只存在一种设计方案，设计思路较清晰 2）如果设计或实现存在缺陷可能造成与核心系统的数据不一致 该种方案最明显的好处就是可 以 针 对 UDSF平台对撤并/拆分的需求单独设计，并且所有系统的处理风格能够保持一致3)对于机构撤并的处理集中在一两支程序中，便于维护 q撤并处理要点n刷新FDM，ODM信息表中的归属

41、机构字段nFDM总账模型中被并机构的年积数要累加到并入机构积数中n对于统计月汇总交易的模型要考虑将本月被并机构的交易累加到并入机构统计总量当中n对于已成历史的交易表，统计表不做刷新处理，保留历史状态。.55为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能整合平台:关键点结息日处理q处理策略n目前我行存款/贷款账户的结息周期为每个月20号，这一天存/贷款账户基本上都将发生变化，采集到UDSF平台的存/贷款信息表也将是接近于全量的信息，并且相关业务流水明细信息表的记录数也将比较庞大，但考虑到我行全量账户总数还是在一个可接受的范围内，因此

42、暂时不考虑另外进行开发而沿用日常加载时的ETL程序进行处理，但需要该日常加载程序在设计初期将多线程处理等优化处理方案考虑在内.56为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能整合平台:关键点年终结转处理q处理策略n年终结转主要涉及的是核心总账主题相关的表，如“内部账分户文件”、“日总账”、“周期总账”等。核心的处理方式为每年12月31日日终完成账户间的结转，最终保留下来的12月31日账务信息为结转后的信息，这部分信息也将被UDSF平台所采集。但是业务部门经常会需要12月31日终结转之前的账务数据，因为该数据能够反映出每个账户以及

43、每个科目一年的真实损益情况，这部分信息对于业务部门相当重要，这部分数据整合进UDSF平台是相当必要的。但是目前没有渠道能够让UDSF平台自动采集到这部分数据，针对于这种情况平台初步设计两种解决方案供选择.1.数据源端完成结转前数据的备份，UDSF平台自动采集方式2.业务人员自行备份，通过UDSF平台的补录接口进行信息补录 不管采用上面哪种方式都需要一定的管理要求，比如在12月31日系统日终处理前必须保证数据的正确备份否则事后很难进行追溯，需要在管理上加以要求.57为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能整合平台:关键点村镇银

44、行数据的处理q处理策略n目前我行发展的村镇银行与我行共用一套生产系统，其业务数据与我行目前是混在一起的，但业务部门要求在UDSF平台前端展现的报表中不包含村镇银行的业务数据，对于这种需求平台有两种方案可供选择.1.UDSF采集平台采集平台屏蔽屏蔽指的是UDSF采集平台不采集这部分业务数据使其不进入到UDSF平台中，在物理上隔离2.UDSF前端应用屏蔽前端应用屏蔽 UDSF平台对数据的采集、整合、汇总等操作也包含这部分内容，平台机构信息表中添加是否村镇银行的标志字段，在前端展现时进行屏蔽，作到逻辑上的隔离 在与科技部门讨论后决定UDSF平台暂时使用第二种方案来处理。.数据推送平台q总体架构q实施

45、目标 59为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据推送平台:总体架构.60为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据推送平台:实施目标(1)监管系统q监管系统数据源移植n“监管报送”系统是我行目前正在使用的一套应用系统，其数据源包含“核心”，“信贷”等系统。目前“监管报送”系统数据的获取方式是从“核心”，“信贷”等系统分别采集业务数据，虽则其系统需求功能逐渐增加涉及的数据源系统范围也越来越广，未来UDSF系统上线后将成为监管报送系统的唯一数据源，UD

46、SF数据推送平台可以实现将监管报送需要的业务数据按照其原需求文件格式、文件内容、传输方式、存储位置等条件传输至“监管报送”系统所在服务器，使“监管报送”系统不再需要关心数据的获取而只关心本身的应用就可以了，这样也达到了使其数据源平滑过渡的目标.61为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据推送平台:实施目标(2)自定义数据推送q监管系统数据源移植.62为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据推送平台:实施目标(3)指标电子渠道推送n其主要功能是将UD

47、SF平台计算的重要经营指标数据按照规定的方式推送至我行“短信平台”、“邮件服务器”等信息传输渠道，再借助这些渠道本身的功能推送给信息接收者。n例如UDSF平台每日将我行经营分析类的统计指标卸载为固定格式的文本文件，再按照与邮件服务器的约定接口完成文件传输，由其每日通过邮件形式将电子格式的报表发送给对我行经营指标关心的行领导。再例如每日UDSF平台完成日终后将总体的运行状态指标卸载并推送至短信平台，由其将平台运行信息通过短信发送至系统运营人员的手机，使其第一时间了解到平台的运行状况。n通过推送平台与电子渠道的互动使UDSF平台信息的消费从被动变为主动，这也是UDSF平台未来发展规划的重要方向。但

48、该功能的实现与我行电子渠道本身的建设有这重要的联系；功能是否能够实现、实现效果如何也受各种客观因素的限制。n另外对于平台推送信息的范围、功能的多少都需要与银行科技部门、业务部门进行进一步的探讨，建议UDSF平台本期重点建立与其它电子渠道的交互接口并完成少量指标信息的推送，未来随着平台的不断建设逐步完善和扩展这部分的功能.ETL总控平台q功能架构qETL监控q日期翻牌 64为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能ETL总控平台:功能架构q管理模块n流程管理.n调度核心n任务执行n日志管理n任务监控.65为深入学习习近平新时代中

49、国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能q流程监控nETL流程监控主要是监控整个ETL过程的动态执行情况，可以监控到ETL当前执行的任务以及相关状态.q作业监控n通过监控界面实时监控ETL作业的日程和执行情况，并在必要时手工停止作业的运行.ETL总控平台:ETL监控 66为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能ETL总控平台:关键点平台日期翻牌平台端应用总体实施架构q实施架构 68为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书

50、室育人功能实施架构维维维维护护护护卸卸卸卸数数数数角角角角本本本本配配配配置置置置参参参参数数数数ETLETLETLETL开开开开发发发发通用展现平台q逻辑架构q功能架构q物理架构q报表发布流程 70为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能通用展现平台:逻辑架构PeopleSoftEnterprise Portal通用展现平台登陆门户通用展现平台登陆门户平台管理平台管理经营分析经营分析管理员普通用户用户管理机构管理通用参数管理公告管理报表管理经营分析报表平台运行监控角色管理权限管理数据补录金融经理考核金融经理考核参数维护考核