银行数据仓库建设项目方案.docx

XX银行EDW/数据仓库工程方案数据准备区的功能包括：格式转换、排序去重/筛选、通用基础清洗、连接/ 合并/分割、业务转换等操作型存储区操作型存储区是数据仓库系统一个重要的环节。该区有着承上启下的作用， 从数据形态来看，该区的数据定义贴近业务源系统;从数据标准来看，该区的数 据标准是遵循数据仓库系统的标准。所以该区一般分为两个层次，第一个层次称 之为良好质量的、统一格式的数据贴源层，第二个层次为统一的、规范的、遵循 数据仓库系统标准的数据标准层。数据贴源层可以继续为行内现有的一些报表系统或者分析系统提供数据， 而数据标准层为数据仓库中的企业数据模型的落地扫清了道路。所以该存储区在整个EDW系统起到了一个承上启下的关键作用。1.2.3.5 EDW 存储区EDW存储区是面向主题的、集成的、面向企业的、最明细的数据存储，其内 容是依据最终用户应用和分析需求来进行组织。数据存储区中的数据模型对标准 层数据、基础整合数据、汇总数据和面向应用的集市数据按数据层次进行管理, 每个数据层有自己的数据管理重点。对于每个数据层次，再按主题进行分类组织。 这样就可以有效的将银行企业的操作型数据、汇总型数据和分析型数据以清晰的 架构组织、管理起来，并相辅相成。数据层的内容相互促进开展，组成银行完善 的数据集合，为各种主题管理应用的构建提供良好的数据架构基础。1.2.3.6 业务应用业务应用是EDW系统向业务用户提供应用功能支持，根据应用服务提供的形 式和所采用的应用系统的不同，业务应用主要定义在以下几个技术环境。数据集市：在业务应用层中包含了应用系统中需要的应用集市、OLAP、静态 报表等数据集市。数据集市是一组特定的、针对某个主题域、部门或用户分类的 数据集合。这些数据需要针对用户的快速访问和数据输出进行优化，优化的方式 可以通过对数据结构进行汇总和索引。通过数据集市可以保障EDW的高可用性、 可扩展性和高性能。应用环境：应用环境是为满足业务需要在数据EDW环境中配置的应用软件包。分析环境：数据分析环境为EDW的高端用户提供即时的数据分析功能等。报表环境：报表环境是于来产生和发布静态报表的环境，包括：产生的静态 报表、OLAP产生的报表、KPI指标展现以及其他系统产生的报表。1.2.3.7 用户环境用户环境是EDW系统最终向用户提供的某种应用服务的集合，主要有三种应 用服务的表现形式：通用展现平台：通过此平台将报表、KPI展现、灵活查询、分析等多个应用 集成到一个平台中，进行统一的展现和信息的管理，包括如：报表生命周期的管 理等。数据分发环境：在数据分发的过程中应提供大容量数据批量分发的能力。给 其他需要某个系统的数据提供数据交换功能。报表分发环境：报表的分发应可以满足系统定义的平安性，如按照不同的用 户类型、不同的组织进行分发，不同的用户和组织只能看到属于自己的报表的数 据，数据的分发将通过数据传输平台进行。1.2.3.8 元数据管理元数据管理是对数据信息的收集和发布的集成管理，数据信息包括：数据的 业务含义和技术特性。数据仓库系统架构中的各个局部中都含有元数据信息，应 对其进行主动式管理，以保证它正确的定义、收集和使用。元数据是“关于数据 的数据”。应包括文件结构定义，数据库字段名称，数据模型中的长度和标准， 以及在域-域或域-报表对应关系中的计算和公式等内容。元数据管理的架构如以下图所示，系统的最终架构应实现对元数据的集中的管 理方式：先fllfllltlK分物M索味 住机系统.美系也 汨哥M.X怆系统）M««rn (JOEAv/ir.)技术元政楣用户 提售违反.ETL开发人员. 败发现王开发人员） 1ETLXA (Pef1'8leo>业务用户MXAOodno)MimrA(RSAS)内用软件运短人昌 做据仓庄*理人员.兄 政网理人员）由蛾工具第CA Repostfofy/ ASG Rochade. Pine Cone)1.2.3.9 系统平安性EDW系统中的数据和报表信息均为敏感信息。因此必须采用适当的平安策略 以保证其系统和数据的平安性。数据仓库系统的平安性应涵盖如下四个方面：- 验证：系统应对用户进行访问控制，保证只有合法的用户才能进入到系 统中；授权：系统应根据用户角色对其进行授权，包括对数据的访问权限，对 功能的使用权限等。- 机密性：所有的敏感数据必须被严格控制，禁止未授权访问，并保障其 平安性。- 一致性：数据和程序只能在授权模式下进行修改。针对上述6个方面，数据仓库分系统应按照以下的6个方面的标准进行建设:应用层EDW应用系统是建立在OLAP软件平台的基础上，应用层应实现用户访问控 制的功能，针对不同的用户访问不同的系统资源来保证整个应用系统的平安性控 制。对于未来的数据仓库系统来说，应与统一门户平台整合，实现整体平安性管 理的策略；数据库层只有被授权用户才能访问和修改数据库中的信息并且数据在传输过程中应 对敏感信息进行加密处理来保证数据的平安。数据库管理员应按照角色对数据库用户进行划分，并且通过赋予角色权限的 方式实现对用户平安性访问控制的管理，如：针对用户组或耽误用户分配特定数 据表访问权限。系统层系统应防止未授权访问和系统调用，及时进行系统平安补丁的更新。对于系 统主机应采用服务器加固的方法，来保证整个系统的平安性。网络层网络层平安是保证网络节点之间数据传递的平安性，以及网络环境不受恶意 攻击。XX银行数据仓库环境建立在企业内部网络中，不同功能的服务器应部署在 不同网段中，网段之间相互隔离，对网段之间的访问应通过防火墙并定义严格的 访问控制策略。整个系统的网络环境应得到实时监控，对入侵进行检测和处理， 并在发生入侵时通知系统管理员。物理层物理层平安保障物理设备（主机、路由器等）不受非法用户攻击。目前物理 设备的平安性由运行中心负责。管理管理局部与上述的所有平安问题相关，对平安问题的管理必须由多个部门共 同协作完成。管理层面包括： 平安资源：实现各种平安使用的资源，如：防火墙，入侵检测和处理设 备，反病毒软件等；平安策略和规划：各种平安规那么，组织和责任人； 突发事件处理：在发生平安威胁时的应急处理流程，包括：事件记录、 时间报告制度等流程；平安审计：对平安策略的审核和检查； 灾难恢复计划：发生问题后的系统和数据恢复；1.3 EDW逻辑架构逻辑架构框架数据平台层ET数据源层数据落地区数据消费传输通道访问控制层>1供数服务AJAX >用户层数据集市层exportJDBCexport技术元数据网络平安数据平安平安管理体系报表/复杂 报表灵活查询 仪表盘 系统管理connea-onpoo-操作元数据操作系统平安Web服务器Bean JSPCPageBean)VCfeequestBean'CRequestBean> JSP(PageBean)Bean业务元数据多维分析K p I系统管理2权限统一管理xlAPPbca-ionBean灵活查询固定报表一操作型功能|脸_JSP' PageBeann ccIl g I _统一用户门户1支持多种中间件应用平安一线业务 使用人员管理 决策人员> B/S高级 分析人员维护人员如上图所示的XX银行EDW的逻辑体系架构,这一架构是在联科可扩展的EDW 系统框架的基础上，结合XX银行信息系统建设的实际情况而设计出来的多层、 可扩展框架结构。架构的核心上包括源数据层、ETL流程调度、数据平台层、数 据集市层、应用服务层、访问控制层、用户层和数据消费传输通道七个大局部， 另外，元数据管理和平安管理也是系统必不可少的局部，这2局部会涉及到所有 核心层次。在明确定义各层之间的接口后，多层框架结构具有高度的扩展能力和方便的 系统开发和维护性能，符合目前流行的多层应用结构，适合EDW系统多阶段、多 层次的应用特点。1.3.1.1 源数据层【功能与作用】总行的各个业务系统为整个EDW系统提供原始数据支持，首先作为ETL层的 数据抽取源。【组成局部】目前总行的数据源包括XX银行的多个业务系统，主要有核心系统、个贷系 统、对公信贷系统、国际业务系统、财务系统和各类渠道系统等。1.3.1.2 ETL流程调度层【功能与作用】该层为EDW数据流向的主要环节，EDW系统数据流动的流程调度核心层，流 程调度主要针对下面几个方面： EDW系统将数据源的数据抽取到数据落地区EDW系统对数据执行格式转换、排序去重、通用数据清洗、业务转换后 等操作，最终完成数据准备区加载。 EDW系统再将数据准备区的数据按照EDW数据模型的方式加载到数据存 储区中。 在数据存储区中进行基础数据层、加工汇总层和应用集市层的数据加载。 EDW中的数据准备区和数据存储区可以为为其它系统提供数据服务。 总行EDW可以为分行EDW提供数据服务。【组成局部】上面的逻辑架构图淡绿色色矩形局部为ETL调度管理技术架构图，其作用 是让许多的任务在作业的执行条件满足时自动地执行。ETL调度管里最基本的可 执行元素是单元，每个单元是完成某一特定功能的程序，相关单元组合在一起构 成了可以调度的最小组件一一任务。由上面的技术架构图可知，ETL调度管里包 含以下组件： 知识库建立在DB中的一个数据库，包含了与流程调度相关的一组表，保存ETL流 程调度服务器、任务、任务之间的依赖触发关系、任务组、调度计划等多种类型 的信息。 侦测器驻留在后台的服务，基于定义的触发规那么和调度计划监测是否触发任务的执行。 任务调度引擎接受侦测器的信息调度任务执行（可以使本服务器任务也可以是其它服务器 的任务）。 任务执行代理调用任务包含的每个单元执行的服务，同一服务器上可以有多个任务执行代 理同时运行。 任务封装在Perl程序中，执行数据加载、整合、立方体生成等工作的一组程序。 日志管理引擎记录ETL调度管理各个服务器组件以及每个任务的执行日志，日志按天保 存，可以定期清理。 管理监控器Java应用程序，用于定义任务、任务组合触发关系等信息，同时可以实时 监控任务执行情况查看日志。作为专门为数据仓库系统设计的流程调度管理具有如下特点： 任务执行代理可分布在多台服务器上。 结构简单、伸缩性强。 支持多种执行任务。1）加载数据2）整合数据3）数据质量检查和清洗4）数据转换5） OLAP数据生成6）数据挖掘模型的执行7）定制报表的产生8）定制页面的产生9）数据库备份、告警等系统作业10）调用其他ETL/ELT工具产生的任务11）数据导出到指定的渠道系统执行的任务可以是另一个任务调度引擎触发（如：EDW）O 可以启动其它的ETL引擎的任务。1.3.1.3 数据平台层【功能与作用】作为本系统的数据核心局部，它负责存储和管理来自各种源数据系统的数 据，并为访问用户提供数据服务。这些数据是按照在逻辑数据模型分主题存放的。【组成局部】本层由操作型存储区、仓库存储区和集市应用层四个局部组成。详细内容参 见“EDW数据架构”1.3.1.4 数据集市层【功能与作用】数据集市是一组特定的、针对某个主题域、部门或用户分类的数据集合。 这些数据需要针对用户的快速访问和数据输出进行优化，优化的方式可以通过对 数据结构进行汇总和索引。通过数据集市可以保障EDW的高可用性、可扩展性和 高性能。【组成局部】包括：驾驶舱报表系统和灵活查询以及其他应用集市系统。1.3.1.5 应用服务层【功能与作用】通过对数据平台层中的数据进行适当的提炼、汇总，利用通用展现平台向用 户提供包括报表服务、查询服务、决策仪表盘等相关服务。该层为用户对中央数 据的访问提供各种方式的服务（C/S、B/S）,从而实现访问方式的多样化和信息 存取的透明化。【组成局部】通用展现平台主要包括的功能模块有：第一个层次是核心模块包括：框架、引擎，核心模块作为报表集成开发环 境的基础、核心和框架存在。报表集成开发环境核心功能和模块组装由核心模块 统一提供，只暴露给开发人员；第二个层次是管理模块包括：报表信息、基本管理、代理、信息推送、连 接信息，管理模块为报表集成开发环境提供管理服务，它提供报表集成开发环境 的用户、权限等的统一管理，管理模块也是报表集成开发环境必选模块，它的很 多功能调用由核心模块提供，管理模块包括5个子模块；第三个层次是应用模块包括：仪表盘、灵活查询、数据录入、报表、复杂 报表，应用模块提供报表集成开发环境最终用户（非管理人员）的用户体验，可 以和管理模块相结合有选择地灵活部署。1.3.1.6 访问控制层【功能与作用】访问控制层主要包括WEB、认证、平安、门户四方面的服务。该层位于用户 层和中间服务层之间，为用户层成提供HTTP服务、门户的单点登录、用户统一 认证、提交用户层请求到中间服务层，对用户实施平安策略，为用户管理报表、 查询文档，提供个性化定制等。1.3.1.7 用户层由上面的逻辑架构图可知用户层包括各种最终用户。按照用户使用EDW系统 的方式和特点，可以划分为业务分析人员、高级分析人员和管理决策人员。所有 用户统一通过用户门户访问EDW系统各类应用，从而实现了 EDW系统的应用界面、 平安管理统一，同时用户可以对门户进行个性化定制以方便自己使用。实际上，EDW系统还包括进行系统建设的开发人员、系统运行人员和系统管 理人员，这里所指的用户层主要针对业务用户进行描述。 业务分析人员主要指总行各业务部门、各分行的业务用户，如：客户经理。该类人员直接 使用模块化的应用界面访问EDW系统，生成或预览预定义报表，进行相对固定的 查询以及多维分析。这类用户会使用B/S和C/S两种客户端访问EDW系统。 高级分析人员是指总行各业务部门、各分行的较为高级的用户。除能够执行一般业务分析 人员进行的操作外，可以对指定的主题、指标进行自定义的灵活分析和比拟。分 析的方式包括自定义查询、自定义报表、多维旋转和穿透钻取等等。这类用户会 使用B/S和C/S两种客户端访问EDW系统。 管理决策人员主要包括各部门的领导、分行领导和总行领导。EDW系统为管理决策人员分 配专门的系统资源，建立最为直观和方便的存取界面，为决策人员赋予最大的信 息访问权限，实现决策人员对信息的自由访问。同时，EDW系统将决策人员最为 关心的信息主动发布到决策人员的访问界面上，简化信息访问的方式，使得决策 人员在第一时间获得经营管理的各种重要信息和指标。这类用户只会使用B/S 客户端访问EDW系统。1.3.1.8 消费数据传输通道在数据仓库系统建立以后，会有很长一段时间旧有的报表系统和分析系统需 要逐步迁移，在此期间，需要有一个消费数据传输通道来支持旧有系统的良好运 转。1.3.1.9 平安管理体系平安管理体系主要包括以下四个方面： 网络平安主要包括在不同网络层次设置不同级别的防火墙及IDS系统，同时在每 一个平安层次下通过部署不同的平安原那么，这完全符合XX银行的平安级 别规定。 操作系统平安系统所有应用或数据库服务器均采用Unix操作系统，操作系统本身有着 严密的系统平安认证与用户权限管理体系，并具备登录、审核以及资源 访问的审计与跟踪。 数据平安提供各种基于数据库的平安保护机制。 应用平安应用是直接面对用户的，虽然应用系统能够持续提供服务是涉及到系统第一章系统总体架构4总体架构设计概述41.1.1 总体架构的设计框架4总体架构的设计原那么51.1.2 总体架构的设计特点5EDW执行架构61.1.3 执行架构概述6执行架构设计原那么61.1.4 执行架构框架7EDW逻辑架构141.1.5 逻辑架构框架14数据处理流程201.2 EDW运维架构21运维架构概述211.2.1 运维架构的逻辑框架22EDW数据架构271.2.2 数据架构设计原那么27数据架构分层设计291.3 EDW应用架构31应用架构设计原那么311.3.1 数据服务32应用服务33第二章ETL体系建设34ETL架构概述342.1 ETL设计方案36平安的问题，但是因为这些问题更多的是由系统的平安问题来保证的。 所以就应用级的平安策略更多的是保证对数据访问的合法性。131.10元数据管理体系在机构内关于数据的信息称为“元数据(Metadata) ”。清楚地区分数据库中 的数据和元数据是很重要的，所谓元数据，是指关于数据的数据，即用来描述数 据的类型、来源、定义、存储位置，使得可以正确地使用数据仓库。元数据仓库(Meta Data Repositoiy)对业务人员来说是很重要的，是业务人 员与数据仓库的数据交流的传达手段。IT人员可能已经拥有许多有效的工具进 行数据存取。但对业务人员，他们需要一种手段和工具来理解他们存取的数据。在本期EDW系统的建设中，包括技术元数据和业务元数据两类，其数据源涵 盖了 EDW系统的各个环节，包括：数据源系统、EDW数据库、EDW逻辑数据模型、 ETL系统、业务应用系统等，同时，还将涉及数据的业务含义和业务规那么等相关 业务文档。在架构上，元数据系统包括：元数据应用、元数据报表、元数据分析、 元数据集成系统、元数据展现系统、元数据管理系统、元数据维护系统。数据处理流程各业务数据源系统通过多种方式(如：ETL工具直接从源系统获取、源系统 数据批量导出)将数据获取过来，由数据落地区区进行集中管理。后续的数据加工、转换通过ETL Server来完成，中间采取不落地的方式，将 加工完毕后的数据放在数据准备区域。ETL Server可通过ds job, FTP, NFS等 方式从数据落地区获取数据，将处理后的结果放在数据准备区域。再将数据准备 区的数据加载到数据存储区中。根据目标系统的不同,采用灵活的方式向外提供数据,可使用ETL工具直接向 目标系统加载或者通过FTP方式向其他目标传输。为支持其他的业务需求，将近 期(30-60天)的明细数据、流水数据集中存放在数据库系统中，日常增量数据刷 新数据库系统。整个过程通过调度工具进行统一调度,集中管理,确保各项任务有序完成。1.4 EDW运维架构运维架构概述以下图中给出了 EDW的运维架构，是在EDW系统上线后，为了保持系统良好的 稳定性而定义的相关的管理需求。运维架构主要是针对执行架构的数据导入层、 数据服务层、中间服务层和访问控制层服务器进行管理，面向的最终用户是IT 人员。翩环境性 能 容 JSD.规 划性 能 容 JSD.规 划系统监控管理系统维护管理、一 咫维安全管理备份恢复管理故障切换管理图1运维逻辑体系架构运维架构中包含了如下组件：系统监控管理组件、系统维护管理组件、备份 恢复管理组件、故障切换管理组件、性能容量规划组件和运维平安管理组件。各 个组件的主要功能如下：系统监控管理组件：监控网络/系统性能、运行，以及诊断和报告故障。管 理的硬件和软件包括所有开发、测试和生产环境中的硬件和软件。系统维护管理组件：系统维护是指系统在运行过程中，为了系统的正常服务 而进行的配置、参数管理，以及启/停机、清理过期数据等日常操作，以及 数据、系统发生变更的维护等。备份恢复管理组件：备份/恢复管理组件处理系统中所有必须的备份和恢复 操作。这个组件根据备份策略，通过对数据的冗余存储来保证系统可以从各 种服务中断中恢复。故障切换管理组件：故障切换管理提供了管理和控制应用切换的机制。故障 切换组件使用冗余系统和数据来保证关键任务数据流不间断。当发生故障或 失败时，该切换发生在主系统和备份系统之间。性能容量规划组件：性能及容量规划从环境中的不同元素收集利用数据，并 规划硬件和软件能力需求。运维平安管理组件：运维平安管理组件通过制定和管理运维平安策略，并利 用平安工具，维护信息系统资产（包括硬件、软件、用户数据、信息/数据） 的机密性、一致性和可用性。运维环境管理组件：运维环境管理用于确保物理环境和系统环境的妥善管理 和保护，不受故障和灾难的侵害，以及不受人为因素的干扰和破坏。整个运维架构通过一些标准的流程实现生产环境运行管理，包括的流程主要 是日常操作流程和特殊操作流程。日常操作流程是指IT用户在日常为维护生产 环境正常运转需要做的工作，如：数据仓库管理、系统监控、备份恢复、容量规 戈上特殊操作流程不会每天发生，这一流程的启动通常是由于系统软硬件升级、 数据变更、新增应用等需求引起的。运维架构的逻辑框架1.4.2.1 系统监控管理在EDW系统中，需要监控管理的系统元素可以分为如下五类：网络/主机管理：用于监控、控制和报告网络及主机状态。数据库/数据仓库管理：提供相关监控信息源，控制各个独立的服务器或数据 库/数据仓库。应监控所有的关键数据库/数据仓库性能比例，以保证高可用 性和性能。应用管理：处理客户应用中发生的事件。应用本身包括了衡量内部应用响应 时间和性能的工具，应这些工具产生的信息（如日志、运行报告等）用于监控。生产调度：生产调度组件包括了一套应用，用于调度和自动化网络、系统和 应用管理（如ETL）特有的任务。平安管理：运维架构中涉及的平安管理内容主要包括身份管理、系统级密钥 和证书管理、平安策略管理。系统监控管理的主要任务及工具支持如以下图所示：任任务工具1.4.2.2 系统维护管理系统维护是指系统在运行过程中，为了系统的正常服务而进行的配置、参 数管理，以及启/停机、清理过期数据等日常操作，以及数据、系统发生变更的 维护等。系统维护管理包括两方面的管理内容：系统维护和变更管理。系统维护是指系统在运行过程中，为了系统的正常服务而进行的配置、参数管理，以及启/停机、清理过期数据等日常操作。 变更管理允许对技术架构组件进行变更的控制管理。在EDW系统运行过程中, 有两种典型的变更需要进行管理：数据变更和系统升级。变更控制组件可以 协助运维团队、开发团队和业务部门之间的沟通，保障系统的变更平滑进行。系统维护管理的主要任务及工具支持如以下图所示:系桀眇数据仓库维护数据库对象管理权限管理空间分配 ETL维护作业调度控制作业错误处理日志管理数据库日志管理 ETL日志管理性能优化变更管理数据变更源数据变更数据模型变更 ETL变更系统升级应用软件升级系统软硬件升级DB AdministratorDB ManagerETL AdministratorReconfigSQL Visual ExplainDB Index WizardDB Statistics Wzard备份恢复管理备份与恢复的目标在于：保证在任何时点对数据的完全恢复。最低程度地降低数据丧失。尽量提高数据备份过程的效率。备份恢复管理的主要任务及工具支持如以下图所示:磁带库Net 诟ultServer统一实施1.4.2.3 故障切换管理故障切换管理组件提供了管理和控制应用切换的机制，提供系统的高可用 性。故障切换组件使用冗余系统和数据来保证关键任务数据流不间断。当发生故 障或失败时，该切换发生在主系统和备份系统之间。在故障或失败事件中，故障 切换管理组件将系统资源重路由到稳定配置的备份系统中，直到主系统被恢复或 替代。冗余设备RAID 1 & 5Server统一实施耀仓库服彝冗余设备 RAID 1 I/O双路双工 Cliques 机制 网络容错网络自动分配多个冗余连接负载均衡器HP MC软件故 障 切 换 功 能性能和容量规划性能和容量规划组件代表了从环境中的不同系统元素收集利用数据，并规 划硬件和软件能力需求的工具。数据通过放置在环境中系统元素一端的代理进行 的收集，并由容量规划组件进行分析，包括磁盘容量、内存使用、处理器使用、 数据库、和网络等。性能容量规划包括如下组件：信息收集：收集性能容量相关的重要分析数据；性能管理：对系统系统性能进行监控、管理、分析和调优；性能容量规划：基于历史趋势和未来性能容量需求进行规划；性能容量规划的主要任务及工具支持如以下图所示：7I 息收集 NET通讯量 CPU利用率 磁盘I/O 内存管理 数据量 数据噌长情况 记录数 并发用户数锁信息息收集 NET通讯量 CPU利用率 磁盘I/O 内存管理 数据量 数据噌长情况 记录数 并发用户数锁信息性能监控性能管理性能分析性能调优容量规划性能容量指标容量估算规划实施DB ManagerDQM容量估算计算器A Resource Usage Macros and TablesDB Performance Monitor1.4.2.4 运维平安管理平安管理组件通过制定和管理平安策略，并利用平安工具，维护信息系统资 产（包括硬件、软件、固件、用户数据、信息/数据）的机密性、一致性和可用性。平安管理是贯穿EDW总体架构的。例如，在运维架构中可能需要使用平安控 制工具对系统管理工具的访问进行管理，在开发架构中那么可能使用平安控制工具 对代码存储的访问进行管理。为防止平安内容的重复，所有平安组件都应统一被 考虑，它是跨开发、执行、运维架构的。任任务工r具1.5 EDW数据架构数据架构设计原那么 统一规范对各源系统数据按主题进行统一整合；分行特色也按统一规 范进行补充建设。 灵活性原那么数据模型要为数据应用提供有效的信息支持，这些信息需求 会随着银行需求的变化而不断增加，进而会引起需求的不可预料 性。特别是加工汇总层的数据架构必须符合“汇总指标可灵活增加” 的技术要求，不会随着指标的增加而变更数据模型。 可扩展性原那么随着源系统和数据集市应用系统的不断增加，数据模型应提 供一个规范化的设计思路，以便业务系统的扩展。 高效原那么数据模型面临海量数据的加工和存储，随着时间的推移，数 据将不断累积，因此效率问题是直接影响系统可用性的关键因素。 数据模型的效率包括ETL的加工效率和数据展现的查询效率，因此 数据模型的数据组织和存储，必须是高效可用的。 实用性原那么处理大量的源系统数据，将会占用大量的系统资源，因此必 须仔细分析数据的实用性、指标的使用频率，以业务需求驱动为原 那么，对业务提出的基础数据和指标需求进行优先级划分，正确制定 指标的汇总粒度。加工汇总层要重点解决共性指标的加工。 存储空间合理性原那么数据模型需要处理海量数据。随时间的增加，存储数据越来越多。因此在设 计时必须考虑如何合理组织数据，以减小数据冗余。1.5.1 数据架构分层设计数据应用区数据应用区KPI指标集数据仓库存储区应用接口层（为各个应用提供数据指标服务）报表管理维护管理指标管理统计分析权限管理参数管理应用汇总层（按不同对象和粒度汇总）管理会计 数据集市风险管理 数据集市报表 数据集市资产负债 数据集市驾驶舱管理 数据集市驾驶舱各类报表灵活查询其他应用数据公共汇总层ADV （按最轻粒度汇总，3NF）多维模型层（按维度、指标建模）数据整合层FDM （保存最明细数据，按客户、存款、贷款、产品、中间业务等主题划分）客户模型存款模型贷款模型产品模型中间业务模型其他模型标准数据层SDY （业务、数据标准化）数据贴源层ODY （规范化、良好的贴源数据）核心系统个贷系统信贷系统国结系统人力系统财务系统其他系统数据库统一存储管理所辖数据，由于数据类型比拟多，数据库表也比拟 多，如何有效的组织管理好全行多种业务的数据和信息，对下一步清晰的 信息应用、方便地使用数据是很关键的。因此数据和信息不能随意堆积存 放到数据库中，需要对全行的数据和信息进行分层、分类存放，并制定相 应的数据分层、分类的规范，EDW系统上所有数据和应用的建设都应遵从统 一的数据管理规范。存放到EDW数据库中的数据有以下几类：1、从原业务系统直接采集过来的经标准化处理的标准数据，由标准数 据按主题整合形成的基础业务数据；2、经过中间加工汇总形成的汇总数据；3、管理应用所专用的操作型数据；4、为满足应用分析需要而加工形成的多维分析数据。为了更好的管理这些数据，EDW数据按层次进行划分存放及管理，从逻2.3 ETL关键设计环节362.3.1 接口层设计策略36Staging Area 设计策略362.3.2 数据加载策略37234增量ETL设计策略37235异常处理39作业调度和监控402.3.6 元数据管理40238 ETL模块设计40239 ETL流程设计42动态资源分配452.3.10 数据接口设计46辑模型上划分为以下几个数据层次: 源数据缓冲层：数据层与业务源的数据结构一一对应，是数据存储的临 时存储区域，数据在其中只作暂时性保存，当新的数据到达缓储区时， 现有数据被删除或覆盖。 标准化数据层：对数据做标准化处理，主要有公共代码标准化、数据类 型标准化和数据格式标准化，未来可以做客户信息标准化。 标准化全量层基础数据层数据模型基础数据模型用于整合、存储全行各业务系统的基础业务数据。原那么上该区域的数据不作复杂加工，直接存储业务系统中原始数据记录 的关键数据(主数据)，尽量保持贴近源系统的数据结构。为应用方便、查 询高效考虑，可以对源系统进行适当的整合、拆分，也可以裁减掉源系统 中没有必要整合的数据。同时需要对各系统冗余及标准不一致的数据进行 规范和整合。在基础据模型中按照八大主题对银行全行数据进行整合、分类组织和存 储，这八大主题包括总帐(GL)、客户(CI)、存款(DEP)、贷款(LN)、银行卡 (CRD),中间业务(NIN)、渠道(CHN)、公用(CM)；每个主题下设计相应的数 据模型，最后构成全行统一的基础数据模型。EDW对各源系统机构编码进行统一，提供统一的基线机构。EDW对源系统客户号进行统一，提供统一的客户号(ECIF客户编号)。加工汇总数据层数据模型；加工汇总数据层的主题划分为八大主题：总帐(GL)、客户 (CI)、存款(DEP)、贷款(LN)、银行卡(CRD)、中间业务(NIN)、渠 道(CHN)、公用(CM)。加工汇总数据层下的汇总需求由“应用需要”来确定。多个 应用相同的汇总要求，或者多个应用在汇总计算的基础局部有重复 汇总的局部可以纳入该区域进行汇总，形成应用共享的中间汇总结 果，如按客户、机构、产品、渠道等主题的一些公共汇总数据(包 括每天或每个阶段的业务量、业务额、平均额等数据的汇总)。加工汇总数据层的数据模型设计在有相应的汇总需求情况下 才针对汇总需求进行数据表和数据汇总任务的扩展设计，逐步积累 公共汇总指标，最后形成全行可共享的面向各个主题的中间汇总指 标。加工汇总数据层分为两种不同数据形态：1）汇总指标一如平均余额等2）根据业务要求形成的分析加工数据一如理财卡帐务数据、 客户大额存取款等集市数据层数据模型集市数据层用于建立面向各个应用主题的数据集市，不同的 主题应用在集市数据区下建立不同的数据集市，数据集市的数据模 型根据应用模型的需要进行设计。数据集市中可存在操作型数据、 汇总型数据和多维分析数据，根据应用的需要分别进行建立。1.6EDW应用架构提供数据ETL消费 系统操作型存储RDBMS其他数据客户分析分析系统系统其他数据 应用系统零售银行灵活查询 报表ACRM 财务绩效风险管理券囊债批量数据交换总线数据仓库存储1ttit t f ft核心系统信贷系统个贷系统财务系统渠道系统国结系统人力系统其他应用架构设计原那么EDW系统的应用架构应考虑开放性、完整性、合理性。开放性：EDW系统的应用架构设计必须考虑平台、系统、功能的开放性，与XX 银行的科技规划相适应，能够与周边各系统进行良好的信息传递。完整性：EDW系统的应用架构设计应具备完整性，涵盖目前的应用需求，并以 框架形式界定EDW工程的应用需求范围。EDW系统的应用架构应该能够作为需 求检查列表，检验当前用户需求是否被涵盖，而不会发生遗漏。合理性：应用架构的设计应是对用户需求的全面反映。应用架构应采用先进的 理念和技术，并结合XX银行科技规划与现有的技术平台。1.6.1 数据服务EDW将提供全行各个系统的批量数据服务，如应用架构图所示EDW即可以为 核心系统、财务系统、个贷系统、信贷系统等业务系统提供数据，也可以为资产 负债系统、内部评级系统、战略客户管理信息系统等管理内的系统提供数据服务; 同时也可以为未来实现的EDW系统提供数据，从而实现全行范围内系统间的批量 数据采集、加工和发布，原那么上各系统不能再建设其他渠道实现批量数据采集、 加工、发布。EDW数据采集、加工、发布的范围包括： 总行各应用系统之间总行与分行应用系统之间 同一分行应用系统间不同分行应用系统间 分布部署的同一应用系统间EDW数据服务具备的能力有： EDW快速提供批量数据，可以满足应用系统准实时的数据要求。 EDW能够提供的数据会覆盖全行所有系统，可以满足全行所有的数据加 工对数据的需求。 EDW模型化各系统数据，可以满足各应用系统对全量数据、增量数据的 需求，减少对重要交易系统的干扰。 EDW能够根据应用系统的需要，对源系统数据进行必要的加工处理，按照全行数据架构原那么，合理地在数据线上分配数据加工功能，保证数据 处理的高效、准确。1.6.2 应用服务基于数据分析功能和交易功能别离原那么，为保证交易系统运行效率和数据分 析功能日益增加的需求，新系统设计时，应该将数据分析功能和交易功能别离到 不同系统中，或者至少为将来别离做好技术准备。在这个原那么下，EDW可以对外提供应用服务，如：驾驶舱报表系统中的报表 功能；某些时效性要求较高的即时OLAP分析；经营关键指标KPI展示等。第二章ETL体系建设2.1 ETL架构概述在商业银行的EDW系统中，数据由数据源系统加载到EDW的各个数据层中, 并通过供数接口提供给相关使用者系统。其实现的困难在于ETL系统将面临复杂 的数据环境，包括巨大的加载数据量、错综复杂的数据关系和参差不齐的数据质 量，这些都使ETL的架构和应用设计面临相当的挑战。通过高效的ETL系统结构、层次化的应用功能划分和标准的程序模板，EDW 系统能够到达以下目标：/支持在此框架下实现EDW工程所需要的ETL功能；, 支持在规定的批处理时间窗口 (Batch Windo