2022年XX银行数据仓库建设项目方案.doc

《2022年XX银行数据仓库建设项目方案.doc》由会员分享，可在线阅读，更多相关《2022年XX银行数据仓库建设项目方案.doc（46页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、XX银行EDW/数据仓库工程方案目 录第一章 系统总体架构1.1 总体架构设计概述1.1.1 总体架构的设计框架1.1.2 总体架构的设计原则1.1.3 总体架构的设计特点1.2 EDW执行架构1.2.1 执行架构概述1.2.2 执行架构设计原则1.2.3 执行架构框架1.3 EDW逻辑架构1.3.1 逻辑架构框架1.3.2 数据处理流程1.4 EDW运维架构1.4.1 运维架构概述1.4.2 运维架构的逻辑框架1.5 EDW数据架构1.5.1 数据架构设计原则1.5.2 数据架构分层设计1.6 EDW应用架构1.6.1 应用架构设计原则1.6.2 数据效劳1.6.3 应用效劳第二章 ETL体

2、系建立2.1 ETL架构概述2.2 ETL设计方案2.3 ETL关键设计环节2.3.1 接口层设计策略2.3.2 Staging Area设计策略2.3.3 数据加载策略2.3.4 增量ETL设计策略2.3.5 异常处理2.3.6 作业调度和监控2.3.7 元数据治理2.3.8 ETL模块设计2.3.9 ETL流程设计2.3.10 动态资源分配2.3.11 数据接口设计第一章 系统总体架构1.1 总体架构设计概述1.1.1 总体架构的设计框架XX银行EDW工程的总体架构分为根底技术架构、应用架构和数据架构三个核心部分。这三个部分共同组成了XX银行EDW系统。在根底技术架构中，包括执行架构、逻辑

3、架构、功能组件架构和运维架构四个部分。n 执行架构描绘系统大的框架和模块区域，以及之间的逻辑关系；是确定消费环境的建立要求及指导原则。n 逻辑架构描绘EDW各个模块之间的数据的接口、数据流向、工具使用和采纳详细的技术实现手段或方式情况，用于标准本工程最终消费环境的建立。逻辑架构是建立应用架构、执行架构、运维架构的根底，也是建立执行架构、应用架构以及运维架构的原型系统。n 功能组件架构描绘确定系统各个大的组件组件区域的功能模块框架，以及提供的某种效劳类型。n 运维架构是描绘EDW工程的运维架构标准，包括运维架构设计的内容、设计原则、各构成组件的设计考虑要素、约束、要求等。运维架构通过相应的流程和

4、工具实现对逻辑架构、功能组件架构、执行架构、数据架构以及应用架构的运维和治理。而数据架构和应用架构的主要描绘：n 应用架构是EDW为满足业务需求所提供的系统应用功能及其蓝图设计，其中业务需求是应用架构设计的根底，最终的应用架构将以应用系统的方式表达在执行架构中，主要包括：应用效劳和数据效劳。n 数据架构描绘于EDW系统相关的数据流淌策略，即数据在EDW系统的执行架构下的抽取、转换、储存策略以及应采纳的流程，包括数据层次和总分行之间的数据分部情况等。数据架构是建立执行架构标准的需求定义。以下图是EDW工程总体架构的框架：1.1.2 总体架构的设计原则n 总体架构在着重考虑施行要求的同时，需要为后

5、续阶段进展规划，以保证工程最终能够到达目的架构的设计；n 总体架构的设计要基于包括XX银行数据现状分析、施行阶段数据源情况分析、第一阶段施行EDW设计建议做为参考；n 总体架构设计架构时充分考虑与现有系统兼容，充分利用已有成果，防止重复开发和建立。n 总体架构设计过程中应恪守XX银行的IT治理规程，保证最终的系统能够顺利的部署并移交给XX银行的运转维护部门。1.1.3 总体架构的设计特点n 权衡功能、功能、可扩展性、易用性、可治理性和性价比。n 依照XX银行的数据情况和分析需求，采纳多层次的企业EDW系统架构来保证在存在复杂的数据品种和关系的海量数据上进展业务分析和查询在业务支持才能和功能等方

6、面的要求。n 多级自动的增量ETL加载机制，有效提高ETL并发度、加载效率，降低错误处理的复杂性。n 通过用户入口支持用户采纳Web阅读器使用查询和分析工具，统一的信息效劳界面，提高系统易用性，减少技术支持工作量。n 利用企业信息集成和Web数据效劳，提高系统的数据支持才能和接口的一致性。统一的数据加强平台也减少数据加强的复杂度。1.2 EDW执行架构执行架构的主要内容是描绘EDW工程执行架构的建立要求及指导原则，用于标准本工程最终消费环境的建立。EDW工程的消费环境的建立需要参考并遵照执行架构部分提出的要求。1.2.1 执行架构概述执行架构是EDW的概念环境，主要包含：源数据、数据落地区、E

7、TL、数据预备区、数据存储区EDW、业务应用、用户环境、数据管控、系统平安性以及EDW根底设备平台（包括：效劳器、存储、网络）等功能组件。从技术层面上来说，EDW系统的执行架构应实现多种技术平台及应用之间的无缝集成。1.2.2 执行架构设计原则在EDW工程施行的过程中，系统执行架构的建立应遵照以下技术原则： 开放性原则：EDW工程的消费环境的建立应基于业界开放标准，对系统中使用的网络协议、硬件接口、数据接口等应进展统一规划，EDW系统应支持主流的应用软件包及其部署的各种硬件平台。 灵敏性与可扩展性：EDW系统的根底设备平台应能够依照今后系统的开展需要以及应用需求，方便的扩展设备容量和提升设备功

8、能；具备支持多种组件模块、多种物理接口的才能；具备技术晋级、设备更新的灵敏性；具备支持业务功能的扩展与重构的灵敏性。如：系统容量能够随着ETL系统数据量的扩展以及应用系统的不断扩展、用户量不断扩展而进展平滑的扩展。 高功能原则：系统应到达数据处理时间窗口的要求，用户定义的查询效率、响应时间的要求，满足业务系统的要求；对现有业务系统妨碍小。 自动化原则：EDW工程建立的核心任务之一是数据抽取、转换、清洗和加载（ETL），在这个过程中应采纳自动化的设计原则，防止手工操作。同时关于元数据治理过程应采纳元数据治理平台来实现对元数据集中、自动化的治理。 平安性原则：EDW工程建立中的数据迁移过程都必须保

9、证数据的平安性，例如：在系统建立过程中应对数据中敏感字段进展平安处理、同时整个系统还应采纳网络隔离、用户身份认证及访咨询操纵、数据库平安、操作系统平安以及完善的平安审计机制。1.2.3 执行架构框架上图是EDW系统执行架构，其中包含EDW系统中涵盖的功能框架以及框架之间的逻辑关系。在以下的内容中将对执行架构中的功能框架以及框架之间的关系进展详细描绘，详细内容包括： 数据源：包括XX银行的多个业务系统，主要有核心系统、个贷系统、信贷系统、国际业务系统、财务系统和各类渠道系统等。 数据落地区：此部分内容说明数据落地的用处，同时对数据落地区应具备的功能进展了标准定义以及数据落地区与其他功能组件之间的

10、关联关系； ETL：此部分内容描绘ETL系统中数据抽取、转换、加载等功能的需求，同时定义了ETL系统建立的标准以及ETL与系统中其他功能组件之间的关系； 数据预备区：此部分描绘数据预备区应具备的功能，以及数据预备区在建立过程中的标准需求。 操作型存储区：此部分内容描绘EDW系统在建立的过程中操作型存储区应遵照的标准以及系统建立过程中应满足的需求； 数据仓库存储区：此部分内容描绘EDW系统的数据仓库存储区应遵照的标准以及系统建立过程中应满足的需求； 业务应用：此部分内容描绘BI应用系统建立的系统需求，包含对应用环境、分析环境、静态报表环境； 用户环境：此部分的内容描绘用户在EDW系统中应具备运用

11、的才能，包括：利用通用展现平台进展信息展现、驾驶舱应用、报表应用等； 时间窗口和功能的定义：此部分描绘整个EDW工程中关于时间窗口的定义以及相关系统的功能指标要求； 元数据治理：此部分描绘在系统执行架构中元数据治理的内容以及元数据治理系统的建立的标准定义； 系统平安性：此部分内容主要描绘EDW系统中的平安性治理内容，包括应用平安、网络平安、数据平安、系统平安等，同时描绘系统平安在建立过程中遵照的原则； 根底设备平台（效劳器 、网络、存储）：此部分内容主要描绘消费系统中的硬件资源，包括：效劳器，网络以及存储的资源需求，容量规划应满足的系统指标等内容；1.2.3.1 数据源源数据系统是报表、关键指

12、标、灵敏查询、主题分析等应用系统的根底数据来源。在系统建立初期，源数据系统应提供能满足初始业务需要的数据以及业务系统需要提供完好数据的时间窗口，在EDW系统扩展的过程中，各个源数据系统中的数据将逐步的加载到EDW系统当中。源数据无法满足应用需求时，系统应提供手工方式通过手工数据补入平台将需要的数据补入到EDW系统中。目前数据源包括XX银行的多个业务系统，主要有核心系统、个贷系统、对公信贷系统、国际业务系统、财务系统和各类渠道系统等。1.2.3.2 数据落地区数据落地区是为了保证多系统对源系统数据抽取的需求，在数据从源数据系统抽取后在统一的数据集成环境中整合。数据落地区应建立与各相关源数据系统的

13、接口，将这些系统定期卸载的数据以固定的格式接收、存放到落地区，考虑数据传输和加载的速度，源数据系统应以文本文件格式将数据定期传输给数据落地区进展处理。数据落地区的数据存储格式原则上是与数据源的存储格式保持一致1.2.3.3 数据ETL架构ETL是数据的抽取、转换、加载的全部过程，它是数据从数据落地区到ETL效劳器以及从ETL效劳器到EDW的数据迁移过程以及数据从EDW向数据集市的数据迁移过程中必须使用的过程和方法， ETL系统应包括以下三个主要功能：n 数据抽取：从数据落地区系统抽取EDW中需要的数据；n 数据转换：将从源数据系统获取的数据转换成EDW要求的方式，同时按照业务需求对数据进展转换

14、；n 数据加载：将助转换后的数据装载到EDW的物理模型中；1.2.3.4 数据预备区数据预备区是数据存储的临时存储区域，数据在其中只作临时性保存，数据经转换后导入到EDW的物理模型中。数据预备区的功能包括：格式转换、排序去重/挑选、通用根底清洗、连接/合并/分割、业务转换等1.2.3.5 操作型存储区操作型存储区是数据仓库系统一个重要的环节。该区有着承上启下的作用，从数据形态来看，该区的数据定义贴近业务源系统;从数据标准来看，该区的数据标准是遵照数据仓库系统的标准。因而该区一般分为两个层次，第一个层次称之为良好质量的、统一格式的数据贴源层，第二个层次为统一的、标准的、遵照数据仓库系统标准的数据

15、标准层。 数据贴源层能够接着为行内现有的一些报表系统或者分析系统提供数据，而数据标准层为数据仓库中的企业数据模型的落地扫清了道路。因而该存储区在整个EDW系统起到了一个承上启下的关键作用。1.2.3.6 EDW存储区EDW存储区是面向主题的、集成的、面向企业的、最明细的数据存储，其内容是依照最终用户应用和分析需求来进展组织。数据存储区中的数据模型对标准层数据、根底整合数据、汇总数据和面向应用的集市数据按数据层次进展治理，每个数据层有本人的数据治理重点。关于每个数据层次，再按主题进展分类组织。如此就能够有效的将银行企业的操作型数据、汇总型数据和分析型数据以明晰的架构组织、治理起来，并相辅相成。数

16、据层的内容互相促进开展，组成银行完善的数据集合，为各种主题治理应用的构建提供良好的数据架构根底。1.2.3.7 业务应用业务应用是EDW系统向业务用户提供给用功能支持，依照应用效劳提供的方式和所采纳的应用系统的不同，业务应用主要定义在以下几个技术环境。数据集市：在业务应用层中包含了应用系统中需要的应用集市、OLAP、静态报表等数据集市。数据集市是一组特定的、针对某个主题域、部门或用户分类的数据集合。这些数据需要针对用户的快速访咨询和数据输出进展优化，优化的方式能够通过对数据构造进展汇总和索引。通过数据集市能够保障EDW的高可用性、可扩展性和高功能。应用环境：应用环境是为满足业务需要在数据EDW

17、环境中配置的应用软件包。分析环境：数据分析环境为EDW的高端用户提供即时的数据分析功能等。报表环境：报表环境是于来产生和发布静态报表的环境，包括：产生的静态报表、OLAP产生的报表、KPI指标展现以及其他系统产生的报表。1.2.3.8 用户环境用户环境是EDW系统最终向用户提供的某种应用效劳的集合，主要有三种应用效劳的表现方式：通用展现平台：通过此平台将报表、KPI展现、灵敏查询、分析等多个应用集成到一个平台中，进展统一的展现和信息的治理，包括如：报表生命周期的治理等。数据分发环境：在数据分发的过程中应提供大容量数据批量分发的才能。给其他需要某个系统的数据提供数据交换功能。报表分发环境：报表的

18、分发应能够满足系统定义的平安性，如按照不同的用户类型、不同的组织进展分发，不同的用户和组织只能看到属于本人的报表的数据，数据的分发将通过数据传输平台进展。1.2.3.9 元数据治理元数据治理是对数据信息的搜集和发布的集成治理，数据信息包括：数据的业务含义和技术特性。数据仓库系统架构中的各个部分中都含有元数据信息，应对其进展主动式治理，以保证它正确的定义、搜集和使用。元数据是“关于数据的数据”。应包括文件构造定义，数据库字段名称，数据模型中的长度和标准，以及在域-域或域-报表对应关系中的计算和公式等内容。元数据治理的架构如以下图所示，系统的最终架构应实现对元数据的集中的治理方式：1.2.3.10

19、 系统平安性EDW系统中的数据和报表信息均为敏感信息。因而必须采纳适当的平安策略以保证其系统和数据的平安性。数据仓库系统的平安性应涵盖如下四个方面：n 验证：系统应对用户进展访咨询操纵，保证只有合法的用户才能进入到系统中；n 受权：系统应依照用户角色对其进展受权，包括对数据的访咨询权限，对功能的使用权限等。n 机密性：所有的敏感数据必须被严格操纵，禁止未受权访咨询，并保障其平安性。n 一致性：数据和程序只能在受权方式下进展修正。针对上述6个方面，数据仓库分系统应按照以下的6个方面的标准进展建立：应用层EDW应用系统是建立在OLAP软件平台的根底上，应用层应实现用户访咨询操纵的功能，针对不同的用

20、户访咨询不同的系统资源来保证整个应用系统的平安性操纵。关于今后的数据仓库系统来说，应与统一门户平台整合，实现整体平安性治理的策略；数据库层只有被受权用户才能访咨询和修正数据库中的信息同时数据在传输过程中应对敏感信息进展加密处理来保证数据的平安。数据库治理员应按照角色对数据库用户进展划分，同时通过给予角色权限的方式实现对用户平安性访咨询操纵的治理，如：针对用户组或耽误用户分配特定数据表访咨询权限。系统层系统应防止未受权访咨询和系统调用，及时进展系统平安补丁的更新。关于系统主机应采纳效劳器加固的方法，来保证整个系统的平安性。网络层网络层平安是保证网络节点之间数据传递的平安性，以及网络环境不受恶意攻

21、击。XX银行数据仓库环境建立在企业内部网络中，不同功能的效劳器应部署在不同网段中，网段之间互相隔离，对网段之间的访咨询应通过防火墙并定义严格的访咨询操纵策略。整个系统的网络环境应得到实时监控，对入侵进展检测和处理，并在发生入侵时通知系统治理员。物理层物理层平安保障物理设备（主机、路由器等）不受非法用户攻击。目前物理设备的平安性由运转中心负责。治理治理部分与上述的所有平安咨询题相关，对平安咨询题的治理必须由多个部门共同协作完成。治理层面包括：n 平安资源：实现各种平安使用的资源，如：防火墙，入侵检测和处理设备，反病毒软件等；n 平安策略和规划：各种平安规则，组织和责任人；n 突发事件处理：在发生

22、平安威胁时的应急处理流程，包括：事件记录、时间报告制度等流程；n 平安审计：对平安策略的审核和检查；n 灾难恢复计划：发生咨询题后的系统和数据恢复；1.3 EDW逻辑架构1.3.1 逻辑架构框架如上图所示的XX银行EDW的逻辑体系架构，这一架构是在联科可扩展的EDW系统框架的根底上，结合XX银行信息系统建立的实际情况而设计出来的多层、可扩展框架构造。架构的核心上包括源数据层、ETL流程调度、数据平台层、数据集市层、应用效劳层、访咨询操纵层、用户层和数据消费传输通道七个大部分，另外，元数据治理和平安治理也是系统必不可少的部分，这2部分会涉及到所有核心层次。在明确定义各层之间的接口后，多层框架构造

23、具有高度的扩展才能和方便的系统开发和维护功能，符合目前流行的多层应用构造，合适EDW系统多阶段、多层次的应用特点。1.3.1.1 源数据层【功能与作用】总行的各个业务系统为整个EDW系统提供原始数据支持，首先作为ETL层的数据抽取源。【组成部分】目前总行的数据源包括XX银行的多个业务系统，主要有核心系统、个贷系统、对公信贷系统、国际业务系统、财务系统和各类渠道系统等。1.3.1.2 ETL流程调度层【功能与作用】该层为EDW数据流向的主要环节，EDW系统数据流淌的流程调度核心层，流程调度主要针对下面几个方面：n EDW系统将数据源的数据抽取到数据落地区n EDW系统对数据执行格式转换、排序去重

24、、通用数据清洗、业务转换后等操作，最终完成数据预备区加载。n EDW系统再将数据预备区的数据按照EDW数据模型的方式加载到数据存储区中。n 在数据存储区中进展根底数据层、加工汇总层和应用集市层的数据加载。n EDW中的数据预备区和数据存储区能够为为其它系统提供数据效劳。n 总行EDW能够为分行EDW提供数据效劳。【组成部分】上面的逻辑架构图淡绿色色矩形部分为ETL 调度治理技术架构图，其作用是让许多的任务在作业的执行条件满足时自动地执行。ETL 调度管里最根本的可执行元素是单元，每个单元是完成某一特定功能的程序，相关单元组合在一起构成了能够调度的最小组件任务。由上面的技术架构图可知，ETL 调

25、度管里包含以下组件： n 知识库建立在DB中的一个数据库，包含了与流程调度相关的一组表，保存ETL流程调度效劳器、任务、任务之间的依赖触发关系、任务组、调度计划等多品种型的信息。n 侦测器驻留在后台的效劳，基于定义的触发规则和调度计划监测是否触发任务的执行。n 任务调度引擎接受侦测器的信息调度任务执行（能够使本效劳器任务也能够是其它效劳器的任务）。n 任务执行代理调用任务包含的每个单元执行的效劳，同一效劳器上能够有多个任务执行代理同时运转。n 任务封装在Perl程序中，执行数据加载、整合、立方体生成等工作的一组程序。n 日志治理引擎记录ETL调度治理各个效劳器组件以及每个任务的执行日志，日志按

26、天保存，能够定期清理。n 治理监控器Java应用程序，用于定义任务、任务组合触发关系等信息，同时能够实时监控任务执行情况查看日志。作为专门为数据仓库系统设计的流程调度治理具有如下特点：n 任务执行代理可分布在多台效劳器上。n 构造简单、伸缩性强。n 支持多种执行任务。1) 加载数据2) 整合数据3) 数据质量检查和清洗4) 数据转换5) OLAP数据生成6) 数据挖掘模型的执行7) 定制报表的产生8) 定制页面的产生9) 数据库备份、告警等系统作业10) 调用其他ETL/ELT工具产生的任务11) 数据导出到指定的渠道系统n 执行的任务能够是另一个任务调度引擎触发（如：EDW）。n 能够启动其

27、它的ETL引擎的任务。1.3.1.3 数据平台层【功能与作用】作为本系统的数据核心部分，它负责存储和治理来自各种源数据系统的数据，并为访咨询用户提供数据效劳。这些数据是按照在逻辑数据模型分主题存放的。【组成部分】本层由操作型存储区、仓库存储区和集市应用层四个部分组成。详细内容参见“EDW数据架构”1.3.1.4 数据集市层【功能与作用】数据集市是一组特定的、针对某个主题域、部门或用户分类的数据集合。这些数据需要针对用户的快速访咨询和数据输出进展优化，优化的方式能够通过对数据构造进展汇总和索引。通过数据集市能够保障EDW的高可用性、可扩展性和高功能。【组成部分】包括：驾驶舱报表系统和灵敏查询以及

28、其他应用集市系统。1.3.1.5 应用效劳层【功能与作用】通过对数据平台层中的数据进展适当的提炼、汇总，利用通用展现平台向用户提供包括报表效劳、查询效劳、决策仪表盘等相关效劳。该层为用户对中央数据的访咨询提供各种方式的效劳（C/S、B/S），从而实现访咨询方式的多样化和信息存取的透明化。【组成部分】通用展现平台主要包括的功能模块有：第一个层次是核心模块包括：框架、引擎，核心模块作为报表集成开发环境的根底、核心和框架存在。报表集成开发环境核心功能和模块组装由核心模块统一提供，只暴露给开发人员；第二个层次是治理模块包括：报表信息、根本治理、代理、信息推送、连接信息，治理模块为报表集成开发环境提供治

29、理效劳，它提供报表集成开发环境的用户、权限等的统一治理，治理模块也是报表集成开发环境必选模块，它的特别多功能调用由核心模块提供，治理模块包括5个子模块；第三个层次是应用模块包括：仪表盘、灵敏查询、数据录入、报表、复杂报表，应用模块提供报表集成开发环境最终用户（非治理人员）的用户体验，能够和治理模块相结合有选择地灵敏部署。1.3.1.6 访咨询操纵层【功能与作用】访咨询操纵层主要包括WEB、认证、平安、门户四方面的效劳。该层位于用户层和中间效劳层之间，为用户层成提供HTTP效劳、门户的单点登录、用户统一认证、提交用户层恳求到中间效劳层，对用户施行平安策略，为用户治理报表、查询文档，提供个性化定制

30、等。1.3.1.7 用户层由上面的逻辑架构图可知用户层包括各种最终用户。按照用户使用EDW系统的方式和特点，能够划分为业务分析人员、高级分析人员和治理决策人员。所有用户统一通过用户门户访咨询EDW系统各类应用，从而实现了EDW系统的应用界面、平安治理统一，同时用户能够对门户进展个性化定制以方便本人使用。实际上，EDW系统还包括进展系统建立的开发人员、系统运转人员和系统治理人员，这里所指的用户层主要针对业务用户进展描绘。n 业务分析人员主要指总行各业务部门、各分行的业务用户，如：客户经理。该类人员直截了当使用模块化的应用界面访咨询EDW系统，生成或预览预定义报表，进展相对固定的查询以及多维分析。

31、这类用户会使用B/S和C/S两种客户端访咨询EDW系统。n 高级分析人员是指总行各业务部门、各分行的较为高级的用户。除能够执行一般业务分析人员进展的操作外，能够对指定的主题、指标进展自定义的灵敏分析和比拟。分析的方式包括自定义查询、自定义报表、多维旋转和穿透钻取等等。这类用户会使用B/S和C/S两种客户端访咨询EDW系统。n 治理决策人员主要包括各部门的领导、分行领导和总行领导。EDW系统为治理决策人员分配专门的系统资源，建立最为直观和方便的存取界面，为决策人员给予最大的信息访咨询权限，实现决策人员对信息的自由访咨询。同时，EDW系统将决策人员最为关怀的信息主动发布到决策人员的访咨询界面上，简

32、化信息访咨询的方式，使得决策人员在第一时间获得运营治理的各种重要信息和指标。这类用户只会使用B/S客户端访咨询EDW系统。1.3.1.8 消费数据传输通道在数据仓库系统建立以后，会有特别长一段时间旧有的报表系统和分析系统需要逐步迁移，在此期间，需要有一个消费数据传输通道来支持旧有系统的良好运转。1.3.1.9 平安治理体系平安治理体系主要包括以下四个方面：n 网络平安主要包括在不同网络层次设置不同级别的防火墙及IDS系统，同时在每一个平安层次下通过部署不同的平安原则，这完全符合XX银行的平安级别规定。n 操作系统平安系统所有应用或数据库效劳器均采纳Unix操作系统，操作系统本身有着紧密的系统平

33、安认证与用户权限治理体系，并具备登录、审核以及资源访咨询的审计与跟踪。n 数据平安提供各种基于数据库的平安保护机制。n 应用平安应用是直截了当面对用户的，尽管应用系统能够持续提供效劳是涉及到系统平安的咨询题，但是由于这些咨询题更多的是由系统的平安咨询题来保证的。因而就应用级的平安策略更多的是保证对数据访咨询的合法性。1.3.1.10 元数据治理体系在机构内关于数据的信息称为“元数据(Metadata)”。清晰地区分数据库中的数据和元数据是特别重要的，所谓元数据，是指关于数据的数据，即用来描绘数据的类型、来源、定义、存储位置，使得能够正确地使用数据仓库。元数据仓库(Meta Data Repos

34、itory)对业务人员来说是特别重要的，是业务人员与数据仓库的数据交流的传达手段。IT人员可能已经拥有许多有效的工具进展数据存取。但对业务人员，他们需要一种手段和工具来理解他们存取的数据。在本期EDW系统的建立中，包括技术元数据和业务元数据两类，其数据源涵盖了EDW系统的各个环节，包括：数据源系统、EDW数据库、EDW逻辑数据模型、ETL系统、业务应用系统等，同时，还将涉及数据的业务含义和业务规则等相关业务文档。在架构上，元数据系统包括：元数据应用、元数据报表、元数据分析、元数据集成系统、元数据展现系统、元数据治理系统、元数据维护系统。1.3.2 数据处理流程各业务数据源系统通过多种方式(如：

35、ETL工具直截了当从源系统获取、源系统数据批量导出)将数据获取过来,由数据落地区区进展集中治理。后续的数据加工、转换通过ETL Server来完成,中间采取不落地的方式,将加工完毕后的数据放在数据预备区域。ETL Server 可通过 ds job,FTP,NFS 等方式从数据落地区获取数据，将处理后的结果放在数据预备区域。再将数据预备区的数据加载到数据存储区中。依照目的系统的不同,采纳灵敏的方式向外提供数据,可使用ETL 工具直截了当向目的系统加载或者通过 FTP方式向其他目的传输。为支持其他的业务需求,将近期(30-60天)的明细数据、流水数据集中存放在数据库系统中,日常增量数据刷新数据库

36、系统。整个过程通过调度工具进展统一调度,集中治理,确保各项任务有序完成。1.4 EDW运维架构1.4.1 运维架构概述以下图中给出了EDW的运维架构，是在EDW系统上线后，为了保持系统良好的稳定性而定义的相关的治理需求。运维架构主要是针对执行架构的数据导入层、数据效劳层、中间效劳层和访咨询操纵层效劳器进展治理，面向的最终用户是IT人员。图1 运维逻辑体系架构运维架构中包含了如下组件：系统监控治理组件、系统维护治理组件、备份恢复治理组件、毛病切换治理组件、功能容量规划组件和运维平安治理组件。各个组件的主要功能如下： 系统监控治理组件：监控网络/系统功能、运转，以及诊断和报告毛病。治理的硬件和软件

37、包括所有开发、测试和消费环境中的硬件和软件。 系统维护治理组件：系统维护是指系统在运转过程中，为了系统的正常效劳而进展的配置、参数治理，以及启/停机、清理过期数据等日常操作，以及数据、系统发生变更的维护等。 备份恢复治理组件：备份/恢复治理组件处理系统中所有必须的备份和恢复操作。这个组件依照备份策略，通过对数据的冗余存储来保证系统能够从各种效劳中断中恢复。 毛病切换治理组件：毛病切换治理提供了治理和操纵应用切换的机制。毛病切换组件使用冗余系统和数据来保证关键任务数据流不连续。当发生毛病或失败时，该切换发生在主系统和备份系统之间。 功能容量规划组件：功能及容量规划从环境中的不同元素搜集利用数据，

38、并规划硬件和软件才能需求。 运维平安治理组件：运维平安治理组件通过制定和治理运维平安策略，并利用平安工具，维护信息系统资产（包括硬件、软件、用户数据、信息/数据）的机密性、一致性和可用性。 运维环境治理组件：运维环境治理用于确保物理环境和系统环境的妥善治理和保护，不受毛病和灾难的损害，以及不受人为要素的干扰和破坏。整个运维架构通过一些标准的流程实现消费环境运转治理，包括的流程主要是日常操作流程和特别操作流程。日常操作流程是指IT用户在日常为维护消费环境正常运转需要做的工作，如：数据仓库治理、系统监控、备份恢复、容量规划。特别操作流程不会每天发生，这一流程的启动通常是由于系统软硬件晋级、数据变更

39、、新增应用等需求引起的。1.4.2 运维架构的逻辑框架1.4.2.1 系统监控治理在EDW系统中，需要监控治理的系统元素能够分为如下五类： 网络/主机治理：用于监控、操纵和报告网络及主机状态。 数据库/数据仓库治理：提供相关监控信息源,操纵各个独立的效劳器或数据库/数据仓库。应监控所有的关键数据库/数据仓库功能比例，以保证高可用性和功能。 应用治理：处理客户应用中发生的事件。应用本身包括了衡量内部应用响应时间和功能的工具，应搜集这些工具产生的信息（如日志、运转报告等）用于监控。 消费调度：消费调度组件包括了一套应用，用于调度和自动化网络、系统和应用治理（如ETL）特有的任务。 平安治理：运维架

40、构中涉及的平安治理内容主要包括身份治理、系统级密钥和证书治理、平安策略治理。系统监控治理的主要任务及工具支持如以下图所示：1.4.2.2 系统维护治理系统维护是指系统在运转过程中，为了系统的正常效劳而进展的配置、参数治理，以及启/停机、清理过期数据等日常操作，以及数据、系统发生变更的维护等。系统维护治理包括两方面的治理内容：系统维护和变更治理。 系统维护是指系统在运转过程中，为了系统的正常效劳而进展的配置、参数治理，以及启/停机、清理过期数据等日常操作。 变更治理同意对技术架构组件进展变更的操纵治理。在EDW系统运转过程中，有两种典型的变更需要进展治理：数据变更和系统晋级。变更操纵组件能够协助

41、运维团队、开发团队和业务部门之间的沟通，保障系统的变更平滑进展。系统维护治理的主要任务及工具支持如以下图所示：1.4.2.3 备份恢复治理备份与恢复的目的在于： 保证在任何时点对数据的完全恢复。 最低程度地降低数据丧失。 尽量提高数据备份过程的效率。备份恢复治理的主要任务及工具支持如以下图所示：1.4.2.4 毛病切换治理毛病切换治理组件提供了治理和操纵应用切换的机制，提供系统的高可用性。毛病切换组件使用冗余系统和数据来保证关键任务数据流不连续。当发生毛病或失败时，该切换发生在主系统和备份系统之间。在毛病或失败事件中，毛病切换治理组件将系统资源重路由到稳定配置的备份系统中，直到主系统被恢复或替

42、代。1.4.2.5 功能和容量规划功能和容量规划组件代表了从环境中的不同系统元素搜集利用数据，并规划硬件和软件才能需求的工具。数据通过放置在环境中系统元素一端的代理进展的搜集，并由容量规划组件进展分析，包括磁盘容量、内存使用、处理器使用、数据库、和网络等。功能容量规划包括如下组件： 信息搜集：搜集功能容量相关的重要分析数据； 功能治理：对系统系统功能进展监控、治理、分析和调优； 功能容量规划：基于历史趋势和今后功能容量需求进展规划；功能容量规划的主要任务及工具支持如以下图所示：1.4.2.6 运维平安治理平安治理组件通过制定和治理平安策略，并利用平安工具，维护信息系统资产（包括硬件、软件、固件

43、、用户数据、信息/数据）的机密性、一致性和可用性。平安治理是贯穿EDW总体架构的。例如，在运维架构中可能需要使用平安操纵工具对系统治理工具的访咨询进展治理，在开发架构中则可能使用平安操纵工具对代码存储的访咨询进展治理。为防止平安内容的重复，所有平安组件都应统一被考虑，它是跨开发、执行、运维架构的。1.5 EDW数据架构1.5.1 数据架构设计原则n 统一标准对各源系统数据按主题进展统一整合；分行特色也按统一标准进展补充建立。n 灵敏性原则数据模型要为数据应用提供有效的信息支持，这些信息需求会随着银行需求的变化而不断增加，进而会引起需求的不可意料性。特别是加工汇总层的数据架构必须符合“汇总指标可

44、灵敏增加”的技术要求，不会随着指标的增加而变更数据模型。n 可扩展性原则随着源系统和数据集市应用系统的不断增加，数据模型应提供一个标准化的设计思路，以便业务系统的扩展。n 高效原则数据模型面临海量数据的加工和存储，随着时间的推移，数据将不断累积，因而效率咨询题是直截了当妨碍系统可用性的关键要素。数据模型的效率包括ETL的加工效率和数据展现的查询效率，因而数据模型的数据组织和存储，必须是高效可用的。n 有用性原则处理大量的源系统数据，将会占用大量的系统资源，因而必须细心分析数据的有用性、指标的使用频率，以业务需求驱动为原则，对业务提出的根底数据和指标需求进展优先级划分，正确制定指标的汇总粒度。加

45、工汇总层要重点处理共性指标的加工。n 存储空间合理性原则数据模型需要处理海量数据。随时间的增加，存储数据越来越多。因而在设计时必须考虑如何合理组织数据，以减小数据冗余。1.5.2 数据架构分层设计数据库统一存储治理所辖数据，由于数据类型比拟多，数据库表也比拟多，如何有效的组织治理好全行多种业务的数据和信息，对下一步明晰的信息应用、方便地使用数据是特别关键的。因而数据和信息不能随意堆积存放到数据库中，需要对全行的数据和信息进展分层、分类存放，并制定相应的数据分层、分类的标准，EDW系统上所有数据和应用的建立都应服从统一的数据治理标准。存放到EDW数据库中的数据有以下几类：1、从原业务系统直截了当

46、采集过来的经标准化处理的标准数据，由标准数据按主题整合构成的根底业务数据；2、通过中间加工汇总构成的汇总数据；3、治理应用所专用的操作型数据；4、为满足应用分析需要而加工构成的多维分析数据。为了更好的治理这些数据，EDW数据按层次进展划分存放及治理，从逻辑模型上划分为以下几个数据层次：n 源数据缓冲层：数据层与业务源的数据构造一一对应，是数据存储的临时存储区域，数据在其中只作临时性保存，当新的数据到达缓储区时，现有数据被删除或覆盖。n 标准化数据层：对数据做标准化处理，主要有公共代码标准化、数据类型标准化和数据格式标准化，今后能够做客户信息标准化。n 标准化全量层n 根底数据层数据模型根底数据

47、模型用于整合、存储全行各业务系统的根底业务数据。原则上该区域的数据不作复杂加工，直截了当存储业务系统中原始数据记录的关键数据（主数据），尽量保持贴近源系统的数据构造。为应用方便、查询高效考虑，能够对源系统进展适当的整合、拆分，也能够裁减掉源系统中没有必要整合的数据。同时需要对各系统冗余及标准不一致的数据进展标准和整合。在根底据模型中按照八大主题对银行全行数据进展整合、分类组织和存储，这八大主题包括总帐(GL)、客户(CI)、存款(DEP)、贷款(LN)、银行卡(CRD)、中间业务(NIN)、渠道(CHN)、公用(CM)；每个主题下设计相应的数据模型，最后构成全行统一的根底数据模型。EDW对各源系统机构编码进展统一，提供统一的基线机构。EDW对源系统客户号进展统一，提供统一的客户号（ECIF客户编号）。n 加