XX银行数据仓库建设项目方案11322.docx

《XX银行数据仓库建设项目方案11322.docx》由会员分享，可在线阅读，更多相关《XX银行数据仓库建设项目方案11322.docx（69页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、银行数据仓库建设方案文件 Evaluation Warning: The document was created with Spire.Doc for .NET.XX银行EDW/数据仓仓库项目方案案目 录第一章 系统总总体架构1.1 总体架架构设计概述述1.1.1 总总体架构的设设计框架1.1.2 总总体架构的设设计原则1.1.3 总总体架构的设设计特点1.2 EDWW执行架构1.2.1 执执行架构概述述1.2.2 执执行架构设计计原则1.2.3 执执行架构框架架1.3 EDWW逻辑架构1.3.1 逻逻辑架构框架架1.3.2 数数据处理流程程1.4 EDDW运维架构构1.4.1 运运维架构概

2、述述1.4.2 运运维架构的逻逻辑框架1.5 EDWW数据架构1.5.1 数数据架构设计计原则1.5.2 数数据架构分层层设计1.6 EDWW应用架构1.6.1 应应用架构设计计原则1.6.2 数数据服务1.6.3 应应用服务第二章 ETLL体系建设2.1 ETLL架构概述2.2 ETLL设计方案2.3 ETLL关键设计环环节2.3.1 接接口层设计策策略2.3.2 SStaginng Areea设计策略略2.3.3 数数据加载策略略2.3.4 增增量ETL设计策策略2.3.5 异异常处理2.3.66 作业调度度和监控2.3.7 元元数据管理2.3.8 EETL模块设设计2.3.9 EETL流

3、程设设计2.3.10 动态资源分分配2.3.11 数据接口设设计第一章 系统总体架构1.1 总体架构设计概概述1.1.1 总体架构的设计计框架XX银行EDWW项目的总体体架构分为基基础技术架构构、应用架构构和数据架构构三个核心部部分。这三个个部分共同组组成了XX银行EDDW系统。在基础技术架构构中，包括执执行架构、逻逻辑架构、功功能组件架构构和运维架构构四个部分。n 执行架构描述系系统大的框架架和模块区域域，以及之间间的逻辑关系系；是确定生生产环境的建建设要求及指指导原则。n 逻辑架构描述EEDW各个模模块之间的数数据的接口、数数据流向、工工具使用和采采用具体的技技术实现手段段或方式情况况，用

4、于规范范本项目最终终生产环境的的建立。逻辑辑架构是建立立应用架构、执执行架构、运运维架构的基基础，也是建建立执行架构构、应用架构构以及运维架架构的原型系系统。n 功能组件架构描描述确定系统统各个大的组组件组件区域域的功能模块块框架，以及及提供的某种种服务类型。n 运维架构是描述述EDW项目目的运维架构构标准，包括括运维架构设设计的内容、设设计原则、各各构成组件的的设计考虑因因素、约束、要要求等。运维维架构通过相相应的流程和和工具实现对对逻辑架构、功功能组件架构构、执行架构构、数据架构构以及应用架架构的运维和和管理。而数据架构和应应用架构的主主要描述：n 应用架构是EDDW为满足业业务需求所提提

5、供的系统应应用功能及其其蓝图设计，其其中业务需求求是应用架构构设计的基础础，最终的应应用架构将以以应用系统的的形式体现在在执行架构中中，主要包括括：应用服务务和数据服务务。n 数据架构描述于于EDW系统统相关的数据据流动策略，即即数据在EDDW系统的执执行架构下的的抽取、转换换、储存策略略以及应采用用的流程，包包括数据层次次和总分行之之间的数据分分部情况等。数数据架构是建建立执行架构构标准的需求求定义。下图是EDW项项目总体架构构的框架：1.1.2 总体架构的设计计原则n 总体架构在着重重考虑实施要要求的同时，需需要为后续阶阶段进行规划划，以保证项项目最终能够够达到目标架架构的设计；n 总体架

6、构的设计计要基于包括括XX银行数据据现状分析、实实施阶段数据据源情况分析析、第一阶段段实施EDWW设计建议做做为参考；n 总体架构设计架架构时充分考考虑与现有系系统兼容，充充分利用已有有成果，避免免重复开发和和建设。n 总体架构设计过过程中应遵守守XX银行的IT管管理规程，保保证最终的系系统可以顺利利的部署并移移交给XX银行的运行维维护部门。1.1.3 总体架构的设计计特点n 权衡功能、性性能、可扩展展性、易用性性、可管理性性和性价比。n 根据XX银行的的数据情况和和分析需求，采采用多层次的的企业EDWW系统架构来来保证在存在在复杂的数据据种类和关系系的海量数据据上进行业务务分析和查询询在业务

7、支持持能力和性能能等方面的要要求。n 多级自动的增增量ETL加加载机制，有有效提高ETTL并发度、加加载效率，降降低错误处理理的复杂性。n 通过用户入口支支持用户采用用Web浏览览器使用查询询和分析工具具，统一的信信息服务界面面，提高系统统易用性，减减少技术支持持工作量。n 利用企业信息集集成和Webb数据服务，提提高系统的数数据支持能力力和接口的一一致性。统一一的数据增强强平台也减少少数据增强的的复杂度。1.2 EDW执行架构构执行架构的主要要内容是描述述EDW项目目执行架构的的建设要求及及指导原则，用用于规范本项项目最终生产产环境的建设设。EDW项目的的生产环境的的建立需要参参考并遵循执执

8、行架构部分分提出的要求求。1.2.1 执行架构概述执行架构是EDDW的概念环环境，主要包包含：源数据据、数据落地地区、ETLL、数据准备备区、数据存存储区EDWW、业务应用用、用户环境境、数据管控控、系统安全全性以及EDDW基础设施施平台（包括括：服务器、存存储、网络）等等功能组件。从从技术层面上上来说，EDDW系统的执执行架构应实实现多种技术术平台及应用用之间的无缝缝集成。1.2.2 执行架构设计原原则在EDW项目实实施的过程中中，系统执行行架构的建设设应遵循以下下技术原则： 开放性原则：EEDW项目的的生产环境的的建设应基于于业界开放标标准，对系统统中使用的网网络协议、硬硬件接口、数数据接

9、口等应应进行统一规规划，EDWW系统应支持持主流的应用用软件包及其其部署的各种种硬件平台。 灵活性与可扩展展性：EDWW系统的基础础设施平台应应能够根据未未来系统的发发展需要以及及应用需求，方方便的扩展设设备容量和提提升设备性能能；具备支持持多种组件模模块、多种物物理接口的能能力；具备技技术升级、设设备更新的灵灵活性；具备备支持业务功功能的扩展与与重构的灵活活性。如：系系统容量可以以随着ETLL系统数据量量的扩展以及及应用系统的的不断扩展、用用户量不断扩扩展而进行平平滑的扩展。 高性能原则：系系统应达到数数据处理时间间窗口的要求求，用户定义义的查询效率率、响应时间间的要求，满满足业务系统统的要

10、求；对对现有业务系系统影响小。 自动化原则：EEDW项目建建设的核心任任务之一是数数据抽取、转转换、清洗和和加载（ETTL），在这这个过程中应应采用自动化化的设计原则则，避免手工工操作。同时时对于元数据据管理过程应应采用元数据据管理平台来来实现对元数数据集中、自自动化的管理理。 安全性原则：EEDW项目建建设中的数据据迁移过程都都必须保证数数据的安全性性，例如：在在系统建设过过程中应对数数据中敏感字字段进行安全全处理、同时时整个系统还还应采用网络络隔离、用户户身份认证及及访问控制、数数据库安全、操操作系统安全全以及完善的的安全审计机机制。1.2.3 执行架构框架上图是EDW系系统执行架构构，其

11、中包含含EDW系统统中涵盖的功功能框架以及及框架之间的的逻辑关系。在在以下的内容容中将对执行行架构中的功功能框架以及及框架之间的的关系进行详详细描述，具具体内容包括括： 数据源：包括XXX银行的多多个业务系统统，主要有核核心系统、个个贷系统、信信贷系统、国国际业务系统统、财务系统统和各类渠道系统统等。 数据落地区：此此部分内容说说明数据落地地的用途，同同时对数据落落地区应具备备的功能进行行了标准定义义以及数据落落地区与其他他功能组件之之间的关联关关系； ETL：此部分分内容描述EETL系统中中数据抽取、转转换、加载等等功能的需求求，同时定义义了ETL系系统建设的标标准以及ETTL与系统中中其他

12、功能组组件之间的关关系； 数据准备区：此此部分描述数数据准备区应应具备的功能能，以及数据据准备区在建建设过程中的的标准需求。 操作型存储区：此部分内容容描述EDWW系统在建设设的过程中操操作型存储区区应遵循的标标准以及系统统建设过程中中应满足的需需求； 数据仓库存储区区：此部分内内容描述EDDW系统的数数据仓库存储储区应遵循的的标准以及系系统建设过程程中应满足的的需求； 业务应用：此部部分内容描述述BI应用系系统建设的系系统需求，包包含对应用环环境、分析环环境、静态报报表环境； 用户环境：此部部分的内容描描述用户在EEDW系统中中应具备运用用的能力，包包括：利用通通用展现平台台进行信息展展现、

13、驾驶舱舱应用、报表应用等等； 时间窗口和性能能的定义：此此部分描述整整个EDW项项目中关于时时间窗口的定定义以及相关关系统的性能能指标要求； 元数据管理：此此部分描述在在系统执行架架构中元数据据管理的内容容以及元数据据管理系统的的建设的标准准定义； 系统安全性：此此部分内容主主要描述EDDW系统中的的安全性管理理内容，包括括应用安全、网网络安全、数数据安全、系系统安全等，同同时描述系统统安全在建立立过程中遵循循的原则； 基础设施平台（服服务器 、网网络、存储）：此部分内容容主要描述生生产系统中的的硬件资源，包包括：服务器器，网络以及及存储的资源源需求，容量量规划应满足足的系统指标标等内容；1.

14、2.3.1 数据源源数据系统是报报表、关键指指标、灵活查查询、主题分分析等应用系系统的基础数数据来源。在在系统建设初初期，源数据据系统应提供供能满足初始始业务需要的的数据以及业业务系统需要要提供完整数数据的时间窗窗口，在EDDW系统扩展展的过程中，各各个源数据系系统中的数据据将逐渐的加加载到EDWW系统当中。源源数据无法满满足应用需求求时，系统应应提供手工方方式通过手工工数据补入平平台将需要的的数据补入到到EDW系统统中。目前数据源包括括XX银行的多多个业务系统统，主要有核核心系统、个个贷系统、对对公信贷系统统、国际业务务系统、财务务系统和各类类渠道系统等等。1.2.3.2 数据落地区数据落地

15、区是为为了保证多系系统对源系统统数据抽取的的需求，在数数据从源数据据系统抽取后后在统一的数数据集成环境境中整合。数数据落地区应应建立与各相相关源数据系系统的接口，将将这些系统定定期卸载的数数据以固定的的格式接收、存存放到落地区区，考虑数据据传输和加载载的速度，源源数据系统应应以文本文件件格式将数据据定期传输给给数据落地区区进行处理。数据落地区的数数据存储格式式原则上是与与数据源的存存储格式保持持一致1.2.3.3 数据ETL架构构ETL是数据的的抽取、转换换、加载的全全部过程，它它是数据从数数据落地区到到ETL服务务器以及从EETL服务器器到EDW的的数据迁移过过程以及数据据从EDW向向数据集

16、市的的数据迁移过过程中必须使使用的过程和和方法， EETL系统应应包括以下三三个主要功能能：n 数据抽取：从数数据落地区系系统抽取EDDW中需要的的数据；n 数据转换：将从从源数据系统统获取的数据据转换成EDDW要求的形形式，同时按按照业务需求求对数据进行行转换；n 数据加载：将助助转换后的数数据装载到EEDW的物理理模型中；1.2.3.4 数据准备区数据准备区是数数据存储的临临时存储区域域，数据在其其中只作暂时时性保存，数数据经转换后后导入到EDDW的物理模模型中。数据准备区的功功能包括：格格式转换、排排序去重/筛筛选、通用基基础清洗、连连接/合并/分割、业务务转换等1.2.3.5 操作型存

17、储区操作型存储区是是数据仓库系系统一个重要要的环节。该该区有着承上上启下的作用用，从数据形形态来看，该该区的数据定定义贴近业务务源系统;从从数据标准来来看，该区的的数据标准是是遵循数据仓仓库系统的标标准。所以该该区一般分为为两个层次，第第一个层次称称之为良好质质量的、统一一格式的数据据贴源层，第第二个层次为为统一的、规规范的、遵循循数据仓库系系统标准的数数据标准层。 数据贴源层可可以继续为行行内现有的一一些报表系统统或者分析系系统提供数据据，而数据标标准层为数据据仓库中的企企业数据模型型的落地扫清清了道路。所以该存储区在在整个EDWW系统起到了了一个承上启启下的关键作作用。1.2.3.6 ED

18、W存储区EDW存储区是是面向主题的的、集成的、面面向企业的、最最明细的数据据存储，其内内容是依据最最终用户应用用和分析需求求来进行组织织。数据存储储区中的数据据模型对标准准层数据、基基础整合数据据、汇总数据据和面向应用用的集市数据据按数据层次次进行管理，每每个数据层有有自己的数据据管理重点。对对于每个数据据层次，再按按主题进行分分类组织。这这样就可以有有效的将银行行企业的操作作型数据、汇汇总型数据和和分析型数据据以清晰的架架构组织、管管理起来，并并相辅相成。数数据层的内容容相互促进发发展，组成银银行完善的数数据集合，为为各种主题管管理应用的构构建提供良好好的数据架构构基础。1.2.3.7 业务

19、应用业务应用是EDDW系统向业业务用户提供供应用功能支支持，根据应应用服务提供供的形式和所所采用的应用用系统的不同同，业务应用用主要定义在在以下几个技技术环境。数据集市：在业业务应用层中中包含了应用用系统中需要要的应用集市市、OLAPP、静态报表表等数据集市市。数据集市市是一组特定定的、针对某某个主题域、部部门或用户分分类的数据集集合。这些数数据需要针对对用户的快速速访问和数据据输出进行优优化，优化的的方式可以通通过对数据结结构进行汇总总和索引。通通过数据集市市可以保障EEDW的高可可用性、可扩扩展性和高性性能。应用环境：应用用环境是为满满足业务需要要在数据EDDW环境中配配置的应用软软件包。

20、分析环境：数据据分析环境为为EDW的高高端用户提供供即时的数据据分析功能等等。报表环境：报表表环境是于来来产生和发布布静态报表的的环境，包括括：产生的静静态报表、OOLAP产生生的报表、KKPI指标展展现以及其他他系统产生的的报表。1.2.3.8 用户环境用户环境是EDDW系统最终终向用户提供供的某种应用用服务的集合合，主要有三三种应用服务务的表现形式式：通用展现平台：通过此平台台将报表、KKPI展现、灵灵活查询、分分析等多个应应用集成到一一个平台中，进进行统一的展展现和信息的的管理，包括括如：报表生生命周期的管管理等。数据分发环境：在数据分发发的过程中应应提供大容量量数据批量分分发的能力。给

21、给其他需要某某个系统的数数据提供数据据交换功能。报表分发环境：报表的分发发应可以满足足系统定义的的安全性，如如按照不同的的用户类型、不不同的组织进进行分发，不不同的用户和和组织只能看看到属于自己己的报表的数数据，数据的的分发将通过过数据传输平平台进行。1.2.3.9 元数据管理元数据管理是对对数据信息的的收集和发布布的集成管理理，数据信息息包括：数据据的业务含义义和技术特性性。数据仓库库系统架构中中的各个部分分中都含有元元数据信息，应应对其进行主主动式管理，以以保证它正确确的定义、收收集和使用。元元数据是“关于数据的的数据”。应包括文文件结构定义义，数据库字字段名称，数数据模型中的的长度和标准

22、准，以及在域域-域或域-报表对应关关系中的计算算和公式等内内容。元数据管理的架架构如下图所所示，系统的的最终架构应应实现对元数数据的集中的的管理方式：1.2.3.10 系统安全性EDW系统中的的数据和报表表信息均为敏敏感信息。因因此必须采用用适当的安全全策略以保证证其系统和数数据的安全性性。数据仓库库系统的安全全性应涵盖如如下四个方面面：n 验证：系统应对对用户进行访访问控制，保保证只有合法法的用户才能能进入到系统统中；n 授权：系统应根根据用户角色色对其进行授授权，包括对对数据的访问问权限，对功功能的使用权权限等。n 机密性：所有的的敏感数据必必须被严格控控制，禁止未未授权访问，并并保障其安

23、全全性。n 一致性：数据和和程序只能在在授权模式下下进行修改。针对上述6个方方面，数据仓仓库分系统应应按照以下的的6个方面的的标准进行建建设：应用层EDW应用系统统是建立在OOLAP软件件平台的基础础上，应用层层应实现用户户访问控制的的功能，针对对不同的用户户访问不同的的系统资源来来保证整个应应用系统的安安全性控制。对对于未来的数数据仓库系统统来说，应与与统一门户平平台整合，实实现整体安全全性管理的策策略；数据库层只有被授权用户户才能访问和和修改数据库库中的信息并并且数据在传传输过程中应应对敏感信息息进行加密处处理来保证数数据的安全。数据库管理员应应按照角色对对数据库用户户进行划分，并并且通过

24、赋予予角色权限的的方式实现对对用户安全性性访问控制的的管理，如：针对用户组组或耽搁用户户分配特定数数据表访问权权限。系统层系统应防止未授授权访问和系系统调用，及及时进行系统统安全补丁的的更新。对于于系统主机应应采用服务器器加固的方法法，来保证整整个系统的安安全性。网络层网络层安全是保保证网络节点点之间数据传传递的安全性性，以及网络络环境不受恶恶意攻击。XX银行数据仓仓库环境建立立在企业内部部网络中，不不同功能的服服务器应部署署在不同网段段中，网段之之间相互隔离离，对网段之之间的访问应应通过防火墙墙并定义严格格的访问控制制策略。整个个系统的网络络环境应得到到实时监控，对对入侵进行检检测和处理，并

25、并在发生入侵侵时通知系统统管理员。物理层物理层安全保障障物理设备（主主机、路由器器等）不受非非法用户攻击击。目前物理理设备的安全全性由运行中中心负责。管理管理部分与上述述的所有安全全问题相关，对对安全问题的的管理必须由由多个部门共共同协作完成成。管理层面面包括：n 安全资源：实现现各种安全使使用的资源，如如：防火墙，入入侵检测和处处理设备，反反病毒软件等等；n 安全策略和规划划：各种安全全规则，组织织和责任人；n 突发事件处理：在发生安全全威胁时的应应急处理流程程，包括：事事件记录、时时间报告制度度等流程；n 安全审计：对安安全策略的审审核和检查；n 灾难恢复计划：发生问题后后的系统和数数据恢

26、复；1.3 EDW逻辑架构构1.3.1 逻辑架构框架如上图所示的XXX银行EDDW的逻辑体体系架构，这这一架构是在在联科可扩展的的EDW系统统框架的基础础上，结合XXX银行信息息系统建设的的实际情况而而设计出来的的多层、可扩扩展框架结构构。架构的核核心上包括源源数据层、EETL流程调调度、数据平平台层、数据据集市层、应应用服务层、访访问控制层、用户层和数据据消费传输通道道七个大部分分，另外，元元数据管理和和安全管理也也是系统必不不可少的部分分，这2部分分会涉及到所所有核心层次次。在明确定义各层层之间的接口口后，多层框框架结构具有有高度的扩展展能力和方便便的系统开发发和维护性能能，符合目前前流行

27、的多层层应用结构，适适合EDW系系统多阶段、多多层次的应用用特点。1.3.1.1 源数据层【功能与作用】总行的各个业务务系统为整个个EDW系统统提供原始数数据支持，首首先作为ETTL层的数据据抽取源。【组成部分】目前总行的数据据源包括XXX银行的多个个业务系统，主主要有核心系系统、个贷系系统、对公信信贷系统、国国际业务系统统、财务系统统和各类渠道系统统等。1.3.1.2 ETL流程调度度层【功能与作用】该层为EDW数数据流向的主主要环节，EEDW系统数数据流动的流流程调度核心心层，流程调调度主要针对对下面几个方方面：n EDW系统将数数据源的数据据抽取到数据据落地区n EDW系统对数数据执行格

28、式式转换、排序序去重、通用用数据清洗、业业务转换后等等操作，最终终完成数据准准备区加载。n EDW系统再将将数据准备区区的数据按照照EDW数据据模型的方式式加载到数据据存储区中。n 在数据存储区中中进行基础数数据层、加工工汇总层和应应用集市层的的数据加载。n EDW中的数据据准备区和数数据存储区可可以为为其它它系统提供数数据服务。n 总行EDW可以以为分行EDDW提供数据据服务。【组成部分】上面的逻辑架构构图淡绿色色色矩形部分为为ETL 调调度管理技术术架构图，其其作用是让许许多的任务在在作业的执行行条件满足时时自动地执行行。ETL 调度管里最基基本的可执行行元素是单元元，每个单元元是完成某一

29、一特定功能的的程序，相关关单元组合在在一起构成了了可以调度的的最小组件任务。由由上面的技术术架构图可知知，ETL 调度管里包含含下列组件： n 知识库建立在DB中的的一个数据库库，包含了与与流程调度相相关的一组表表，保存ETTL流程调度度服务器、任任务、任务之之间的依赖触触发关系、任任务组、调度度计划等多种种类型的信息息。n 侦测器驻留在后台的服服务，基于定定义的触发规规则和调度计计划监测是否否触发任务的的执行。n 任务调度引擎接受侦测器的信信息调度任务务执行（可以以使本服务器器任务也可以以是其它服务务器的任务）。n 任务执行代理调用任务包含的的每个单元执执行的服务，同同一服务器上上可以有多个

30、个任务执行代代理同时运行行。n 任务封装在Perll程序中，执执行数据加载载、整合、立立方体生成等等工作的一组组程序。n 日志管理引擎记录ETL调度度管理各个服服务器组件以以及每个任务务的执行日志志，日志按天天保存，可以以定期清理。n 管理监控器Java应用程程序，用于定定义任务、任任务组合触发发关系等信息息，同时可以以实时监控任任务执行情况况查看日志。作为专门为数据据仓库系统设设计的流程调调度管理具有如下下特点：n 任务执行代理可可分布在多台台服务器上。n 结构简单、伸缩缩性强。n 支持多种执行任任务。1) 加载数据2) 整合数据3) 数据质量检查和和清洗4) 数据转换5) OLAP数据生生

31、成6) 数据挖掘模型的的执行7) 定制报表的产生生8) 定制页面的产生生9) 数据库备份、告告警等系统作作业10) 调用其他ETLL/ELT工工具产生的任任务11) 数据导出到指定定的渠道系统统n 执行的任务可以以是另一个任任务调度引擎擎触发（如：EDW）。n 可以启动其它的的ETL引擎擎的任务。1.3.1.3 数据平台层【功能与作用】作为本系统的数数据核心部分分，它负责存存储和管理来来自各种源数数据系统的数数据，并为访访问用户提供供数据服务。这些数据是按照照在逻辑数据据模型分主题题存放的。【组成部分】本层由操作型存存储区、仓库存储区区和集市应用用层四个部分分组成。详细细内容参见“EDW数据据

32、架构”1.3.1.4 数据集市层【功能与作用】数据集市是一组组特定的、针针对某个主题题域、部门或或用户分类的的数据集合。这这些数据需要要针对用户的的快速访问和和数据输出进进行优化，优优化的方式可可以通过对数数据结构进行行汇总和索引引。通过数据据集市可以保保障EDW的的高可用性、可可扩展性和高高性能。【组成部分】包括：驾驶舱报报表系统和灵活查查询以及其他他应用集市系系统。1.3.1.5 应用服务层【功能与作用】通过对数据平台台层中的数据据进行适当的的提炼、汇总总，利用通用用展现平台向向用户提供包包括报表服务务、查询服务务、决策仪表表盘等相关服服务。该层为为用户对中央央数据的访问问提供各种方方式的

33、服务（CC/S、B/S），从而而实现访问方方式的多样化化和信息存取取的透明化。【组成部分】通用展现平台主主要包括的功功能模块有：第一个层次是核核心模块包括括：框架、引引擎，核心模模块作为报表表集成开发环环境的基础、核核心和框架存存在。报表集集成开发环境境核心功能和和模块组装由由核心模块统统一提供，只只暴露给开发发人员；第二个层次是管管理模块包括括：报表信息息、基本管理理、代理、信信息推送、连连接信息，管管理模块为报报表集成开发发环境提供管管理服务，它它提供报表集集成开发环境境的用户、权权限等的统一一管理，管理理模块也是报报表集成开发发环境必选模模块，它的很很多功能调用用由核心模块块提供，管理理

34、模块包括55个子模块；第三个层次是应应用模块包括括：仪表盘、灵灵活查询、数数据录入、报报表、复杂报报表，应用模模块提供报表表集成开发环环境最终用户户（非管理人人员）的用户户体验，可以以和管理模块块相结合有选选择地灵活部部署。1.3.1.6 访问控制层【功能与作用】访问控制层主要要包括WEBB、认证、安安全、门户四四方面的服务务。该层位于于用户层和中中间服务层之之间，为用户户层成提供HHTTP服务务、门户的单单点登录、用用户统一认证证、提交用户户层请求到中中间服务层，对对用户实施安安全策略，为为用户管理报报表、查询文文档，提供个个性化定制等等。1.3.1.7 用户层由上面的逻辑架架构图可知用用户

35、层包括各各种最终用户户。按照用户户使用EDWW系统的方式式和特点，可可以划分为业业务分析人员员、高级分析析人员和管理理决策人员。所所有用户统一一通过用户门户访问问EDW系统统各类应用，从从而实现了EEDW系统的的应用界面、安安全管理统一一，同时用户户可以对门户户进行个性化化定制以方便便自己使用。实际上，EDWW系统还包括括进行系统建建设的开发人人员、系统运运行人员和系系统管理人员员，这里所指指的用户层主主要针对业务务用户进行描描述。n 业务分析人员主要指总行各业业务部门、各各分行的业务务用户，如：客户经理。该该类人员直接接使用模块化化的应用界面面访问EDWW系统，生成成或预览预定定义报表，进进

36、行相对固定定的查询以及及多维分析。这这类用户会使使用B/S和和C/S两种种客户端访问问EDW系统统。n 高级分析人员是指总行各业务务部门、各分分行的较为高高级的用户。除除能够执行一一般业务分析析人员进行的的操作外，可可以对指定的的主题、指标标进行自定义义的灵活分析析和比较。分分析的方式包包括自定义查查询、自定义义报表、多维维旋转和穿透透钻取等等。这这类用户会使使用B/S和和C/S两种种客户端访问问EDW系统统。n 管理决策人员主要包括各部门门的领导、分分行领导和总总行领导。EEDW系统为为管理决策人人员分配专门门的系统资源源，建立最为为直观和方便便的存取界面面，为决策人人员赋予最大大的信息访问

37、问权限，实现现决策人员对对信息的自由由访问。同时时，EDW系系统将决策人人员最为关心心的信息主动动发布到决策策人员的访问问界面上，简简化信息访问问的方式，使使得决策人员员在第一时间间获得经营管管理的各种重重要信息和指指标。这类用用户只会使用用B/S客户户端访问EDDW系统。1.3.1.8 消费数据传输通通道在数据仓库系统统建立以后，会会有很长一段段时间旧有的的报表系统和和分析系统需需要逐步迁移移，在此期间间，需要有一一个消费数据据传输通道来来支持旧有系系统的良好运运转。1.3.1.9 安全管理体系安全管理体系主主要包括以下下四个方面：n 网络安全主要包括在不同同网络层次设设置不同级别别的防火墙

38、及及IDS系统统，同时在每每一个安全层层次下通过部部署不同的安安全原则，这这完全符合XXX银行的安安全级别规定定。n 操作系统安全系统所有应用或或数据库服务务器均采用UUnix操作作系统，操作作系统本身有有着严密的系系统安全认证证与用户权限限管理体系，并并具备登录、审审核以及资源源访问的审计计与跟踪。n 数据安全提供各种基于数数据库的安全全保护机制。n 应用安全应用是直接面对对用户的，虽虽然应用系统统能够持续提提供服务是涉涉及到系统安安全的问题，但但是因为这些些问题更多的的是由系统的的安全问题来来保证的。所所以就应用级级的安全策略略更多的是保保证对数据访访问的合法性性。1.3.1.10 元数据

39、管理体系系在机构内关于数数据的信息称称为“元数据据(Metaadata)”。清楚地地区分数据库库中的数据和和元数据是很很重要的，所所谓元数据，是是指关于数据据的数据，即即用来描述数数据的类型、来来源、定义、存存储位置，使使得可以正确确地使用数据据仓库。元数据仓库(MMeta DData RReposiitory)对业务人员员来说是很重重要的，是业业务人员与数数据仓库的数数据交流的传传达手段。IIT人员可能能已经拥有许许多有效的工工具进行数据据存取。但对对业务人员，他他们需要一种种手段和工具具来理解他们们存取的数据据。在本期EDW系系统的建设中中，包括技术术元数据和业业务元数据两两类，其数据据源

40、涵盖了EEDW系统的的各个环节，包包括：数据源源系统、EDDW数据库、EEDW逻辑数数据模型、EETL系统、业业务应用系统统等，同时，还还将涉及数据据的业务含义义和业务规则则等相关业务务文档。在架架构上，元数数据系统包括括：元数据应应用、元数据据报表、元数数据分析、元元数据集成系系统、元数据据展现系统、元元数据管理系系统、元数据据维护系统。1.3.2 数据处理流程各业务数据源系系统通过多种种方式(如：ETLL工具直接从从源系统获取取、源系统数数据批量导出出)将数据获获取过来,由数据落地地区区进行集集中管理。后续的数据加工工、转换通过过ETL SServerr来完成,中间采取不不落地的方式式,将

41、加工完毕毕后的数据放放在数据准备备区域。ETTL Serrver 可可通过 dss job,FTP,NNFS 等方方式从数据落落地区获取数数据，将处理理后的结果放放在数据准备备区域。再将将数据准备区区的数据加载载到数据存储储区中。根据目标系统的的不同,采用灵活的的方式向外提提供数据,可使用ETLL 工具直接接向目标系统统加载或者通通过 FTP方式式向其他目标标传输。为支支持其他的业业务需求,将近期(330-60天天)的明细数数据、流水数数据集中存放放在数据库系系统中,日常增量数数据刷新数据据库系统。整个过程通过调调度工具进行行统一调度,集中管理,确保各项任任务有序完成成。1.4 EDW运维架构

42、构1.4.1 运维架构概述下图中给出了EEDW的运维维架构，是在在EDW系统统上线后，为为了保持系统统良好的稳定定性而定义的的相关的管理理需求。运维维架构主要是是针对执行架架构的数据导导入层、数据据服务层、中中间服务层和和访问控制层层服务器进行行管理，面向向的最终用户户是IT人员员。图1 运维逻辑辑体系架构运维架构中包含含了如下组件件：系统监控控管理组件、系系统维护管理理组件、备份份恢复管理组组件、故障切切换管理组件件、性能容量量规划组件和和运维安全管管理组件。各各个组件的主主要功能如下下： 系统监控管理组组件：监控网网络/系统性性能、运行，以以及诊断和报报告故障。管管理的硬件和和软件包括所所

43、有开发、测测试和生产环环境中的硬件件和软件。 系统维护管理组组件：系统维维护是指系统统在运行过程程中，为了系系统的正常服服务而进行的的配置、参数数管理，以及及启/停机、清清理过期数据据等日常操作作，以及数据据、系统发生生变更的维护护等。 备份恢复管理组组件：备份/恢复管理组组件处理系统统中所有必须须的备份和恢恢复操作。这这个组件根据据备份策略，通通过对数据的的冗余存储来来保证系统可可以从各种服服务中断中恢恢复。 故障切换管理组组件：故障切切换管理提供供了管理和控控制应用切换换的机制。故故障切换组件件使用冗余系系统和数据来来保证关键任任务数据流不不间断。当发发生故障或失失败时，该切切换发生在主主

44、系统和备份份系统之间。 性能容量规划组组件：性能及及容量规划从从环境中的不不同元素收集集利用数据，并并规划硬件和和软件能力需需求。 运维安全管理组组件：运维安安全管理组件件通过制定和和管理运维安安全策略，并并利用安全工工具，维护信信息系统资产产（包括硬件件、软件、用用户数据、信信息/数据）的的机密性、一一致性和可用用性。 运维环境管理组组件：运维环环境管理用于于确保物理环环境和系统环环境的妥善管管理和保护，不不受故障和灾灾难的侵害，以以及不受人为为因素的干扰扰和破坏。整个运维架构通通过一些标准准的流程实现现生产环境运运行管理，包包括的流程主主要是日常操操作流程和特特殊操作流程程。日常操作作流程

45、是指IIT用户在日日常为维护生生产环境正常常运转需要做做的工作，如如：数据仓库库管理、系统统监控、备份份恢复、容量量规划。特殊殊操作流程不不会每天发生生，这一流程程的启动通常常是由于系统统软硬件升级级、数据变更更、新增应用用等需求引起起的。1.4.2 运维架构的逻辑辑框架1.4.2.1 系统监控管理在EDW系统中中，需要监控控管理的系统统元素可以分分为如下五类类： 网络/主机管理理：用于监控控、控制和报报告网络及主主机状态。 数据库/数据仓仓库管理：提提供相关监控控信息源,控控制各个独立立的服务器或或数据库/数数据仓库。应应监控所有的的关键数据库库/数据仓库库性能比例，以以保证高可用用性和性能

46、。 应用管理：处理理客户应用中中发生的事件件。应用本身身包括了衡量量内部应用响响应时间和性性能的工具，应应搜集这些工工具产生的信信息（如日志志、运行报告告等）用于监监控。 生产调度：生产产调度组件包包括了一套应应用，用于调调度和自动化化网络、系统统和应用管理理（如ETLL）特有的任任务。 安全管理：运维维架构中涉及及的安全管理理内容主要包包括身份管理理、系统级密密钥和证书管管理、安全策策略管理。系统监控管理的的主要任务及及工具支持如如下图所示：1.4.2.2 系统维护管理系统维护是指系系统在运行过过程中，为了了系统的正常常服务而进行行的配置、参参数管理，以以及启/停机机、清理过期期数据等日常常

47、操作，以及及数据、系统统发生变更的的维护等。系统维护管理包包括两方面的的管理内容：系统维护和和变更管理。 系统维护是指系系统在运行过过程中，为了了系统的正常常服务而进行行的配置、参参数管理，以以及启/停机机、清理过期期数据等日常常操作。 变更管理允许对对技术架构组组件进行变更更的控制管理理。在EDWW系统运行过过程中，有两两种典型的变变更需要进行行管理：数据据变更和系统统升级。变更更控制组件可可以协助运维维团队、开发发团队和业务务部门之间的的沟通，保障障系统的变更更平滑进行。系统维护管理的的主要任务及及工具支持如如下图所示：1.4.2.3 备份恢复管理备份与恢复的目目标在于： 保证在任何时点点对数据的完完全恢复。 最低程度地降低低数据丢失。 尽量提高数据备备份过程的效效率。备份恢复管理的的主要任务及及工具支持如如下图所示：1.4.2.4 故障切换管理故障切