2022年XX银行数据仓库建设项目方案.docx
《2022年XX银行数据仓库建设项目方案.docx》由会员分享,可在线阅读,更多相关《2022年XX银行数据仓库建设项目方案.docx(46页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、EDW数/XX银行据仓库项目方案目录第一章 系统总体架构 .1.1 总体架构设计概述 .1.1.1总体架构的设计框架 .1.1.2总体架构的设计原就 .1.1.3总体架构的设计特点 .1.2 EDW执行架构 . 1.2.1执行架构概述 .1.2.2执行架构设计原就 .1.2.3执行架构框架 .1.3 EDW规律架构 . 1.3.1规律架构框架 .1.3.2数据处理流程 .1.4 EDW运维架构 . 1.4.1运维架构概述 .1.4.2运维架构的规律框架 .1.5 EDW数据架构 . 1.5.1数据架构设计原就 .1.5.2数据架构分层设计 .1.6 EDW应用架构 . 1.6.1应用架构设计原
2、就 .1.6.2数据服务 .1.6.3应用服务 .其次章 ETL体系建设 .2.1 ETL架构概述 .2.2 ETL设计方案 .2.3 ETL关键设计环节 .2.3.1接口层设计策略 .2.3.2 Staging Area设计策略 .2.3.3数据加载策略 .2.3.4增量ETL设计策略 .2.3.5反常处理 .2.3.6作业调度和监控 .2.3.7元数据治理 .2.3.8 ETL模块设计 .2.3.9 ETL流程设计 .2.3.10动态资源安排 .2.3.11 数据接口设计 .第一章 系统总体架构1.1 总体架构设计概述1.1.1 总体架构的设计框架XX银行 EDW项目的总体架构分为基础技术
3、架构、应用架构和数据架构三个核心部分;这三个部分共同组成了XX银行 EDW系统;在基础技术架构中, 包括执行架构、 规律架构、 功能组件架构和运维架构四个部分;执行架构描述系统大的框架和模块区域,以及之间的规律关系;是确定生产环境的建设要求及指导原就;规律架构描述 EDW各个模块之间的数据的接口、数据流向、工具使用和采纳具体的技术实现手段或方式情形, 用于规范本项目最终生产环境的建立;规律架构是建立应用架构、执行架构、运维架构的基础,也是建 立执行架构、应用架构以及运维架构的原型系统;功能组件架构描述确定系统各个大的组件组件区域的功能模块框架,以及供应的某种服务类型;运维架构是描述 EDW项目
4、的运维架构标准,包括运维架构设计的内容、设计原就、各构成组件的设计考虑因素、约束、要求等;运维架构通过相应的流程和工具实现对规律架构、功能组件架构、执行架构、数据架构以及应用架构的运维和治理;而数据架构和应用架构的主要描述:应用架构是 EDW为满意业务需求所供应的系统应用功能及其蓝图设计,其中业务需求是应用架构设计的基础, 最终的应用架构将以应用系统的形式表达在执行架构中,主要包括:应用服务和数据服务;数据架构描述于 EDW系统相关的数据流淌策略, 即数据在 EDW系统的执行架构下的抽取、转换、储存策略以及应采纳的流程,包括数据层次和 总分行之间的数据分部情形等; 数据架构是建立执行架构标准的
5、需求定义;下图是 EDW项目总体架构的框架:1.1.2 总体架构的设计原就总体架构在着重考虑实施要求的同时,需要为后续阶段进行规划,以保证项目最终能够达到目标架构的设计;总体架构的设计要基于包括XX 银行数据现状分析、实施阶段数据源情形分析、第一阶段实施 EDW设计建议做为参考;总体架构设计架构时充分考虑与现有系统兼容,充分利用已有成果,防止重复开发和建设;总体架构设计过程中应遵守 XX银行的 IT 治理规程, 保证最终的系统可以顺当的部署并移交给 XX银行的运行爱护部门;1.1.3 总体架构的设计特点权衡功能、性能、可扩展性、易用性、可治理性和性价比;依据 XX银行的数据情形和分析需求, 采
6、纳多层次的企业 EDW系统架构来保证在存在复杂的数据种类和关系的海量数据上进行业务分析和查询在业务支持才能和性能等方面的要求;多级自动的增量 ETL加载机制,有效提高 ETL并发度、加载效率,降低错误处理的复杂性;通过用户入口支持用户采纳 Web浏览器使用查询和分析工具,统一的信息服务界面,提高系统易用性,削减技术支持工作量;利用企业信息集成和 Web数据服务,提高系统的数据支持才能和接口的一样性;统一的数据增强平台也削减数据增强的复杂度;1.2 EDW执行架构执行架构的主要内容是描述 EDW项目执行架构的建设要求及指导原就,用于规范本项目最终生产环境的建设; EDW项目的生产环境的建立需要参
7、考并遵循执行架构部分提出的要求;1.2.1 执行架构概述执行架构是 EDW的概念环境,主要包含:源数据、数据落地区、ETL、数据 预备区、数据储备区 EDW、业务应用、用户环境、数据管控、系统安全性以及 EDW基础设施平台(包括:服务器、储备、网络)等功能组件;从技术层面上来说, EDW系统的执行架构应实现多种技术平台及应用之间的无缝集成;1.2.2 执行架构设计原就在 EDW项目实施的过程中,系统执行架构的建设应遵循以下技术原就:.开放性原就 :EDW项目的生产环境的建设应基于业界开放标准,对系统中使用的网络协议、硬件接口、数据接口等应进行统一规划,EDW系统应支持主流的应用软件包及其部署的
8、各种硬件平台;.敏捷性与可扩展性 :EDW系统的基础设施平台应能够依据将来系统的进展需要以及应用需求,便利的扩展设备容量和提升设备性能;具备支持多种组件模块、多种物理接口的才能;具备技术升级、设备更新的敏捷性;具备支持业务功能的扩展与重构的敏捷性;如:系统容量可以随着ETL 系统数据量的扩展以及应用系统的不断扩展、用户量不断扩展而进行平滑的扩展;.高性能原就 :系统应达到数据处理时间窗口的要求,用户定义的查询效率、响应时间的要求,满意业务系统的要求;对现有业务系统影响小;.自动化原就 :EDW项目建设的核心任务之一是数据抽取、转换、清洗和加载( ETL),在这个过程中应采纳自动化的设计原就,防
9、止手工操作;同时对于元数据治理过程应采纳元数据治理平台来实现对元数据集中、自动化的治理;.安全性原就 :EDW项目建设中的数据迁移过程都必需保证数据的安全性,例如:在系统建设过程中应对数据中敏锐字段进行安全处理、同时整个系统仍应采纳网络隔离、用户身份认证及拜访掌握、数据库安全、操作系统安全以及完善的安全审计机制;1.2.3 执行架构框架业务数据源数据落地区ETL数据预备区ETL操作型储备ETLEDW业务应用用户环境核心系统个贷系统敏捷查询应用环境通用呈现平台对公信贷财务系统操作型数据 /标准化数据数据抽取转换加载数据仓库数据落地区数据抽取转换加载数据抽取转换加载( EDW )企业级数据模型报表
10、 /KPI分析环境数据分发环境数据预备区国结系统人力系统报表环境报表分发环境其他集市渠道系统其他系统元数据治理系统安全基础设施平台(服务器、网络、储备)上图是 EDW系统执行架构, 其中包含 EDW系统中涵盖的功能框架以及框架之间的规律关系;在以下的内容中将对执行架构中的功能框架以及框架之间的关系进行具体描述,具体内容包括:.数据源: 包括 XX 银行的多个业务系统,主要有核心系统、个贷系统、信贷系统、国际业务系统、财务系统和各类渠道系统等;.数据落地区 :此部分内容说明数据落地的用途,同时对数据落地区应具备的功能进行了标准定义以及数据落地区与其他功能组件之间的关联关系;.ETL:此部分内容描
11、述 ETL 系统中数据抽取、转换、加载等功能的需求,同时定义了 ETL系统建设的标准以及ETL与系统中其他功能组件之间的关系;.数据预备区 :此部分描述数据预备区应具备的功能,以及数据预备区在建设过程中的标准需求;.操作型储备区 :此部分内容描述 EDW系统在建设的过程中操作型储备区应遵循的标准以及系统建设过程中应满意的需求;.数据仓库储备区 :此部分内容描述 EDW系统的数据仓库储备区应遵循的标准以及系统建设过程中应满意的需求;.业务应用 :此部分内容描述 BI 应用系统建设的系统需求,包含对应用环境、分析环境、静态报表环境;.用户环境 :此部分的内容描述用户在 EDW系统中应具备运用的才能
12、,包括:利用通用呈现平台进行信息呈现、驾驶舱应用、报表应用等;.时间窗口和性能的定义 :此部分描述整个 EDW项目中关于时间窗口的定义以及相关系统的性能指标要求;.元数据治理 :此部分描述在系统执行架构中元数据治理的内容以及元数据管理系统的建设的标准定义;.系统安全性 :此部分内容主要描述 EDW系统中的安全性治理内容,包括应用安全、网络安全、数据安全、系统安全等,同时描述系统安全在建立过程中 遵循的原就;.基础设施平台 (服务器 、网络、储备):此部分内容主要描述生产系统中的硬件资源,包括:服务器,网络以及储备的资源需求,容量规划应满意的系 统指标等内容;1.2.3.1 数据源源数据系统是报
13、表、 关键指标、 敏捷查询、 主题分析等应用系统的基础数据来源;在系统建设初期, 源数据系统应供应能满意初始业务需要的数据以及业务系统需要供应完整数据的时间窗口, 在 EDW系统扩展的过程中, 各个源数据系统中的数据将逐步的加载到 EDW系统当中;源数据无法满意应用需求时, 系统应供应手工方式通过手工数据补入平台将需要的数据补入到 EDW系统中;目前数据源包括 XX银行的多个业务系统,主要有核心系统、个贷系统、对公信贷系统、国际业务系统、财务系统和各类渠道系统等;1.2.3.2 数据落地区数据落地区是为了保证多系统对源系统数据抽取的需求,在数据从源数据系统抽取后在统一的数据集成环境中整合; 数
14、据落地区应建立与各相关源数据系统的接口, 将这些系统定期卸载的数据以固定的格式接收、存放到落地区, 考虑数据传输和加载的速度, 源数据系统应以文本文件格式将数据定期传输给数据落地区进行处理;数据落地区的数据储备格式原就上是与数据源的储备格式保持一样1.2.3.3 数据 ETL 架构ETL是数据的抽取、转换、加载的全部过程,它是数据从数据落地区到ETL 服务器以及从 ETL服务器到 EDW的数据迁移过程以及数据从 EDW向数据集市的数据迁移过程中必需使用的过程和方法,ETL 系统应包括以下三个主要功能:数据抽取 :从数据落地区系统抽取 EDW中需要的数据;数据转换 :将从源数据系统猎取的数据转换
15、成EDW要求的形式,同时依据业务需求对数据进行转换;数据加载 :将助转换后的数据装载到 EDW的物理模型中;1.2.3.4 数据预备区数据预备区是数据储备的临时储备区域, 数据在其中只作临时性储存, 数据经转换后导入到 EDW的物理模型中;数据预备区的功能包括:格式转换、排序去重 / 挑选、通用基础清洗、连接 /合并/ 分割、业务转换等1.2.3.5 操作型储备区操作型储备区是数据仓库系统一个重要的环节;该区有着承上启下的作用, 从数据形状来看,该区的数据定义贴近业务源系统; 从数据标准来看,该区的数据标准是遵循数据仓库系统的标准; 所以该区一般分为两个层次, 第一个层次称之为良好质量的、统一
16、格式的数据贴源层,其次个层次为统一的、规范的、遵循 数据仓库系统标准的数据标准层;数据贴源层可以连续为行内现有的一些报表系统或者分析系统供应数据, 而数据标准层为数据仓库中的企业数据模型的落地扫清了道路;所以该储备区在整个 EDW系统起到了一个承上启下的关键作用;1.2.3.6 EDW 储备区EDW储备区是面对主题的、集成的、面对企业的、最明细的数据储备,其内 容是依据最终用户应用和分析需求来进行组织; 数据储备区中的数据模型对标准层数据、基础整合数据、汇总数据和面对应用的集市数据按数据层次进行治理, 每个数据层有自己的数据治理重点; 对于每个数据层次, 再按主题进行分类组织;这样就可以有效的
17、将银行企业的操作型数据、 汇总型数据和分析型数据以清晰的架构组织、治理起来,并相辅相成;数据层的内容相互促进进展,组成银行完善 的数据集合,为各种主题治理应用的构建供应良好的数据架构基础;1.2.3.7 业务应用业务应用是 EDW系统向业务用户供应应用功能支持, 依据应用服务供应的形式和所采纳的应用系统的不同,业务应用主要定义在以下几个技术环境;数据集市 :在业务应用层中包含了应用系统中需要的应用集市、OLAP、静态报表等数据集市; 数据集市是一组特定的、 针对某个主题域、 部门或用户分类的数据集合;这些数据需要针对用户的快速拜访和数据输出进行优化,优化的方式可以通过对数据结构进行汇总和索引;
18、通过数据集市可以保证EDW的高可用性、可扩展性和高性能;应用环境 :应用环境是为满意业务需要在数据EDW环境中配置的应用软件包;分析环境 :数据分析环境为 EDW的高端用户供应即时的数据分析功能等; 报表环境 :报表环境是于来产生和发布静态报表的环境,包括: 产生的静态报表、 OLAP产生的报表、 KPI 指标呈现以及其他系统产生的报表;1.2.3.8 用户环境用户环境是 EDW系统最终向用户供应的某种应用服务的集合, 主要有三种应用服务的表现形式:通用呈现平台: 通过此平台将报表、 KPI 呈现、敏捷查询、分析等多个应用集成到一个平台中, 进行统一的呈现和信息的治理, 包括如: 报表生命周期
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 2022 XX 银行 数据仓库 建设项目 方案
限制150内