如何构建银行数据仓库41676.docx

《如何构建银行数据仓库41676.docx》由会员分享，可在线阅读，更多相关《如何构建银行数据仓库41676.docx（10页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、如何构建银行数数据仓库数据仓库技术作作为一项数据据管理领域的的新技术，其其精髓在于针针对联机分析析处理(OLLAP)提出出了一种综合合的解决方案案，与以往很很多技术不同同的是，它主主要是一种概概念，在此概概念指导下完完成系统的构构造。既没有有可以直接购购买到的现成成产品，也没没有具体的分分析规范和实实现方法，也也就是说没有有成熟、可靠靠且被广泛接接受的数据仓仓库标准。在在以往关系数数据库的设计计和实现中，不不仅有详细的的理论推导，还还有无数的设设计实例，无无论你使用的的是什么公司司的数据库产产品、开发工工具，只要按按照规范做，那那么实现同一一业务需求的的方案都会很很相似。而现现有数据仓库库的实

2、现中，出出现了MOLLAP方案和和ROLAPP方案的区别别，出现了形形形色色的数数据仓库建模模工具、表现现工具，而设设计人员的个个人经验和素素质也会在其其中扮演很重重要的角色。 数据仓库技技术的实现方方式 目前在在数据仓库技技术的实际应应用中主要包包括如下几种种具体实现方方式。 1、在在关系数据库库上建立数据据仓库(ROOLAP) 2、在多维维数据库上建建立数据仓库库(MOLAAP) MOOLAP方案案是以多维方方式来组织数数据，以多维维方式来存储储数据；ROOLAP方案案则以二维关关系表为核心心表达多维概概念，通过将将多维结构划划分为两类表表:维表和事事实表，使关关系型结构能能较好地适应应多

3、维数据的的表示和存储储。在多维数数据模型的表表达方面，多多维矩阵比关关系表更清晰晰且占用的存存储更少，而而通过关系表表间的连接来来查询数据的的ROLAPP系统，系统统性能成为最最大问题。MMOLAP方方案比ROLLAP方案要要简明，索引引及数据聚合合可以自动进进行并自动管管理，但同时时丧失了一定定的灵活性。RROLAP方方案的实现较较为复杂，但但灵活性较好好，用户可以以动态定义统统计和计算方方式，另外能能保护在已有有关系数据库库上的投资。 由于两种方方案各有优劣劣，因此在实实际应用中，往往往将MOLLAP和ROOLAP结合合使用，即所所谓的混合模模型。利用关关系数据库存存储历史数据据、细节数据

4、据或非数值型型数据，发挥挥关系数据库库技术成熟的的优势，减少少花费，而在在多维数据库库中存储当前前数据和常用用统计数据，以以提高操作性性能。 3、在在原有关系库库上建立逻辑辑上的数据仓仓库 由于目目前正在运行行的OLTPP系统中已经经积累了海量量数据，如何何从中提取出出决策所需的的有用信息就就成为用户最最迫切的需要要。新建数据据仓库固然能能从功能、性性能各方面给给出一个完整整的解决方案案，但需要投投入大量的人人力、物力，并并且数据仓库库的建设和分分析数据的积积累需要一段段时间，无法法及时满足用用户对信息分分析的迫切需需要。因此在在筹建数据仓仓库的前期，可可以采用一些些合适的表现现工具，在原原有

5、OLTPP系统上建立立起一个逻辑辑的数据仓库库系统。尽管管由于原有OOLTP系统统设计上的局局限性，这样样的系统可能能无法实现很很多分析功能能，但这样一一个系统中数数据结构固定定、信息分析析需求相对稳稳定成熟，因因此数据仓库库的建模、实实现过程会相相对容易、便便捷；同时，这这样的系统也也会成为将来来真正数据仓仓库建设的原原型。 信息息系统与数据据仓库的关系系 由于数据据量大、数据据来源多样化化，在商业银银行构建管理理信息系统时时，不可避免免地会遇上如如何管理这些些浩如烟海的的数据，以及及如何从中提提取有用的信信息的问题；而数据仓库库的最大优点点在于它能把把企业网络中中不同信息岛岛上的商业数数据

6、集中到一一起，存储在在一个单一的的集成的数据据库中，并提提供各种手段段对数据进行行统计、分析析。因此可以以说，在银行行使用数据仓仓库构建管理理信息系统，既既有压力，又又有数据基础础，它们之间间的联系是必必然的，难以以割舍的。 数据仓库在在商业银行的的应用范围包包括存款分析析、贷款分析析、客户市场场分析、相关关金融业分析析决策(证券券、外汇买卖卖)、风险预预测、效益分分析等。 在在银行信息系系统构建时，由由于历史情况况和现实需求求的不同，存存在两种途径径: 1、建建设新系统 由于目前国国内商业银行行对银行内部部运营的监管管，缺乏很好好的数据搜集集机制，因此此可以在构建建管理信息系系统时，分数数据

7、收集录入入和数据汇总总分析两部分分来考虑。这这样的系统中中由于不需考考虑大量历史史数据的处理理问题，同时时考虑到搜集集过程中可能能存在多个数数据来源，因因此可以在系系统建设的同同时构建数据据仓库，将搜搜集来的各种种数据通过数数据抽取整合合到数据仓库库中。 2、完完善原有系统统 而对于已已经存在OLLTP系统，其其中沉淀了大大量历史数据据，则可以先先在原有系统统上建立逻辑辑数据仓库，即即使用数据分分析的表现工工具，在关系系模型上构建建一个虚拟的的多维模型。当当系统需求稳稳定后，再建建立物理数据据仓库，这样样既节省投资资，又缩短开开发工期。 实现中需要要注意的问题题 一、模型型设计中的问问题 模型

8、设设计(包括逻逻辑模型设计计和物理模型型设计)是系系统的基础和和成败的关键键，在实际操操作中，视实实现技术的不不同应分别对对下列问题引引起注意。 1、直接构构建数据仓库库 直接构建建数据仓库时时，必须按业业务分析的要要求重组OLLTP系统中中的数据，并并要按不同侧侧重点分别组组织，使之便便于使用。 *主题的确确定 主题是是一个逻辑概概念，它应该该能够完整、统统一地刻画出出分析对象所所涉及的各项项数据以及相相互联系。划划分主题的根根据主要来源源于两方面:对原有固定定报表的分析析和对业务人人员的访谈。原原有固定报表表能较好地反反映出以往工工作对数据分分析的需求，而而且数据含义义和格式相对对成熟、稳

9、定定，在模型设设计中需要大大量借鉴。但但仅仅满足于于替代目前的的手工报表还还远远不应是是构建管理信信息系统的目目标，还应该该通过业务访访谈，进一步步挖掘出日常常工作中潜在在的更广、更更深的分析需需求。只有这这样，才能真真正了解构建建数据仓库模模型所需的主主题划分。 *分析内容容的细化 主主题的划分实实际上是与分分析内容的范范围直接相关关的，一旦主主题划分清楚楚了，下一步步就是细化分分析的具体内内容以及根据据分析内容的的性质确定它它在数据仓库库中的位置。通通常维元素对对应的是分析析角度，而度度量对应的是是分析关心的的具体指标。一一个指标究竟竟是作为维元元素、度量还还是维属性，取取决于具体的的业务

10、需求，但但从实际操作作中可以总结结出如下的概概念性经验:作为维元素素或维属性的的通常是离散散型的数据，只只允许有限的的取值；作为为度量的是连连续型数据，取取值无限。如如果一定要用用连续型数据据作为维元素素，则必须对对其按取值进进行分段，以以分段值作为为实际的维元元素。判断分分析指标是作作为维元素还还是维属性时时，则需要综综合考虑这个个指标占用的的存储空间与与相关查询的的使用频度。 需要特别强强调的是，在在细化分析内内容的过程中中，务必解决决指标的歧义义问题。在不不同报表中以以及在业务访访谈中同一名名称的指标，是是否是在同样样条件限定下下，通过同样样方法提取或或计算得到的的，它们之间间的相互关系

11、系是什么，这这些问题都必必须从熟悉业业务的分析人人员那里得到到准确、清晰晰的答案，否否则将会影响响到模型设计计、数据提取取、数据展现现等多个方面面。 *粒度度的设计 数数据仓库模型型中所存储的的数据的粒度度将对信息系系统的多方面面产生影响。事事实表中以各各种维度的什什么层次作为为最细粒度，将将决定存储的的数据能否满满足信息分析析的功能需求求，而粒度的的层次划分、以以及聚合表中中粒度的选择择将直接影响响查询的响应应时间。 如如果同一个信信息系统要在在大范围、多多层次上同时时运行，如部部门级和企业业级，还应考考虑不同层次次的数据仓库库采用不同的的粒度。 *模型设计中中的技巧 复复合指标尤其其是比率

12、类指指标的定义，必必须注意累加加时是先加减减后乘除，还还是反之。户户数、笔数的的计算，这类类指标在分析析或报表中经经常出现，但但不需要作为为单独的指标标物理存在于于数据库中，但但定义分析模模型时一定应应该准备。度度量的时间特特性，针对分分析指标在时时间维上的不不同表现，可可分为可累加加指标、半可可累加指标和和不可累加指指标。 2、在在原有数据基基础上构建逻逻辑数据仓库库 如果直接接使用OLTTP系统中的的数据进行数数据分析处理理，会遇到许许多麻烦，有有时甚至是不不可能实现的的。这并不是是说关系数据据库不好，而而是因为其设设计思路不适适应较大规模模数据分析。因因此在使用这这种方法时，需需要注意下

13、列列问题的处理理: *不同同的时间单位位 这是实现现过程中最常常遇到的问题题，也往往是是最难解决的的问题。OLLTP系统中中存储的时间间往往采用与与实际业务发发生相同的时时间单位，如如帐务数据单单位为日期，财财务报表单位位为月或半年年。而面向分分析时，往往往要将不同时时间单位的数数据统一到同同一个结果中中，这样就必必须存在适当当的转换机制制才能实现。 *冗余信息息 所谓冗余余信息，就是是指不同关系系表中存在的的同一含义的的字段，而同同一含义不仅仅指这些字段段的取得或计计算方式一样样，还指它们们成立的条件件一样，例如如截止某一时时间同一地区区的同一贷种种的贷款余额额。在OLTTP系统中，这这样的

14、字段往往往是基于性性能考虑而设设计的，而在在面向分析设设计模型时，为为了保证结果果的唯一性和和准确性，就就必须用且只只用其中之一一的数据产生生分析结果。 *表间连接接 由于OLLTP系统中中表的设计面面向业务处理理，既要保证证数据的完整整性、一致性性，又要考虑虑响应时间，因因此表与表之之间既相对独独立，又相互互依赖。在设设计数据仓库库逻辑模型时时，对表间的的连接必须做做出相应取舍舍，既要保证证分析数据能能通过连接取取得或计算出出，又要避免免出现环路，造造成分析数据据的歧义。另另外，不同的的连接途径还还会出现不同同的查询速度度，影响数据据分析的响应应性能。 *统计表的设设计 如果上上述问题不能能

15、在原有数据据库基础上得得到很好的解解决，那么权权益之计就是是构建统计表表，即简单化化的数据仓库库，形式类似似数据仓库的的事实表，定定时计算统计计数据放入，将将时间、冗余余、连接等问问题摈除，进进行简单分析析。 二、数数据抽取中的的问题 数据据抽取是一件件技术含量不不高，但非常常烦琐的工作作，必须有专专人负责数据据抽取的工作作。在对其进进行设计时，要要注意的问题题有: 1、数数据抽取的规规则要作为元元数据进行规规范和管理，抽抽取过程中的的源表、源字字段、目的表表、目的字段段、转换规则则以及转换条条件都要作好好详细记录。这这样不仅便于于编程人员实实现，而且在在抽取规则或或逻辑模型发发生变化时也也便

16、于修改。 2、如何记记录业务数据据库中的变动动情况是数据据抽取中一个个重要的环节节。由于数据据仓库中按时时间保存数据据，因此不同同时间点之间间数据的差异异就成为一个个关键性因素素。通常可以以利用数据库库管理系统提提供的手段在在数据库级产产生数据变动动日志，根据据日志再判断断数据的变动动情况完成抽抽取，这样是是一个从性能能、可操作性性以及对原业业务系统的影影响等多方面面综合考虑都都比较理想的的方法。 33、当数据仓仓库中同一表表中的数据来来自于原有系系统中不同的的表，甚至不不同的库时，抽抽取时务必保保证这些数据据单位一致，而而且都满足同同一时间条件件。 4、数数据抽取不仅仅要考虑数据据的提取，还

17、还要考虑抽取取的时间安排排和执行方式式，这样才是是一个完整的的数据抽取方方案，也才能能保证抽取出出来的数据准准确、可用。 三、后期维维护、优化中中的问题 数数据仓库的建建设是一个长长期工作，它它同其他系统统一样需要在在运行的过程程中不断进行行调整、完善善。这其中包包括两方面的的工作: 11、性能 数数据仓库涉及及海量数据的的查询，数据据的大量写入入读出，不仅仅对数据库系系统的要求很很高，而且与与OLTP系系统的要求极极为不同，因因此在系统设设计、实施和和维护的过程程中，数据仓仓库系统的性性能都是一个个不可忽视的的问题。尤其其是在运行期期间，要密切切关注应用对对系统资源的的消耗情况，针针对应用的

18、特特点及时对系系统进行调整整，包括调整整数据库参数数、数据分片片放置、创建建特殊索引乃乃至提高系统统配置等。 2、模型 应用与需求求是相互促进进、不断发展展的，随着信信息系统建成成运行，用户户在对系统了了解不断加深深的过程中，也也会对系统提提出更新更高高的要求。如如何在最小投投入的前提下下满足用户的的需求，也是是一个值得注注意和潜心研研究的问题。首首先要尽可能能挖掘现有系系统的潜力，其其次考虑，对对主题的增加加或可在现有有系统上增加加少量指标就就可解决的需需求，对系统统进行适当调调整，最后才才考虑对系统统进行重构，尽尽可能减小系系统建设中的的投入。 数数据仓库应用用的深化 按按照上述方法法实现

19、的应用用中，主要完完成了报表的的生成和日常常业务的分析析，这并不能能给企业带来来真正的效益益，也远远没没有发挥出数数据仓库的应应用价值。随随着应用的深深入，可以由由企业的技术术人员与业务务人员紧密配配合，规划出出对企业有实实际价值的应应用模型，并并根据实际业业务的发展不不断调整模型型自身的参数数，以期找出出企业运作过过程中的规律律，即在数据据仓库上进行行数据挖掘，构构建DSS系系统，这样才才能充分体现现构建数据仓仓库的意义，从从而最终为企企业带来效益益。 尽管数数据仓库技术术还需要不断断发展、完善善，但只要企企业能认识到到信息分析的的重要性，业业务人员和技技术人员能真真正配合起来来，相信不久久的将来会有有更多的实用用成果出现。