经营分析系统中的客户流失分析.pdf

《经营分析系统中的客户流失分析.pdf》由会员分享，可在线阅读，更多相关《经营分析系统中的客户流失分析.pdf（63页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、厦门大学硕士学位论文经营分析系统中的客户流失分析姓名：吕幸申请学位级别：硕士专业：软件工程指导教师：廖明宏20090801摘要电信市场竞争的加剧使得各电信企业客户的流失现象日益严重，建立高效的客户管理系统成为电信企业的必要选择。本论文以中国移动福建分公司开发的福建移动经营分析系统及移动客户流失分析系统为背景，阐述如何应用数据仓库及数据挖掘技术原理设计面向移动客户流失分析的数据仓库及数据挖掘模型，并使用大型数据库开发工具o r a c l e9 i 开发设计该数据仓库原型，使用拥有强大的报表制作和展示功能的数据展现工具C o g n o s 动态交互展现客户流失多维数据，使用运用广泛、技术成熟、

2、运行稳定的数据挖掘软件C l e m e n t i n e 开发设计客户流失数据挖掘模型。本论文主要围绕移动客户流失数据仓库设计、客户流失数据挖掘分析建模、客户流失O L A P 前端展示三个方面进行研究。在数据仓库方面，本文研究了数据仓库概念原理及数据仓库开发方法，对数据仓库开发模型进行重点研究，并设计出以移动客户流失分析为主题的数据仓库星型开发模型。运用大型数据库开发工具O r a c l e 建立数据仓库原型，实现星型模型中的维度表及事实表的立方拓扑结构。在客户流失数据挖掘分析建模方面，在前面工作的基础上，把处理完的训练数据输入数据挖掘软件工具，建立移动客户流失预测模型，并从准确率、覆

3、盖率、提升率三方面对模型进行评估。在O L A P 数据展现方面，通过O L A P 工具对数据进行综合、运算等处理，并通过建立不同的分析型应用，对数据仓库中的数据进行快速的、多角度的、复杂的分析，并为移动公司的各级管理人员提供灵活易用的用户界面。最后，总结了论文的主要工作，阐述了进一步研究方向。关键词：数据仓库；数据挖掘；经营分析系统；客户流失A b s t r a c tI n c r e a s e dc o m p e t i t i o ni nt h et e l e c o m m u n i c a t i o n sm a r k e t o ft h et e l e c

4、o m m u n i c a t i o n sc o m p a n i e sm a k et h el o s so fc u s t o m e r si sb e c o m i n gi n c r e a s i n g l ys e r i o u s，t h ee s t a b l i s h m e n to fe f f i c i e n tc u s t o m e rm a n a g e m e n ts y s t e mh a sb e c o m en e c e s s a r yt oc h o o s et h et e l e c o m m u

5、 n i c a t i o n sb u s i n e s s I nt h i sp a p e r，aC h i n aM o b i l es u b s i d i a r yF u j i a nM o b i l e，F u j i a nd e v e l o p e da n a l y s iss y s t e mo p e r a t o r sa n dm o b il ec u s t o m e r sa g a i n s tt h eb a c k d r o po ft h el o s sa n a l y s i ss y s t e mo nt h

6、ea p p li c a t i o no fd a t aw a r e h o u s ea n dd a t am i n i n gt e c h n o l o g yf o rm o b i l ec u s t o m e r sd e s i g np r i n c i p l eo ft h el o s so ft h ea n a l y s i so fd a t aw a r e h o u s ea n dd a t am i n i n gm o d e l，a n dt h eu s eo fl a r g e。s c a l ed a t a b a s

7、ed e v e l o p m e n tt o o lf o ro r a c l e9 id a t aw a r e h o u s ed e v e l o p m e n ta n dd e s i g no ft h ep r o t o t y p e，t h eu s eo fs t a t e m e n t sh a sas t r o n gf u n c t i o no ft h ep r o d u c t i o na n dd i s p l a yo f d a t at os h o wt h ed y n a m i ci n t e r a c t i

8、 o nC o g n o st o o l st os h o wc u s t o m e r st h el o s so fm u l t i。d i m e n s i o n a ld a t a，t h eu s eo ft h eu s eo faw i d er a n g eo ft e c h n o l o g yi sm a t u r e，s t a b l eo p e r a t i o no ft h ed a t am i n i n gs o f t w a r eD e s i g nC l e m e n t i n ed a t am i n i n

9、 gm o d e lc h u r n I nt h i sp a p e r，t h el o s so fm a j o rc li e n t sa r o u n dt h em o b il ed a t aw a r e h o u s ed e s i g n，O L A Pf r o n t e n dd is p l a yo fc u s t o m e rl o s s，c u s t o m e rl o s so fd a t am i n i n ga n a l y s i st os t u d yt h r e ea s p e c t so fm o d

10、e li n g I nd a t aw a r e h o u s e s，t h i sp a p e r，t h ec o n c e p to ft h ep r i n c i p l eo fd a t aw a r e h o u s ea n dd a t aw a r e h o u s ed e v e l o p m e n tm e t h o d o l o g y，t h ed a t aw a r e h o u s ef o c u s e so nt h ed e v e l o p m e n to fm o d e l sa n dd e s i g na

11、 n a l y s i so fam o b i l ec l i e n ta si t st h e m et h ef a c tt h a tt h el o s so ft h ed a t aw a r e h o u s ed e v e l o p m e n tm o d e ls t a r T h eu s eo fl a r g e s c a l ed a t a b a s ed e v e l o p m e n tt o o lo r a c l ed a t aw a r e h o u s et oe s t a b li s hap r o t o t

12、y p em o d e lt oa c h i e v et h es t a ro ft h ed i m e n s i o nt a b l ea n df a c tt a b l ei nc u b i ct o p o l o g y T h el o s so fd a t am i n i n gi nc u s t o m e ra n a l y s i sm o d e li n g，i nf r o n to ft h eb a s iso ft h ew o r k，t h ep r o c e s s i n go ft r a i n i n gd a t ai

13、 n p u ts o f t w a r et o o lo fd a t am i n i n g，t h ee s t a b li s h m e n to fm o b il ec u s t o m e rc h u r np r e d i c t i o nm o d e l，a n da c c u r a c y，c o v e r a g e，e n h a n c et h er a t eo ft h et h r e ef a c em o d e l sf o re v a l u a t i o n I nt h e0 L A Pd a t at os h o

14、w，t h r o u g hO L A Pt o o l sf o rd a t ai n t e g r a t i o n，p r o c e s s i n g，e t c，a n dt h r o u g ht h ee s t a b li s h m e n to fa na n a l y s i so ft h ed i f f e r e n ta p p li c a t i o n s o fd a t aw a r e h o u s ed a t ai naf a s t，m u l t i a n g l e，c o m p l e xa n a l y s i

15、s，a n df o rm o b i l ec o m p a n ym a n a g e r sa ta l ll e v e l st op r o v i d eaf l e x i b l ee a s y t o u s eu s e ri n t e r f a c e F i n a l l y，t h ep a p e rs u m m a r i z e st h em a j o rw o r ko nt h ed i r e c t i o no ff u r t h e rr e s e a r c h K e yw o r d s：d a t aw a r e h

16、 o u s e：d a t am i n i n g：b u s i n e s sa n a l y s i ss y s t e m；c u s t o m e rl o s s厦门大学学位论文原创性声明本人呈交的学位论文是本人在导师指导下，独立完成的研究成果。本人在论文写作中参考其他个人或集体已经发表的研究成果，均在文中以适当方式明确标明，并符合法律规范和厦门大学研究生学术活动规范(试行)。另外，该学位论文为()课题(组)的研究成果，获得()课题(组)经费或实验室的资助，在()实验室完成。(请在以上括号内填写课题或课题组负责人或实验室名称，未有此项声明内容的，可以不作特别声明。)，参呖

17、f侈)2 孙签月人年叭博芦呻厦门大学学位论文著作权使用声明本人同意厦门大学根据中华人民共和国学位条例暂行实施办法等规定保留和使用此学位论文，并向主管部门或其指定机构送交学位论文(包括纸质版和电子版)，允许学位论文进入厦门大学图书馆及其数据库被查阅、借阅。本人同意厦门大学将学位论文加入全国博士、硕士学位论文共建单位数据库进行检索，将学位论文的标题和摘要汇编出版，采用影印、缩印或者其它方式合理复制学位论文。本学位论文属于：()1 经厦门大学保密委员会审查核定的保密学位论文，于年月日解密，解密后适用上述授权。?(、)2 不保密，适用上述授权。V(请在以上相应括号内打“或填上相应内容。保密学位论文应是

18、已经厦门大学保密委员会审定过的学位论文，未经厦门大学保密委员会审定的学位论文均为公开学位论文。此声明栏不填写的，默认为公开学位论文，均适用上述授权。)经营分析系统中的客户流失分析第1 章绪论1 1 电信行业目前面临的市场挑战进入2 1 世纪后，中国的移动通信服务市场竞争日渐激烈。电信、移动、联通、网通等运营商为了争夺客户，不断推出各种各样的资费政策，价格战在各处打响。而且营销的渠道也多种多样，各个代理商为了追求自己的利润，采取各种方法为用户办卡，很多用户不断换卡，以便叠加上更加优惠的资费，造成了资费的进一步复杂化。这些用户在各个运营商之间频繁流动，造成运营商运营成本居高不下n 1。在这样的形式

19、下，各运营商们这几年加强了对网络覆盖、支撑系统、营销网络和数据仓库应用的建设，不断增强自己的竞争实力，形成领先的希望扩大领先的优势，落后的奋起直追的竞争局面。在我国，电信行业的信息化程度虽然是各个行业领先的，但是还是跟不上市场发展的程度。有的电信企业甚至还未做到实时出帐，用户的消费只有等到月底统一计算才能知道，跟不上时代的需求。国内电信行业急需走出目前“经验指导市场 的状况，真正实现从经验型决策到分析型决策的转变。1 2 电信行业实施客户流失分析的必要性根据2 8 法则，8 0 的收益来自于2 0 的客户贡献晗1。所以拥有一群忠诚的客户是电信行业得以发展的基础。随着世界经济的全球化、市场的国际

20、化，国内移动通信行业的市场己渐趋向合理且充分竞争。在电信企业面向市场，面向国内外众多竞争者努力创造更高价值的同时，客户流失不断增加，客户平均生命周期的不断缩短严重影响了企业的发展。在激烈的市场竞争和不断变化的市场需求面前，如何最大程度的降低客户流失率，传统的通过简单的查询方式、统计分析，或仅根据经验来了解客户行为。由于预测模型本身的复杂性及处理海量数据方面的局限性导致传统客户流失分析模型的有效性大打折扣这些客户行为隐藏在诸如呼叫事务等庞大的数据集经营分析系统中的客户流失分析中，数据挖掘起着极其重要的作用，数据挖掘技术是目前数据仓库领域最强大的分析手段，采用闭环方式控制，能把挖掘的结果反馈到决策

21、过程中，基于严格数学计算的数据挖掘技术能彻底地改变以往电信企业在成功地获取客户以后无法监控客户的流失，无法实现客户关怀的状况。当前的电信行业需要把基于科学决策的客户关系管理全面引入到市场和营销工作中来。电信行业是数据密集型行业，多年的业务支撑系统(B O S S)运行积累了大量的从客户资料到客户消费行为的数据。谁能正确地分析这些数据，得到有用的知识，谁就能更好地向用户提供服务，能够发现更多的商机，从而在竞争中获胜。电信企业必须保存用户的呼叫数据来计算费用，保存客户资料来提供客户服务，这些信息都是十分宝贵的。用户流失前的行为有一定规律可循。通过利用数据挖掘技术，建立用户流失模型，定期产生可能流失

22、的高危用户名单，并通过分析这些用户的消费行为特点，深层次地把握其需求，设计针对性的挽留政策。通过客户经理、外呼人员等进行一对一的客户关怀和挽留活动。由于挽留采取一对一的沟通方式，一方面避免了为控制流失而出台的优惠政策带来的大面积影响，另一方面，由于挽留的针对性比较强，也提高了挽留的成功率。2 0 0 3 年，移动和联通的平均离网率均在1 0 以上，新增用户带来的收入一半被离网客户带来的损失抵消了。辛辛苦苦经营了一年得到这样的结果是相当让人失望的。所以在目前的电信行业建立一套科学的离网预警系统来辅助进行客户挽留工作是十分有必要的口钔。1 3 目前国内外研究的现状1 3 1 国外研究的现状国外电信

23、市场的竞争激烈程度超过了国内任何地方。降低运营成本，稳固自己的用户群是其十分注重的问题。这些地方的电信运营商都已经建立起了自己的企业级的数据仓库，并在其上构建了完善的商业应用，尤其是客户流失分析的应用。不少知名的电信公司利用数据挖掘技术提升利润空间，在产品活动的生命周期中瞄准客户，确定变化的市场趋势并改善它在不同的市场划分中的洞察力，有2经营分析系统中的客户流失分析效提高了投资回报率。在客户流失分析方面存在不少成功的数据挖掘案例，尤其是竞争更为激烈的移动通信市场领域，例如，英国电信(B T)、美国的西南贝尔、V a n g u a r dC e l l u l a r、A T TW i r e

24、 l e s s 等公司通过建立流失客户的预测模型对客户流失进行管理和控制，对高流失概率的客户进行针对性的市场挽留工作，能够明显减小在网客户的流失率。因此，当前在北美和欧洲，对于客户流失行为预测技术的研究正逐渐的受到人们的关注啼1。当前在北美和欧洲，由于其电信市场已经比较成熟，电信运营商的经营模式已经由传统的“技术驱动 过渡到了“市场驱动一和“客户驱动”的运营模式。国外整个数据仓库系统构建了很久，目前己经形成一个非常完善的架构体系。数据源的抽取到非常强壮的底层数据中心，以及在数据中心的基础上搭载的模型以及在相应的模型基础上开发应用。世界各地的许多运营商不仅建立了经营分析系统而且很多己经从中获得

25、了巨大的收益1。1 3 2 国内的研究现状在国内，电信业的快速发展是近几年的事，这段时间内电信业的精力主要集中在抢占市场上，财务的手段也主要是用经过初步的市场调研和表面上的数据分析得出的结果来制定新的服务策略口1。技术研究主要是业务运营支持系统(B u s i n e s sO p e r a t i o nS u p p o r tS y s t e m，B O S S)的更新换代，如对计费系统、客户服务系统、财务管理系统的开发和完善。这些系统中保留着大量的客户通话行为数据、账单、投诉咨询和客户基本信息数据。由于电信企业忙于业务扩张，所以无暇顾及对这些数据的挖掘分析。随着国内的各大移动运营商

26、经营理念和运营模式的改变，必将对电信客户流失预测的研究起到巨大的推动作用。近一两年来，一些有实力的电信企业也开始考虑到挽留高价值客户的必要才逐步着手对这些历史数据进行挖掘。由于是刚刚起步，所以国内电信企业缺乏专业性的数据挖掘分析人员，对数据挖掘应用认识不够深入。数据挖掘的原型建模往往通过外部厂商实现，自身大多缺乏独立建模分析的能力。严重缺乏数据挖掘应用实施的经验以及相关的营销数据支撑。并且国内的大多电信运营商现有的面向事务的数据在质量，完整性和一致性上都存在许多问题，必须投入大量的精力去进行数据的抽取，净化和处理，并且当前国内未建立起完善的信用体系，导致现有客户价值模经营分析系统中的客户流失分

27、析型的有效性大大降低。由于起步的时间不长，大部分都只是试探性的建立简单的模型，有的还处于调研与可行性分析阶段，没有实际投入应用的产品陋1。由此可见，国内电信企业在应用数据挖掘方面与国外同行相比还有很大的差距，在对数据挖掘技术的理解、营销理念、管理模式等方面都有待提高。4经营分析系统中的客户流失分析第2 章关键技术介绍2 1 数据仓库基本原理及相关概念随着计算机技术的迅速发展，信息处理技术也得到了长足的发展，从7 0 年代中期的m l S 系统发展到现代的数据仓库(D a t aW a r e h o u s e)技术。许多厂商都在开发自己的数据仓库解决方案，并通过各种渠道大力推广。对数据仓库最

28、大的误解可能是把它当作一个现成的可以直接买来使用的产品嘲。事实上，数据仓库和数据库不同，它不是现成的软件或者硬件产品。比较确切地说，数据仓库是一种解决方案，是对原始的操作数据进行各种处理并转换成有用信息的处理过程，用户可以通过分析这些信息从而做出策略性的决策。因此，在很多场合，我们也把数据仓库系统称为决策支持系统。由于这个原因，数据仓库的用户不是类似银行柜员的终端操作人员，而是针对各个业务部门的用户和有关决策人员。因此，数据仓库的用户比传统的O L T P(联机事务处理：O n-I i n eT r a n s a c t i o nP r o c e s s i n g)用户少得多。2 1

29、1 数据仓库简介数据仓库一个比较公认的定义：数据仓库(D a t aW a r e h o u s e)是一个面向主题的(S u b j e c tO r i e n t e d)、集成的(I n t e g r a t e)、相对稳定的(N o n-Y o l a t i l e)、反映历史变化(T i m eV a r i a n t)的数据集合，用于支持管理决策n 们。面向主题可理解是某个具体的业务。例如：主题可以是产品的销售情况，客户的财务状况，资产负债表，现金流量表等。面向主题说明数据仓库的数据集中了这些主题的所有相关数据，或者说数据仓库的数据是为这些主题而组织的(当然这之间包含数据

30、抽取、清理、转换、装载的过程)。面向主题说明了数据仓库的业务特性，数据仓库关注着数据的业务关系和业务含义。相对于操作性数据，关注数据的逻辑关系和事务处理。例如：一个客户信息，对于操作性数据最重要的是这个客户的I D，通过客户I D 就可以找到相关信息，而对于客户的性别、年龄等或许根本就不影响O L T P 的运行。而对于O L A P，客户的性别、年龄却很重要，因为正是这些信息影响分析的结论。5经营分析系统中的客户流失分析集成性集成则说明了数据仓库数据的多元性和一致性。为了获取某个主题全面的数据，数据仓库可能需要获取不同事务处理系统的数据，甚至是从文件、I n t e r n e t 获取数据

31、。然而这些数据不是拿过来就可以用的，这些异构的数据必须进行一致性处理(进行数据清理)。例如：以某产品的销售情况作为主题，产品的原材料、制造过程等数据在制成管理系统中，客户数据在客户管理系统中，销售倾、销售成本在帐务管理系统中，而这些数据是相对独立，不一致的。集成就是要保证这些信息的完整和一致。相对稳定相对的对象是O L T P，稳定指的更新的速度。说明数据仓库不是实时的(已经有实时数据仓库的提法，这个定义快过时了)。也就是说数据仓库要隔一定时间在去抽取数据，或者需要时才去抽取数据。另一层含义是指，数据被抽取之后就不被修改，将长期保存(完全的不做修改不大可能，很多O L A F 都提供回写功能)

32、。反应历史变化反应历史变化说明了数据仓库数据的连续性。大部分的操作型数据都有当前间、历史区别，他们只关心当前数据，对于历史数据将被封存、甚至被删除。而对于数据仓库数据是连续的不存在当前数据和历史数据的区别，只属于某个时间点。数据的变化轨迹能连续的展示。用于支持管理决策其实数据仓库并不仅仅用于D S S，对不同的需求有着不同的用途。有的用数据仓库技术仅仅是为了提高数据查询性能。数据仓库的最大任务是：为D S S 提供全面、一致、准确的数据，D S S 对这些数据进行加工处理以合理的方式展示给相关人员，把数据变成信息或者深加工形成知识。2 1 2 数据仓库主要概念(1)分割数据分割是数据仓库设计一

33、项重要内容，是提高数据仓库性能的一项重要技术。数据的分割是指把逻辑上是统一整体的数据分割成较小的、可以独立管理的物理单元(称为分片)进行存储，以便于重构、重组和恢复，以提高创建索引和顺序扫描的效率。数据的分割使数据仓库的开发人员和用户具有更大的灵活性。选择适当的数据分割的标准，一般要考虑以下几方面因素：数据量(而非记录行数)、数据分析6经营分析系统中的客户流失分析处理的实际情况、简单易行以及粒度划分策略等。数据量的大小是决定是否进行数据分割和如何分割的主要因素；数据分析处理的要求是选择数据分割标准的一个主要依据，因为数据分割是跟数据分析处理的对象紧密联系的；我们还要考虑到所选择的数据分割标准应

34、是自然的、易于实施的，同时也要考虑数据分割的标准与粒度划分层次是适应的，最常见的是以时间进行分割：如商品每年的销售情况可分别独立存储。(2)元数据按照传统的定义，元数据(M e t a d a t a)是关于数据的数据。在数据仓库系统中，元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据：元数据是描述数据仓库内数据的结构和建立方法的数据，可将其按用途的不同分为两类：技术元数据(T e c h n i c a lM e t a d a t a)和业务元数据(B u sin e s sM e t a d a t a)。技术元数据是存储关于数据仓库系统技术细节的数据，是用

35、于开发和管理数据仓库使用的数据，它主要包括以下信息：数据仓库结构的描述，包括仓库模式、视图、维、层次结构和导出数据的定义，以及数据集市的位置和内容；业务系统、数据仓库和数据集市的体系结构和模式；汇总用的算法，包括度量和维定义算法，数据粒度、主题领域、聚集、汇总、预定义的查询与报告：由操作环境到数据仓库环境的映射，包括源数据和它们的内容、数据分割、数据提取、清理、转换规则和数据刷新规则、安全(用户授权和存取控制)。业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够“读懂 数据仓库中的数据。业务元数据主要包括以下信息：使用者的业

36、务术语所表达的数据模型、对象名和属性名；访问数据的原则和数据的来源；系统所提供的分析方法以及公式和报表的信息；具体包括以下信息：企业概念模型这是业务元数据所应提供的重要的信息，它表示企业数据模型的高层信息、整个企业的业务概念和相互关系。以这个企业模型为基础，不橄数据库技术和S Q L 语句的业务人员对数据仓库中的数据也能做到心中有数。7经营分析系统中的客户流失分析多维数据模型这是企业概念模型的重要组成部分，它告诉业务分析人员在数据集市当中有哪些维、维的类别、数据立方体以及数据集市中的聚合规则。这里的数据立方体表示某主题领域业务事实表和维表的多维组织形式。业务概念模型和物理数据之间的依赖以上提到

37、的业务元数据只是表示出了数据的业务视图，这些业务视图与实际的数据仓库或数据库、多维数据库中的表、字段、维、层次等之间的对应关系也应该在元数据知识库中有所体现。在数据仓库系统中，元数据机制主要支持以下五类系统管理功能：描述哪些数据在数据仓库中，定义要进入数据仓库中的数据和从数据仓库中产生的数据，记录根据业务事件发生而随之进行的数据抽取工作时间安排，记录并检测系统数据一致性的要求和执行情况，衡量数据质量。与其说数据仓库是软件开发项目，还不如说是系统集成项目，因为它的主要工作是把所需的数据仓库工具集成在一起，完成数据的抽取、转换和加载，O L A P分析和数据挖掘等。它的典型结构由操作环境层、数据仓

38、库层和业务层等组成。(3)粒度在数据仓库中，包含了大t 事务系统的细节数据。如果D S S 每运行一个查询，都扫描所有的细节数据，则会大大降低系统的效率。在数据仓库中将细节数据进行预先综合，形成轻度综合或者高度综合的数据，这样就满足了某些宏观分析对数据的需求。这虽然增加了冗余，却使响应时间缩短。所以，确定粒度是数据仓库开发者需要面对的一个最重要的设计问题。其主要问题是使其处于一个合适的级别，粒度级别既不能太高也不能太低。确定适当粒度级别所要做的第一件事就是对数据仓库中将来的数据行数和所需的D A S D(直接存储设备)数进行粗略估算。对将在数据仓库中存储的数据的行数进行粗略估算对于体系结构设计

39、人员来说是非常有意义的。如果数据只有1万行，那么几乎任何粒度级别都不会有问题，如果数据有1 0 0 0 万行，那么就需要个低的粒度级别，如果有1 0 0 亿行，不但需要有一个低粒度级别，还需要考虑将大部分数据移到溢出存储器(辅助设备)上。空间行数的计算方法如下：a 确定数据仓库所要创建的所有表，然后估计每张表中一行的大小，确切的大小可能难以确定，估计一个下界和上界就可以了；经营分析系统中的客户流失分析b 估计一年内表的最大和最小行数：C 用同样的方法估计五年内表的最大和最小行数；d 计算索引数据所占的空间，确定每张表(对表中的每个关键字或会被直接搜索的数据元素)的关键字或数据元素的长度，并弄清

40、楚是否原始表中的每条记录都存在关键字。现在，将各表中行数可能的最大值和最小值分别乘以每行数据的最大长度和最小长度。另外还要将索引项数目与关键字长度的乘积累加到总的数据量中去，以确定出最终需要的数据总量。(4)维度在数据仓库中，维度是数据仓库概念的一个重要基础，因此维度的抽取和处理是一个重要的环节，对于不同的维度根据业务需求以及客观原因有许多不同的处理方式。维度是多维数据集的结构性特性。它们是事实数据表中用来描述数据的分类的有组织层次结构(级别)。这些分类和级别描述了一些相似的成员集合，用户将基于这些成员集合进行分析。所有维度均直接或间接地基于表。当从某个表创建维度时，您会选择定义此维度的列。选

41、择列的顺序至关重要，因为它将影响维度层次结构内成员的位置。维度是有层次的，在大多数情况下维度的成员会按金字塔形布局排列。水平布局由维度层次结构中具有相同级别的列值生成，而垂直布局由维度层次结构中具有不同级别的列值生成。相对应于O L T P 系统，维度表数据主要来自于O L T P 系统中的各个基础表。但是在O L T P 系统中数据变化比较剧烈，通常只保留最近最新的基础信息；也不会记载基础数据的删除、更新和插入的整个历史过程。而数据仓库则是面向主题的、集成化的、稳定的、随时间变化的数据集合，这就要求数据必须是递增的，反映历史变化的：因此数据仓库对于维度数据的处理通常的要求是做插入和更新处理，

42、不做删除，否则将无法完整反映数据的历史和整体情况。在实际的业务系统中，维度根据变化剧烈程度主要分为以下几类：无变化维度如性别维度只有男女，如年龄阶段维度O 1 0 岁，1 0 2 0 岁等。9经营分析系统中的客户流失分析缓慢变化维度维度的变化剧烈程度虽然比较小，但是数据仓库项目中仍要根据实际情况进行维度更新，大部分的维度应属于此部分。剧烈变化维度维度的变化剧烈程度比较高，通常做法是对该维度表进行拆解，使其成为缓慢变化维度进行处理。关于维度的处理主要根据业务需要和数据库对数据处理的处理能力和性能。对于比较敏感和极其重要的数据一定要求其反映整个历史变化，或根据版本或根据时间戮等等；反之对于不太重要

43、的数据处于数据库性能考虑，建议采用直接更新的办法：而对于没有变化的数据采取一次性加载的方式。在这里为了讨论方便，初步分为以下几类：无变化维度处理、缓慢变化维处理、急剧变化维处理。(5)数据集市一个数据集市是按照某一特定部门的决策支持需求而组织起来的、针对一组主题的应用系统。例如，财务部拥有自己的数据集市，用来进行财务方面的报表和分析，市场推广部、销售部等也拥有各自专用的数据集市，用来为本部门的决策支持提供辅助手段。数据集市可以理解为是一个小型的部门或者工作组级别的数据仓库，数据集市包括独立型数据集市和从属型数据集市两种类型。独立型数据集市(直接从操作型环境中获取数据)这些数据集市是由特定的工作

44、组、部门或业务线进行控制的，完全是为满足其需求而构建的。实际上，它们甚至与其他工作组、部门或业务线中的数据集市没有任何连通性。从属型数据集市(从企业级数据仓库中获取数据)这样的数据集市往往以分布式的方式实现。虽然不同的数据集市是在特定的工作组、部门或生产线中实现的，但它们可以是集成、互连的，以提供更加全局的业务范围的数据视图。实际上，在最高的集成层次上，它们可以成为业务范围的数据仓库。这意味着一个部门中的终端用户可以访问和使用另一部门中数据集市中的数据。虽然O L T P 和遗留系统拥有宝贵的信息，但是可能难以从这些系统中提取有意义的信息并且速度也较慢。而且这些系统虽然一般可支持预先定义操作的

45、报表，但却经常无法支持一个组织对于历史的、联合的、智能的或易于访问的信息的需求。因为数据分布在许多跨系统和平台的表中，而且通常是“脏的，包含了不一致和无效的值，使得难于分析。1 0经营分析系统中的客户流失分析数据集市将合并不同系统的数据源来满足业务信息需求。若能有效地得以实现，数据集市将可以快速且方便地访问简单信息以及系统的和历史的视图。一个设计良好的数据集市有如下两个特点。(1)特定用户群体所需的信息，通常是一个部门或者一个特定组织的用户，且无需受制于源系统的大量需求和操作性危机(相对于数据仓库)。(2)支持访问非易变(n o n v o l a t i l e)的业务信息(非易变的信息是以

46、预定的时间间隔进行更新的，并且不受O L T P 系统进行中的更新的影响)。(3)调和来自于组织里多个运行系统的信息，比如账目、销售、库存和客户管理以及组织外部的行业数据。(4)通过默认有效值、使各系统的值保持一致以及添加描述以使隐含代码有意义，从而提供净化的(c l e a n s e d)数据。(5)为即席分析和预定义报表提供合理的查询响应时间(由于数据集市是部门级的，相对于庞大的数据仓库来讲，其查询和分析的响应时间会大大缩短)。数据仓库是企业级的，能为整个企业各个部门的运行提供决策支持手段；而数据集市则是一种微型的数据仓库，它通常有更少的数据，更少的主题区域，以及更少的历史数据，因此是部

47、门级的，一般只能为某个局部范围内的管理人员服务，因此也称之为部门级数据仓库。数据仓库和数据集市的区别可从如下三个方面进行理解：(1)数据仓库向各个数据集市提供数据；(2)几个部门的数据集市组成一个数据仓库；(3)从数据内容特征进行分析，数据仓库中数据结构采用规范化模式，数据集市中的数据结构采用星型模式，通常仓库中数据粒度比集市的粒度要细。2 1 3 数据仓库与传统数据库的区别简单地说，数据库是面向事务的设计，数据仓库是面向主题设计的。数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来

48、设计。数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的两个基本的元素是维表和事实表。维是看问经营分析系统中的客户流失分析题的角度，比如时间、部门，维表放的就是这些东西的定义，事实表里放着要查询的数据，同时有维的I D。任何技术都是为应用服务的，结合应用可以很容易地理解。以银行业务为例。数据库是事务系统的数据平台，客户在银行做的每笔交易都会写入数据库，被记录下来，这里，可以简单地理解为用数据库记帐。数据仓库是分析系统的数据平台，它从事务系统获取数据，并做汇总、加工，为决策者提供决策的依据。比如某银行某分行一个月发生多少交易，该分行当前存款余额是多少。如果存款又多消费交易又多，那么该地区

49、就有必要设立A T M 了。显然，银行的交易量是巨大的，通常以百万甚至千万次来计算。事务系统是实时的，这就要求时效性，客户存一笔钱需要几十秒是无法忍受的，这就要求数据库只能存储很短一段时间的数据。而分析系统是事后的，它要提供关注时间段内所有的有效数据。这些数据是海量的，汇总计算起来也要慢一些，但是，只要能够提供有效的分析数据就达到目的了。数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它决不是所谓的大型数据库。传统数据库主要是为应用程序进行数据处理，未必按照同一主题存储数据；而数据仓库侧重于数据分析工作，是按照主题存储的。数据库保存信息的时候，并不强调一

50、定有时间信息。数据仓库则不同，出于决策的需要，数据仓库中的数据都要标明时间属性。决策中，时间属性很重要。数据仓库中的数据并不是最新的，而是来源于其它数据源。数据仓库反映的是历史信息，并不是很多数据库处理的那种日常事务数据(有的数据库例如电信计费数据库甚至处理实时信息)。因此，数据仓库中的数据是极少或根本不修改的。当然，向数据仓库添加数据是允许的。数据仓库的出现，并不是要取代数据库。大部分数据仓库还是用关系数据库管理系统来管理的，数据库、数据仓库相辅相成、各有千秋。数据仓库的方案建设的目的，是为前端查询和分析作为基础，由于有较大的冗余，所以需要的存储也较大。为了更好地为前端应用服务，数据仓库必须