数据仓库与数据挖掘课程设计.docx

《数据仓库与数据挖掘课程设计.docx》由会员分享，可在线阅读，更多相关《数据仓库与数据挖掘课程设计.docx（23页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、.一、需求分析：一、应用背景：运输业是国家经济的一个重要的组成部分，其发展水平已经成为一个国家和地区综合实力的重要体现。随着经济全球化，我国对物流的需求将大幅度的增加， 物流将呈现跳跃式发展趋势。企业开始改变那种以商品为导向的观念，开始注重发掘，通过收集整理繁多的信息，量化分析需求，提供优质的售后服务，保持稳定的关系等措施，来加强对客户关系的管理。CRM 的主要含义就是通过对详细资料的深入分析，来提高满意程度，从而提高企业的竞争力的一种手段，CRM 最大程度地改善、提高了整个关系生命周期的绩效。CRM 整合了、公司、员工等资源，对资源有效地、结构化地进行分配和重组，便于在整个关系生命周期及时了

2、解、使用有关资源和知识；简化、优化了各项业务流程，使得公司和员工在销售、服务、市场营销活动中，能够把注意力集中到改善关系、提升绩效的重要方面与核心业务上，提高员工对的快速反应和反馈能力；也为带来了便利，能够根据需求迅速获得个性化的商品、方案和服务。要在激烈的市场竞争中获得主动，越来越多的民航企业把保持客户作为企业的重要任务，谁能留住那些能给企业带来丰厚利润的关键客户，并获得他们长久的信任和支持，谁就能获得满意的回报，进而赢得持续的竞争优势。在航空业，客户关系管理的应用有其特别的原因。面对航空公司的管理需求， 急需引入先进的客户关系管理理念。在航空公司引入电子商务后，公司关注的重点由提高部效率向

3、尊重外部转移。而 CRM 理念正是基于对客户的尊重，要求公资料.司完整地认识整个客户生命周期，提供与客户沟通的统一平台，提高员工与接触的效率和反馈率。随着“以客户为中心的客户关系管理技术在航空业的不断应用和发展，航空服务质量的改善提高的同时，产生了大量的客户数据，充分挖掘这些数据中隐藏的有用信息可以为航空公司的经营决策带来极大的帮助。二、应用价值与意义：概括来讲，数据仓库与数据挖掘在航空公司 CRM 中的商业价值主要体现在以下三个方面：1、有助于航空公司提高收益一个成功的 CRM 系统可以给航空公司带来明显的收益增长，在客户的整个生命周期，最大化利润贡献。例如：(1) 购买总量的增长，通过分析

4、(市场购物篮分析)得到对航空公司货运客户的消费模式，找出有效的商品组合，实现交叉销售；(2) 客户群体数量的增加，通过利润模型找出客户的一些共同特征，并通过聚类分析对客户进行分群，再通过模式分析预测得到潜在的客户群体以提高成功率。(3)客户保持时间的增长，通过流失模型分析得到可能流失客户的，然后采取相应的预防措施降低客户流失率。2、有助于航空公司寻找潜在客户任何航空公司的营销资源都是有限的，不能针对所有客户采取营销活动。数据仓库和数据挖掘可以通过客户的行为分析，根据不同的属性和行为特征细分不同的群体。寻找潜在客户(prospecting)，在市场营销方面，prospect 指那些通过正确方式接

5、近有可能成为客户的某个人，即潜在客户。数据挖掘在探查潜在客户方面扮演多种角色，如：识别好的潜在客户，为接近潜在客户选择沟通渠道， 针对不同的潜在客户群，选择合适的信息。数据挖掘使员工能够及时把握机遇， 极大的提高工作效率。3、有助于航空公司增强竞争优势数据仓库和数据挖掘在航空公司货运 CRM 中的实施，将形成高效运行的管理系统和交流通畅的信息系统将带来先进的以客户为中心的发展和经营理念，将提升航空公司的信息化、电子化建设水平和全员的知识、技术和工作能力，将优化组织体系和职能架构，为培育和打造航空公司的核心竞争能力提供全面而有力的保障。三、研究方法和研究思路:1.研究方法数据仓库与数据挖掘是 C

6、RM 的重要组成部分，航空公司与客户的交流会产生大量的数据，这些数据一般由交易系统收集而来，然后将这些数据集中、清理、汇总后进入数据仓库，设计良好的数据仓库包含客户与公司交流的历史记录。将数据挖掘工具用于处理这些历史记录，可以帮助公司将来更好的服务客户。2 研究思路1、通过对比国外航空公司关系管理应用现状，分析出我国航空公司客户关系管理存在的主要问题。2、针对存在的问题，构建我国航空公司客户关系管理系统模型，并在此基础上， 应用数据仓库的相关知识，建立我国航空公司客户信息数据仓库，最后应用数据挖掘技术对航空公司客户群体进行划分。3、构建 CRM 数据仓库，对客户信息数据模型进行建立，同时对操作

7、数据存储(ODS)进行分析。4、对 OLAP 技术和数据挖掘技术(基于互动循环过程和 SEMMA 的数据挖掘实施方法)在 CRM 中研究分析，并分析了金字塔模型和收转发分析模型，得出有利于航空公司营运的分析结论。四、航空公司 CRM 体系结构与数据挖掘的应用分析:1. 航空公司CRM 体系结构从体系结构角度看，整个航空公司客户关系管理架构可以分为三个关键部分：(1) 分析层的客户关系管理：用于对实施操作的 CRM 和互动产生的信息进行分析处理，通过基于数据仓库的数据挖掘，产生商业智能以支持企业战略战术的决策，包括：市场细分、服务支持、变动分析、接触最优化、垂直和交叉分析、新模型、广告分析、生命

8、周期价值模型等；(2) 操作层的客户关系管理：用于自动地集成的过程，包括对营销、销售和服务三部分流程的信息化，前后端的集成、接触点；(3) 客户互动：关注接触点的交互，即与客户沟通所需要的行为(如 QQ、EMAIL、等)的集成和自动化处理。现在航空公司的更多的要求得到“及时的服务。越多了解客户的信息，航空公司就越能快速的发现一些潜在客户的利益，随时为客户提供更多的服务。具体来讲，航空公司实施客户关系管理主要为了达到以下目标：1、分析客户真正的需求航空公司要了解客户的真正需求。需要航空公司人员礼貌周到的服务，他们希望自己得到尊重；需要方便、快捷的服务，他们希望能节约时间；希望航空公司能加快电子化

9、的建设和创新，以此享受更好的服务。在进入买方市场的今天，客户完全可以自主选择服务好的航空公司。虽然，有的时候航空公司修正了对待客户的态度，但是客户的偏好已经发生了变化，他们提出了更高的要求，而航空公司并没有真正知晓。如何真正把握的需求，如何向客户提供一对一的优质服务，真正提高客户的满意程度，增加竞争力，便是航空公司客户关系管理需要做的一部分。2、辨别真正的盈利客户关系管理的基本原则是明确效益点，增加利润。但很多航空公司并不能辨识哪些客户具有价值，哪些客户在消耗成本，也不知道哪些客户即将离开，哪些客户会对某一营销行为有反应。此时，CRM 就要根据的成本利润分析，找出一重点，并对目标市场进行细分，

10、针对不同群体实施不同的策略。3、客户细分，提供差异化的商品和服务对于航空公司来说，分类是常有的行为。从客户的等级分类等一系列实际操作中都可以看到分类的广泛使用。在 CRM 系统中，分类方法也起着很重要的作用。通过细分市场，针对不同的市场采取不同的营销策略，提供差异化的服务。4、留住老客户，提高客户的忠诚度航空公司如何留住老客户，从而确定其不转向竞争对手，首先必须清楚老客户有哪些特征?他们的需要是什么?他们的行为习惯和偏好是什么?导致老客户离开的原因是什么?怎么做才能挽留老客户?老客户对于航空公司很重要，因为吸引新客户的成本是保留现有客户的 5 倍，进攻性营销明显比防守性营销花费的更多，前者需要

11、花更多的时间和成本。二、数据仓库及 0LAP 系统的构建:一、空公司 CRM 数据仓库的构建:1 货运信息数据仓库数据仓库作为数据存储的一种形式，它一方面是从最初的数据源获得原始数据， 按照决策的要求重新组织，形成具有不同粒度的综合数据层。另外，数据仓库还需要对其中存储的数据进行操纵、管理等，以支持决策，这是数据仓库结构的另一方面。1、数据仓库的自底向上结构是从构造各个部门或特定的企业问题的数据市集开始，而整体性数据仓库是建立在这些数据市集的基础上。自底向上模式的特点是：初期投资少，见效快。因为它在构造部门市集时，只需较少的人做出决策，而所解决的是较小的商业问题。此模式可以使在数据仓库的开发初

12、期尽可能少花费资金1。思想的核心从最关键的部分开始，先以最少的投资，完成企业当前需求，获得最快的回报，然后再不断补充，不断完善，通过从小做起，从部分做起，走逐步集成、逐步完善的道路，最终建立全局数据仓库。自底向上的结构如图 3-2 所示。2、数据仓库的平行开发模式平行开发模式是在一个整体性数据仓库的数据模型的指导下，数据市集的建立和整体性数据仓库的建立同步进行。如图 3-3，在平行开发模式中，由于数据集市的建立在一个统一的整体性数据模型的指导下进行的，可避免各部门在开发各自的数据市集时的盲目性，减少各个数据市集之间的数据冗余和不一致性。它满足了企业中的各个部门希望在较短的时间建立本部门的决策支

13、持系统的需求，使其不用等待整体性数据仓库建立好之后才建立属于自己的数据市集。2 航空公司货运数据仓库系统的构建数据仓库的构建数据仓库系统开发平台描述：系统采用 0racle9i 数据库管理系统作为数据库开发平台，构建数据仓库系统。完成一个可以根据业务需要而创建的多维数据仓库。数据提取的结构图：描述了从业务数据存储系统，转存到操作数据区，然后到基础数据区，最后在基础数据区的基础上构建数据仓库的过程。见图 3-4 所示。数据仓库逻辑模型1、货运商品情况的逻辑模型在设计中，为实现快速的分析查询，可以对航空公司建立数据查询分析的模型。2、产销存逻辑模型3、货运流向逻辑模型数据仓库物理模型图 36 是一

14、个星型数据仓库的物理模型。包括时间维度表，公司维度表，生产维度表，到货维度表。主要事实表包括：商品事实表，生产事实表。事实表中的ID 号是为了加快查询速度，目的是对所有记录进行区分。维度表代表事实数据中的关系。报表展现模块设计数据仓库系统设计数据仓库是企业商业智能分析环境的核心，它是建立决策支持系统的基础。一个良好的数据仓库设计应该是构空公司 CRM 系统不懈的追求。1、透彻理解数据仓库设计过程基于数据仓库数据挖掘的航空货运分析型 CRM 心用研究现实需求决定系统需求，业务数据决定系统构架，最终使用的时候又必须作用于现实需求，同时通过决策的行为影响业务。那么可以把数据仓库的设计看作是前一部分，

15、即“从实践中来”，数据仓库的应用可以看作是“到实践中去”。要完成6 个任务：选择被建模主题的商业过程、确定事实表的粒度、区分每一个事实表的维和层、区分事实表的度量、确定每一个维表的属性、在 DBMS 中创建和管理数据仓库。2、建立一个数据仓库需要经过以下几个处理过程： (1)数据仓库设计根据决策主题设计数据仓库结构，一般采用星型模型和雪花模型设计其数据模型，在设计过程中应保证数据仓库的规化和体系各元素的必要联系。主要有以下3 个步骤：定义该主题所需各数据源的详细情况，包括所在计算机平台、拥有者、数据结构、使用该数据源的处理过程、仓库更新计划等。定义数据抽取原则，以便从每个数据源中抽取所需数据；

16、定义数据如何转换、装载到主题的哪个数据表中。将一个主题细化为多个业务主题，形成主题表，据此从数据仓库中选出多个数据子集，即数据集市(DataMart)。数据集市通常针对部门级的决策或某个特定业务需求，它开发周期短，费用低，能在较短时间满足用户决策的需要。(2) 数据抽取模块该模块是根据元数据库中的主题表定义、数据源定义、数据抽取规则定义对异地异构数据源(包括各平台的数据库、文本文件、HTML 文件、知识库等)进行清理、转换，对数据进行重新组织和加工，装载到数据仓库的目标库中。在组织不同来源的数据过程中，先将数据转换成一种中间模式，再把它移至临时工作区。加工数据是保证目标数据库中数据的完整性、一

17、致性。(3) 数据维护模块该模块分为目标数据维护和元数据维护两方面。目标数据维护是根据元数据库所定义的更新频率、更新数据项等更新计划任务来刷新数据仓库，以反映数据源的变化，且对时间相关性进行处理。更新操作有两种情况，即在仓库的原有数据表中进行某些数据的更新和产生一个新的时间区间的数据，因为汇总数据与数据仓库中的许多信息元素有关系，必需完整地汇总，这样才能保证全体信息的一致性。二、航空货运信息数据仓库的实施步骤:1 生成数据仓库的过程函数数据仓库系统的实现是通过在 DBMS 上建立实现功能的存储过程程序，关键的存储过程程序未全部列出。表 31 列出了部分构建数据仓库时所用到的程序列表(事实表生成

18、存储过程程序，维度表生成过程程序）。2. 部分维度表建立的程序说明：服务商品维的存储过程：DIMSERVICE 商品维度表数据的建立：l、描述：从基础数据区中的数据建立服务商品维度表数据记录2、程序属性：程序名=DIM_SERVICE，ID=0103，State=Y3、数据更新模式：重新建立维的存储过程：DIMCUSTOMER 维度表数据的建立：1、描述：从基础数据区中的数据建立维度表数据记录2、程序属性：程序名=DIM_CUSTOMER，ID=0104，State=Y3、数据更新模式：重新建立公司维的存储过程：DIMCOMPANY 公司维度表数据的建立： l、描述：生成公司维度表数据记录2、

19、程序属性：程序名=DIM_COMPANY，ID=0107，State=Y3、数据更新模式：数据仓库建立时一次性写入记录值(引数据元素值来源说明：此表数据没有数据来源本表只有两行记录：时间维的存储过程：DIMDATE 时间维度表数据的建立： 1、描述：生成时间维度表数据2、程序属性：程序名=DIM DATE，ID=O101，State=N3、输入参数：起始日期，终止日期4、数据更新模式：数据仓库建立时一次性写入记录值5、数据元素值来源说明：(1)年维度元素记录：Dateyear=年份，YearDescription=“XXXX 年” (2)月维度元素记录：Datemonth=月份，MonthDe

20、scription=“XX 月 (3)日维度元素记录：Dateday=日，DayDescription=“XX 同”(4)全时间描述：年描述+月描述十日描述销售维的存储过程：DIM_SALES 销售维度表数据的建立：1、描述：从基础数据区中的数据建立销售维度表数据记录2、程序属性：程序名为 DIM SALES，ID=0102，State=Y3、数据更新模式：重新建立3. 系统运行机制设计系统采用三种配套性机制(Mechanism)应用于所有 ETL 程序运行架构中，目的是为了实现各程序之相依性(Dependency)，可被监督性(Monitor)，可被追踪性(Track)，以及时间一致性(Ti

21、meConsistency)。程序表清单：程序运行状态监控表：保存每个数据载入操作的执行状态，它可以提供给数据仓库的管理员或操作者哪个操作正在执行以及哪个操作失败了。日志机制：当有程序 非 正 常 中 止 ， 数 据 仓 库 的 管 理 员 或 操 作 者 可 以 通 过 查 看Programreferencetable 表中的数据，若某个状态为“F”(Fail)，找到发生错误的操作后，发生错误的程序的信息，正常运行提交笔数，程序起讫时间等信息， 可在 Audittailtable 中找到。三、OLAP 技术在航空货运 CRM 中的应用:在线分析处理或联机分析处理(OnLineAnalytic

22、alProcessing，OLAP)是针对特定问题的联机数据访问和分析。OLAP 技术是与数据仓库技术相伴而发展起来的，以帮助用户完成商业信息的结构分析工作。客观的显示查询者想查询的众多因素分析和汇总得出的报表，而报表的解读将有查询者自己判断。OLAP 是使用多维结构为分析提供对数据的快速访问的一种新技术，它允许管理决策人员对数据进行深入观察。OLAP 系统具有灵活的分析功能、直观的数据操作功能和分析结果可视化表示等突出优点，从而使用户对基于大量复杂数据的分析变得轻松而高效，利于迅速做出正确的判断。OLAP 的特点：OLAP 系统具有快速性、可分析性、多维性和信息性等特点。1、建模功能OLAP

23、 系统能为需要分析的数据提供建模的功能，可提供对数据多维层次的支持，并能在多个层次上对数据进行聚集和审计。2、存储功能OLAP 应具有多维存储引擎，能以合适的方式对数据进行存储，作为开展逻辑分析的基础。3、独立性OLAP 能依据数据仓库或业务数据库的容，实现数据的多维逻辑视图。4、快速性OLAP 能以较快的速度响应端的查询需求，并在算法的设计和硬件的构建上通过采用适当的技术对此加以保证。5、交互性OLAP 的分析过程是交互的，用户可根据分析的进展情况，不断提出新的查询请求，并得到系统的有效响应，以满足决策支持的需要。6、展示功能OLAP 系统应以二维或三维图形、表格等各种直观、形象的方式。将分

24、析结果展示给系统用户。2 OLAP 工具和 0LAP 系统结构0LAP 系统的结构：1、cs 结构cs 结构是一种传统的、应用极为广泛的方法。在cs 结构中，后台提供数据库服务器的功能，前台是与用户进行交互、展现分析结果的界面。2、三层结构三层结构方式又称中间件方式，是对 cs 结构的改进。在这种结构中，前台的交互展示功能与应用逻辑被拆分开，在客户端只保留交互与展示的功能，而应用逻辑集中在独立的功能模块上。3、BS 结构Bs 结构是随着 Web 应用的发展而日益流行起来的一种前端展示方法，客户端没有专门的应用程序，因此其优点首先表现为良好的跨平台性，其次是免维护的特征，只需使用浏览器即可工作。

25、3 分析模型设计与实践从数据开发的更大围来看，0LAP 作为一种拓宽数据访问受众的手段，很明显扮演了一个重要的角色。l、收转发分析模型航空公司的价值链(ValueChain)：绝大部分机构都有一个组成的潜在价值链。其确定机构主题活动的自然逻辑流程。具体到航空货运，就是从向航空公司发出订单开始，接收货物，货物记录，成品入库，直到调拨出库为止。2、金字塔模型金字塔分类：根据的销售量或销售额，将分为五类。前1的为 VIP，2-5左右的为重要，6一 20的为普通，其余的为小，其中有严重违规的为监控户。五度分析法：根据自定义的指标，评定出的忠诚度、贡献度、规度、信用度、保留度；根据五度分析法，将五度的得

26、分乘以分别的权重，得到对综合评价；根据的综合评价对进行金字塔分类，并将结果写到数据仓库中，从而可以按照分类进行其它分析。显然，仓库是航空公司价值链的核心。通过对仓库数据的检测，能够获得进货信息，生产信息，销售信息，更为重要的是通过这些信息的联合，可以挖掘到更有用的隐含信息，比如货物的周转速度等，这些信息可以指导相关部门调整货运，库存水平等。四、OLAP 系统的航空货运分析:目前各企业应用 OLAP 方案大致上分为两类：一类是利用诸如 Informix 的MetaCube、Oracle 的 Discover 以及 Express 等 OLAP 工具创建，二类是利用开发工具简单地将分析需求多维化处

27、理。航空公司希望能够得到一个基于客户的全面的信息流。因此建立基于数据仓库、数据挖掘及相关技术的企业CRM 的研究成为 CRM 研究中的一个关注焦点。1 基于OLAP 的 CRM 模型基于三层服务器体系结构。底层是公司各操作数据库，在这些数据库上实现了公司的联机事务处理(OLTP)，在底层数据库中存储有大量的支持公司全局应用的数据集合。主要有各种财务数据(凭证、报表、财务计划等)、库存情况数据(各商品在不同仓库中的储备数量、商品的入库出库情况、各仓库储备能力、安全库存量等)、订单信息(订单到货记录、订单发货记录等)、商品销售信息(商品发货情况、分布、销售部业绩、资金回笼率、商品品种销售量和销售额

28、等)、企业组织信息(企业组织结构、各销售分公司组织结构、人员构成等)。根据各分属航空公司具体情况的不同，数据仓库的构建方式和确定的主题也各有不同。通常地，应考虑财务、人员、订单、计划、成本、价格等域。例如，成本和财务通过量本利等因素而联系在一起，通过运输，联系了订单、价格等主题域。数据仓库中的数据由底层OLTP 数据库抽取而来。数据仓库管理系统根据元数据， 通过 DBMS 对业务数据库中的相应数据进行加载、刷新、提炼，并经过综合、转换、集成，抽取入数据仓库。基于OLAP 服务，该系统建立了财务数据查询、订单数据查询、运输进度查询、价格查询、价格决策与分析等子系统。2. 基于OLAP 技术的分析

29、OLAP 在关系型数据库中的工作原理因为 SOL 的单语句并不具备完成多维计算的能力，要获得哪怕是最普通的多维计算功能也需要多重 SOL。工作过程如下：(1) 用 SQL 做一些计算，然后将计算结果作为多维引擎的输入。(2) 多维引擎在机或中间层服务器上做大部分的计算工作，生成多维数据。(3)终端用户访问多维结构中的数据，包括基础数据和多维数据。当所有可能的数据聚合被预先计算时，存储需求可能是原始数据量的几百倍。通过结合智能的聚合选择方法，自动生成所有聚合组的一个子集，而剩下的聚合只在需要时快速生成。这样在不牺牲性能的基础上，有效地优化了存储。用户对某个应用所提取的多维数据其存储形式主要有：(

30、1) 关系数据库(ROLAP)：多维数据被存储在关系数据库中。在大部分情况下， 数据以星型结构或雪花结构进行存储。(2) 多维数据库(MOLAP)：多维数据被存储在服务器上的多维数据库中，包括来自关系数据库和终端用户的数据。(3) 采用混合模型(HOLAP)：结合 MO-LAP 和 RO-LAP 的优点，才能取得最优性价比。在实际应用中，采用 Oracle9i 作为关系数据库，用 MSAnalysisServices 作为分析服务器来开发 WEB。3. 分析结果通过 0LAP 强大的分析功能，可以从各个角度分析航空公司的客户，而后清楚地掌握客户对公司所提供的货运服务商品的喜好情况。通过对客户收

31、发货次数的分析，可以了解客户对公司的忠诚度。同时也能找出即将流失的客户。通过分析客户级别，可以更好地抓住大客户。三、总结： 一、小结:1. 航空货运业未来的发展与实施客户关系管理的关系。“谁拥有客户信息，谁就拥有未来。在企业客户管理生命周期的各个阶段都会用到数据挖掘技术。数据挖掘能够帮助企业确定客户的特点，从而可以为客户提供有针对性的服务。通过数据挖掘，可以发现选择某一货运商品的客户的特征，从而可以向那些也同样具有这些特征却没有购买的客户推销这个商品。2. 构建了 CRM 系统的数据仓库，并在其上实现了多维分析。作为航空公司信息管理和查询系统，信息数据仓库把分散在航空公司外的关于客户的信息集成

32、起来，向公司及其员工提供关于客户的总体的、统一的看法。3. 利用 OLAP 技术对数据进行处理，初步应用到 CRM 系统中去，并以图表等形式展现出来，给企业决策者提供决策支持。重点研究了航空货运 CRM，企业数据仓库的建立和在数据仓库之上 OLAP 和数据挖掘的初步应用。二、不足:在航空货运 CRM 中应用数据仓库及数据挖掘技术还存在一些问题，有待进一步的研究，主要问题如下： 1作为数据源的航空公司信息资料，虽然量很多，但是有用的信息很少，而同时很多对决策起关键作用的属性字段却不完整，还没有建立一个全面、统一视角的数据仓库，这给数据挖掘的顺利开展增添了不少难度。 2在航空公司数据库中应用数据挖掘，有可能产生数以千计的客户模式。对于航空公司来讲，许多客户模式是没有用处的。如何度量评估基于期望的客户模式价值，是一个值得进一步深入研究的领域。 3通过数据挖掘建立的模型，对公司各部门的工作具有指导意义。但目前对航空公司数据挖掘的研究，更多的还是停留在理论和数据分析阶段，如何把模型与实践工作相结合，真正做到技术与业务相融合，还需要开展进一步的工作。