第5章数据挖掘的实施过程ppt课件.ppt

《第5章数据挖掘的实施过程ppt课件.ppt》由会员分享，可在线阅读，更多相关《第5章数据挖掘的实施过程ppt课件.ppt（101页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第5章数据挖掘的实施过程ppt课件 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望第第5章章 前前面面介介绍绍了了数数据据挖挖掘掘的的基基本本方方法法。在在本本章章中中我我们们进进一一步步说说明明数数据据挖挖掘掘的的实实施施过过程。程。5.1 数据挖掘过程模型数据挖掘过程模型5A 数数据据挖挖掘掘是是一一个个过过程程，它它是是从从大大量量数数据据中中抽抽取取出出有有价价值值的的信信息息或或知知识识以以提提供供决决策依据。策依据。由由于于每每一一种种数数据据挖挖掘掘

2、方方法法（算算法法及及技技术术要要求求）都都有有其其自自身身的的特特点点且且实实现现步步骤骤与与具具体体应应用用问问题题有有密密切切相相关关性性，因因此此成成功功应应用用数数据据挖挖掘掘技技术术以以达达到到目目标标的的过过程程本本身身就就是一件很复杂的事情。是一件很复杂的事情。5.1 数据挖掘过程模型数据挖掘过程模型5A 一一般般来来说说，数数据据挖挖掘掘项项目目要要经经历历的的过过程程包包括括问问题题的的理理解解、数数据据的的理理解解收收集集和和准准备备、建建立立数数据据挖挖掘掘模模型型、评评价价所所建建的的模模型型、将将建建立立的的模模型型投投入入应应用用等等一一系系列列任任务务。这这里里

3、，数数据据挖挖掘掘过过程程的的系系统统化化、工工程程化化方方法法学学和和支支持持系系统统（软软件件或或工工程程）对对解解决决应应用用问题起着至关重要的作用。问题起着至关重要的作用。5.1 数据挖掘过程模型数据挖掘过程模型5A 为为了了抽抽象象系系统统化化方方法法，人人们们提提出出了了一一些数据挖掘过程的参考模型或标准：些数据挖掘过程的参考模型或标准：SPSS提出的提出的5A（Assess、Access、Analyze、Act、Automate）;SAS提出的提出的SEMMA（采样（采样Sample,探索探索Explore,修正修正Modify,建模建模Model,评估评估Assess）数据挖掘

4、特别兴趣小组提出的数据挖掘特别兴趣小组提出的“数据挖掘数据挖掘交叉行业标准过程交叉行业标准过程”CRISP-DM（Cross-IndustryStandardProcessforDataMining）。）。5.1 数据挖掘过程模型数据挖掘过程模型5A 在在这这些些模模型型中中，5A模模型型强强调调的的是是支支持持数数据据挖挖掘掘过过程程的的工工具具应应具具备备的的功功能能和和能能力力，它是对支持数据挖掘工具的定义。它是对支持数据挖掘工具的定义。SEMMA强强调调的的是是结结合合SAS公公司司的的挖挖掘工具进行应用开发的方法。掘工具进行应用开发的方法。CRISP-DM则则从从进进行行数数据据挖挖

5、掘掘方方法法学学的的角角度度强强调调实实施施数数据据挖挖掘掘项项目目的的方方法法和和步步骤骤，并并独独立立于于每每种种具具体体数数据据挖挖掘掘算算法法和和数数据挖掘系统。据挖掘系统。5.1 数据挖掘过程模型数据挖掘过程模型5A 5A模模型型认认为为任任何何数数据据挖挖掘掘方方法法学学都都由由5个个 基基 本本 元元 素素 组组 成成，即即 Assess、Access、Analyze、Act、Automate。Assess：正确、彻底的评价任务的需求及数据。正确、彻底的评价任务的需求及数据。Access：方方便便、快快速速的的存存取取任任务务所所涉涉及及的的数数据。据。Analyze：适当、完备

6、的分析技术和工具。：适当、完备的分析技术和工具。Act：具具有有推推荐荐性性、有有说说服服力力的的演演示示。用用大大量量的的列列表表和和图图形形或或者者通通过过办办公公软软件件来来演演示示数数据据挖挖掘掘软软件件的的能能力力。软软件件应应该该具具备备快快速速回回答答用用户户提提问问的的控控制制性性和和灵灵活活性性，这这样样才才便便于于用用户户更更好好、更更快快地做决策。地做决策。Automate：为为用用户户提提供供最最易易于于使使用用、最最方方便的自动化软件。便的自动化软件。5.1 数据挖掘过程模型数据挖掘过程模型5A 针针对对着着5个个过过程程，5A描描述述了了各各元元素素在在数数据据挖挖

7、掘掘技技术术应应用用中中所所需需完完成成的的任任务务和和应应该该提提供的支持功能。供的支持功能。（1）AssessAssess是是指指要要正正确确地地理理解解和和设设置置数数据据，一一旦旦充充分分了了解解了了数数据据的的上上下下文文后后，就就可可以以正正确确地地收收集集它它并并在在其其上上做做需需要要的的决决策策。实实现现Assess的的软软件件技技术术方方案案可可以以不不同同，但但问问题题含含义相同。义相同。a.将技术与组织的目标、策略和步骤结合起来。将技术与组织的目标、策略和步骤结合起来。b.拥拥有有世世界界范范围围的的咨咨询询和和培培训训，目目的的是是交交付付高高级级分分析析工工具具给给

8、分分析析员员后后，能能快快速速实实现现数数据据挖挖掘及其应用掘及其应用。5.1 数据挖掘过程模型数据挖掘过程模型5A（2）AccessAccess是是指指数数据据集集合合（DB、DW、DM）应应该该完完全全符符合合评评价价的的要要求求和和质质量量。若若数数据据集集合合不不充充分分，须须补补充充附附加加的的数数据据。选选用用的的数数据据挖挖掘掘软软件件必必须须在在所所要要求求的的数数据据上上灵灵活活地地工工作作，并并满满足下列存取准则。足下列存取准则。易易于于存存取取和和连连接接各各种种数数据据源源，包包括括数数据据表表、公公司数据库、数据仓库和其它必要的外部数据库。司数据库、数据仓库和其它必要

9、的外部数据库。能能直直接接从从ASCII正正文文、数数据据表表、数数据据库库文文件件读读入数据。入数据。能处理大量（能处理大量（GB以上）的数据文件。以上）的数据文件。5.1 数据挖掘过程模型数据挖掘过程模型5A（3）AnalyzeAnalyze要要求求分分析析工工具具具具备备两两类类分分析析方方法和工具：发现工具和验证工具。法和工具：发现工具和验证工具。验验证证工工具具检检验验发发现现工工具具所所产产生生的的结结果果是否合理。是否合理。发发现现型型方方法法和和工工具具包包括括基基因因遗遗传传算算法法、规规则则推推导导、模模糊糊逻逻辑辑、数数据据可可视视化化、聚聚类类算法、因素分析、神经网络、

10、决策树等。算法、因素分析、神经网络、决策树等。验验证证方方法法和和工工具具包包括括回回归归、逻逻辑辑回回归归、判别分析、预测建模等。判别分析、预测建模等。理理想想的的数数据据挖挖掘掘软软件件应应该该具具备备这这两两类类分分析析方方法法和和工工具具，同同时时应应该该包包括括下下列列分分析析特性。特性。5.1 数据挖掘过程模型数据挖掘过程模型5A 统统计计过过程程、范范围围和和深深度度较较强强，应应包包括括预预测测、分段、分类等。分段、分类等。集集成成商商业业和和统统计计图图形形功功能能、具具备备多多种种可可选选的的2D/3D图图类类，能能用用数数据据定定点点模模式式显显示示和和跟跟踪踪等。等。辅

11、辅助助分分析析的的模模版版、过过程程导导引引、示示范范、在在线线帮帮助等，能帮助分析员快速选择和获得结果。助等，能帮助分析员快速选择和获得结果。数数据据、文文件件、中中间间结结果果管管理理功功能能。能能合合并并和和分分离离文文件件、选选择择数数据据子子集集、处处理理数数据据缺缺值值、净净化化、改改善善数数据据完完整整性性、支支持持IF-THEN-ELSE条件操作。条件操作。数数据据转转换换功功能能。有有一一组组完完备备的的转转换换函函数数支支持持变变量量/特特征征和和条条件件的的计计算算，可可以以重重复复计计算算、编编辑原来的变量辑原来的变量/特征。特征。5.1 数据挖掘过程模型数据挖掘过程模

12、型5A 可可裁裁减减的的工工作作环环境境。有有脚脚本本/宏宏语语言言支支持持的的可可重重复复任任务务的的自自动动化化、批批处处理理及及其其菜菜单单按按钮功能，以支持一般用户快速使用。钮功能，以支持一般用户快速使用。灵灵活活的的动动态态输输出出。表表结结果果可可以以转转动动和和轮轮换换，易易于于观观察察数数据据全全貌貌和和用用鼠鼠标标重重新新组组织织表表数数据据，以以便便于于清清晰晰的的提提交交、观观察察、探探索索数数据据结果并做进一步的特殊分析。结果并做进一步的特殊分析。基基于于线线性性回回归归和和ANOVA的的预预测测性性建建模模，具具有有相相关关性性、分分类类分分析析、预预测测等等基基本本

13、分分析析功功能。能。插插件件/模模块块功功能能。可可以以提提供供特特殊殊的的功功能能模模块块，以支持特定的分析。以支持特定的分析。5.1 数据挖掘过程模型数据挖掘过程模型5A（4）Act用用大大量量的的列列表表和和图图形形或或者者通通过过办办公公软软件件来来演演示示数数据据挖挖掘掘软软件件的的能能力力。软软件件应应该该具具备备快快速速回回答答用用户户提提问问的的控控制制性性和和灵灵活活性性，这这样样才才便便于于用用户户更更好好、更更快快地地做做决决策策。数数据据挖挖掘掘软件应该提供下面的演示特性。软件应该提供下面的演示特性。l l完好的集成图形功能，以提供专业级的演示。完好的集成图形功能，以提

14、供专业级的演示。l lOLE支持，以易于嵌入图表节省报告时间。支持，以易于嵌入图表节省报告时间。l lINTERNET特特性性，以以易易于于图图表表的的网网上上传传输输和本地察看。和本地察看。l l演示模版特性，以节省编辑时间。演示模版特性，以节省编辑时间。l l特特殊殊查查询询功功能能，以以利利于于快快速速提提供供附附加加的的分分析析能能力来响应用户的提问。力来响应用户的提问。l l报告注解功能，以加入注解到报告中。报告注解功能，以加入注解到报告中。5.1 数据挖掘过程模型数据挖掘过程模型5A（5）AutomateAutomate是是指指面面向向用用户户的的操操作作尽尽可可能能完完善善和和自

15、自动动化化软软件件的的应应用用过过程程。吸吸取取专专业业分分析析决决策策人人员员及及多多数数用用户户的的意意见见和和见见解解，以以最最快快的的方方式式显显示示分分析析结结果果，以以标标准准的的接接口口、按按钮钮式式的的功功能能/菜菜单单、丰丰富富的的帮帮助助、可可选选的的附附加加分分析析将将软软件件呈呈现现给给用用户户。为为此此，软件应提供以下自动化功能：软件应提供以下自动化功能：5.1 数据挖掘过程模型数据挖掘过程模型5A l lOLE自自动动化化开开发发者者的的机机制制，允允许许用用户户在在通通用用代代码码级级（VB、EXCEL、ACCESS、PB等）使用软件。等）使用软件。l l内内建建

16、编编程程语语言言/脚脚本本/宏宏，使使用用户户可可以以方方便便的创建自己的应用。的创建自己的应用。l l制制作作能能力力，能能编编写写产产生生日日常常报报告告的的命命令令行行文件。文件。5.2数据挖掘过程模型数据挖掘过程模型CRISP-DMCRISP-DM模模型型是是由由几几家家相相关关开开发发和和应应用用行行业业的的跨跨国国公公司司和和集集团团所所支支持持（并并由由欧欧洲洲委委员员会会部部分分支支持持）的的一一个个特特别别兴兴趣趣小小组组在在1997年年7月月到到1999年年4月月间间研研究究后后提提出出的。的。这这几几家家公公司司分分别别是是数数据据仓仓库库提提供供商商NCR在在丹丹麦麦的

17、的SEC公公司司，德德国国的的汽汽车车、航航天天航航空空、电电信信和和咨咨询询业业公公司司DAIMLER-BENZAG，英英国国的的数数据据挖挖掘掘系系统统开开发发商商ISL（CLEMENTINE的的研研发发商商，1998年年其其成成为为SPSS的的子子公公司司）以以及及荷荷兰兰最最大大的的银银行行、保险业公司保险业公司OHRA。5.2数据挖掘过程模型数据挖掘过程模型CRISP-DM由由于于其其直直接接动动机机是是将将数数据据挖挖掘掘技技术术转转化化为为商商业业应应用用，所所提提出出的的过过程程模模型型均均在在项项目目中中进进行行实实际际实实践践和和验验证证，因因此此具具有有一一定定的的代代表

18、表性。性。CRISP-DM模模型型采采用用分分层层方方法法将将一一个个数数据据 挖挖 掘掘 项项 目目 的的 生生 存存 周周 期期 定定 义义 为为 6个个 阶阶 段段（PHASE）和）和4个层次（个层次（LEVEL）。）。5.2数据挖掘过程模型数据挖掘过程模型CRISP-DMCRISP-DM模型模型6个阶段为：个阶段为：BUSINESSUNDERSTANDING、DATAUNDERSTANDING、DATAPREPARATION、MODELING、EVALUATION和和DEPLOYMENT阶段间的顺序并不严格，比如商业理解阶段间的顺序并不严格，比如商业理解和数据理解之间常常需要反复，数据

19、准备和和数据理解之间常常需要反复，数据准备和数据模型建立也常常需要反复。数据模型建立也常常需要反复。阶段间有循环，比如在对模型进行评价阶段间有循环，比如在对模型进行评价后，如果不满意，可能需要重新对商业问题后，如果不满意，可能需要重新对商业问题进行理解，重新开始建模。一个阶段的任务进行理解，重新开始建模。一个阶段的任务完成后，如果需要继续扩展挖掘的范围，则完成后，如果需要继续扩展挖掘的范围，则需要重新开始循环。需要重新开始循环。5.2数据挖掘过程模型数据挖掘过程模型CRISP-DMCRISP-DM模型模型4个层次是：个层次是：阶段划分（阶段划分（PHASE）定义通用任务（定义通用任务（GENE

20、RICTASK）定义专用任务（定义专用任务（SPECIALIZEDTASK）处理实例（处理实例（PROCESSINSTANCE）每个每个PHASE由若干由若干GENERICTASK组成，每个组成，每个GENERICTASK又需要实施若又需要实施若干干SPECIALIZEDTASK，每个，每个SPECIALIZEDTASK由若干由若干PROCESSINSTANCE来完成。来完成。5.2数据挖掘过程模型数据挖掘过程模型CRISP-DM其其中中，上上两两层层独独立立于于具具体体数数据据挖挖掘掘方方法法，即即是是一一般般数数据据挖挖掘掘项项目目均均需需实实施施的的步步骤骤（这这解解决决了了“WHATT

21、ODO？”的的问问题题）。这这两两层层的的任任务务将将结结合合具具体体数数据据挖挖掘掘项项目目的的“上上下下文文”（CONTEXT）映映射射到到下下两两层层的的具具体体任任务和过程。务和过程。项项目目的的“上上下下文文”是是指指项项目目开开发发中中密密切切相相关关、需需要要综综合合考考虑虑的的一一些些关关键键问问题题，如如应应用用领领域域、数数据据挖挖掘掘问问题题类类型型、技技术术难难点点、工工具及其提供的技术等。具及其提供的技术等。下下两两层层注注重重解解决决如如何何完完成成每每个个阶阶段段所所要要完完成成的的任任务务和和任任务务的的输输出出所所要要求求的的必必要要映映射射活动（这用于解决活

22、动（这用于解决“HOWTODO”的问题）。的问题）。5.2数据挖掘过程模型数据挖掘过程模型CRISP-DMCRISP-DM6个阶段的含义是：个阶段的含义是：(1)BUSINESSUNDERSTANDING在在开开始始阶阶段段，专专注注于于从从商商业业的的角角度度理理解解项项目目目目标标和和需需求求，然然后后将将这这种种知知识识转转换换成成一一种种数数据据挖挖掘掘的的问问题题定定义义，并并设设计计出出达达到目标的一个初步计划。到目标的一个初步计划。5.2数据挖掘过程模型数据挖掘过程模型CRISP-DM(2)DATAUNDERSTANDING在在数数据据理理解解阶阶段段，先先收收集集初初步步的的数

23、数据据，然然后后进进行行熟熟悉悉数数据据的的各各种种活活动动，包包括括识识别别数数据据的的质质量量问问题题、找找到到对对数数据据的的基基本本观观察察或或假假设设隐隐含含的的信信息息来来检检测测出出感感兴兴趣趣的的数数据据子集。子集。5.2数据挖掘过程模型数据挖掘过程模型CRISP-DM(3)DATAPREPARATION数数据据预预处处理理阶阶段段覆覆盖盖了了从从数数据据构构造造到到最最终终数数据据集集合合（将将要要输输入入建建模模工工具具的的数数据据）的的所所有有活活动动。数数据据预预处处理理任任务务很很可可能能要要执执行行多多次次，并并且且没没有有任任何何规规定定的的顺顺序序。任任务务包包

24、括括表表、记记录录属属性性的的选选择择以以及及为为了了适适合合建建模工具的要求对数据进行的转换和净化。模工具的要求对数据进行的转换和净化。5.2数据挖掘过程模型数据挖掘过程模型CRISP-DM（4）MODELING在在建建模模阶阶段段，可可以以选选择择和和应应用用各各种种建建模技术将其参数校正到优化值。模技术将其参数校正到优化值。5.2数据挖掘过程模型数据挖掘过程模型CRISP-DM(5)EVALUATION从从数数据据分分析析的的观观点点看看：在在开开始始进进入入这这个个阶阶段段时时已已经经建建立立了了看看上上去去是是高高质质量量的的模模型型。但但在在最最终终扩扩展展模模型型之之前前，要要更

25、更彻彻底底地地评评价价模模型型，对对所所建建模模型型再再次次考考察察其其执执行行的的步骤并确信其正确地达到了商业目标。步骤并确信其正确地达到了商业目标。这这里里，一一个个关关键键的的目目的的是是确确定定是是否否有有某某些些重重要要的的商商业业问问题题还还没没有有充充分分地地考考虑虑。在在这这个个阶阶段段的的结结尾尾，应应该该获获得得使使用用数数据据挖挖掘结果的判定。掘结果的判定。5.2数据挖掘过程模型数据挖掘过程模型CRISP-DM(6)DEPLOYMENT创创建建完完模模型型并并不不意意味味着着项项目目结结束束。所所获获得得的的知知识识要要用用一一种种用用户户可可以以使使用用的的方方式式来来

26、组组织织和和表表示示。根根据据要要求求，扩扩展展阶阶段段可可以以简简单单到到只只生生成成一一份份报报告告，或或复复杂杂到到实实现现一一个个可可重重复复的的数数据据挖挖掘掘过过程程。在在许许多多情情况况下下，这这将将由由客客户户而而不不是是分分析析员员来来实实施施。所所以以分分析析员员来来实实施施扩扩展展将将达达不不到到预预期期的的扩扩展展效效果果，因因此此在在这这之之前前，客客户户理理解解和和利利用用所所建建模模型型所要实施的动作很重要。所要实施的动作很重要。5.3数据挖掘过程中的相关问题数据挖掘过程中的相关问题TWOCROWS公公司司的的数数据据挖挖掘掘过过程程模模型型同同CRISP-DM模

27、模型型很很类类似似，并并且且比比较较简洁，其基本数据挖掘步骤包括：简洁，其基本数据挖掘步骤包括：l l定义商业问题；定义商业问题；l l建立数据挖掘仓库；建立数据挖掘仓库；l l分析数据；分析数据；l l准备数据；准备数据；l l建立模型；建立模型；l l评价模型；评价模型；l l实施。实施。下下面面结结合合这这个个数数据据挖挖掘掘过过程程模模型型说说明明在数据挖掘过程中的相关问题。在数据挖掘过程中的相关问题。5.3.1定义商业问题定义商业问题我们的最终目的是希望从技术和商业角我们的最终目的是希望从技术和商业角度为公司建立一个能够理解和实施数据挖度为公司建立一个能够理解和实施数据挖掘的工作环境

28、。数据挖掘的成功，并不在掘的工作环境。数据挖掘的成功，并不在于特定工具和算法的选择，而是一个合适于特定工具和算法的选择，而是一个合适的环境。的环境。一个企业的执行能力越强，数据挖掘的一个企业的执行能力越强，数据挖掘的能力就越大。能力就越大。5.3.1定义商业问题定义商业问题企企业业所所处处的的商商业业环环境境往往往往在在战战略略上上、顾顾客客定定位位、数数据据仓仓库库建建立立、市市场场定定位位、生生命命周周期期、分分析析技技术术等等方方面面各各不不相相同同，成成功功的的基基础础必必须须是是基基于于对对数数据据挖挖掘掘与与商商业业规规律律良好结合的环境，建立自己的挖掘平台。良好结合的环境，建立自

29、己的挖掘平台。在在开开始始数数据据挖挖掘掘之之前前,最最重重要要的的是是要要了了解解数数据据和和相相关关的的业业务务问问题题。比比如如要要分分析析电电信信领领域域的的客客户户呼呼叫叫行行为为，需需要要了了解解电电信信的的业业务务构构成成、业业务务运运营营以以及及其其它它诸诸多多的的行行业业知识。知识。5.3.1定义商业问题定义商业问题要要想想充充分分发发挥挥数数据据挖挖掘掘的的价价值值，必必须须对对目目标标有有一一个个清清晰晰明明确确的的定定义义，了了解解数数据据和和相相关关的的业业务务问问题题是是决决定定到到底底想想干干什什么么的的前提。前提。数数据据挖挖掘掘对对系系统统分分析析/开开发发人

30、人员员提提出出了了更更高高的的要要求求，它它要要求求分分析析/开开发发人人员员具具有有比比较宽广的基础知识和行业背景。较宽广的基础知识和行业背景。商业理解体系的核心语义层业务数据库业务数据库业务数据库业务数据库最终用户最终用户最终用户最终用户数据结构数据结构数据结构数据结构语义层语义层语义层语义层信息系信息系信息系信息系 统人员统人员统人员统人员商业理解体系的核心语义层数据源数据源数据源数据源终端用户终端用户终端用户终端用户商业元语商业元语商业元语商业元语查询面板查询面板查询面板查询面板数据源5.3.2建立数据挖掘库建立数据挖掘库建建立立数数据据挖挖掘掘仓仓库库、分分析析数数据据、选选择择变变

31、量量构构成成了了数数据据预预处处理理的的核核心心，这这三三步步比比其其它它所所有有的的步步骤骤加加在在一一起起所所花花的的时时间间和和精精力力还还多多。数数据据准准备备工工作作大大概概要要花花去去整整个个数数据挖掘项目的据挖掘项目的50%90%的时间和精力。的时间和精力。5.3.2建立数据挖掘库建立数据挖掘库我我们们应应该该把把要要挖挖掘掘的的数数据据都都收收集集到到一一个个数数据据库库中中（或或者者存存放放在在数数据据仓仓库库中中，通通常是以关系表常是以关系表的方式存储）。的方式存储）。当当然然，这这并并不不是是说说一一定定要要使使用用一一个个数数据据库库管管理理系系统统。根根据据要要挖挖掘

32、掘的的数数据据量量的的大大小小、数数据据的的复复杂杂程程度度、使使用用方方式式的的不不同同，有有时时一一个个简简单单的的平平面面文文件件或或电电子子表表格格就就足足够了够了。5.3.2建立数据挖掘库建立数据挖掘库数数据据挖挖掘掘系系统统可可以以作作为为一一个个独独立立的的系系统存在。统存在。对对于于一一个个大大型型的的企企业业将将数数据据挖挖掘掘系系统统建建立立在在数数据据仓仓库库的的基基础础上上是是非非常常合合理理的的想想法法，因因为为数数据据仓仓库库已已经经为为数数据据挖挖掘掘累累积积了了大大量量的的历历史史数数据据，要要将将这这些些数数据据充充分分发发挥挥作用，就需要一个良好的数据挖掘系

33、统。作用，就需要一个良好的数据挖掘系统。5.3.2建立数据挖掘库建立数据挖掘库但但是是，一一般般我我们们并并不不直直接接在在公公司司的的数数据仓库上进行数据挖掘。原因有以下几点：据仓库上进行数据挖掘。原因有以下几点：1）数据仓库中的数据量很大，许多数据并不）数据仓库中的数据量很大，许多数据并不是数据挖掘问题所关心的。是数据挖掘问题所关心的。2）数据挖掘需要的信息涉及的方面很广，这）数据挖掘需要的信息涉及的方面很广，这些信息可能存放在数据仓库的许多表中，些信息可能存放在数据仓库的许多表中，如果直接在数据仓库中挖掘，将使数据如果直接在数据仓库中挖掘，将使数据的访问性能受到影响。的访问性能受到影响。

34、3）数据挖掘需要反复进行，不断地对模型）数据挖掘需要反复进行，不断地对模型进行优化。进行优化。5.3.2建立数据挖掘库建立数据挖掘库4)在在数数据据挖挖掘掘过过程程中中需需要要对对变变量量进进行行转转化化，比比如如神神经经网网络络只只能能处处理理数数值值型型的的变变量量，对对于于非非数数值值型型的的变变量量需需要要转转化化。而而数数据据仓仓库库不支持更新操作。不支持更新操作。5)多多个个数数据据挖挖掘掘的的主主题题可可能能同同步步进进行行，如如果果直直接接在在数数据据仓仓库库中中进进行行，数数据据仓仓库库需需要要增增加相应地控制机制。加相应地控制机制。6)数数据据仓仓库库系系统统还还有有其其它

35、它工工作作，比比如如定定期期地地数据刷新、对数据刷新、对OLAP系统的支持等。系统的支持等。5.3.2建立数据挖掘库建立数据挖掘库因因此此有有必必要要从从数数据据仓仓库库中中抽抽取取出出需需要要的的数数据据单单独独存存放放在在数数据据挖挖掘掘库库中中，这这样样可可以达到以下目的。以达到以下目的。l l数据量大大地减小了：数据量大大地减小了：l l多个数据挖掘主题可以并行地进行：多个数据挖掘主题可以并行地进行：l l多多 个个 数数 据据 挖挖 掘掘 主主 题题 在在 物物 理理 上上 分分 开开，对对 数数 据的更新互不影响；据的更新互不影响；l l数数据据挖挖掘掘的的结结果果可可以以回回写写

36、进进数数据据仓仓库库，供供OLAP工具展现使用。工具展现使用。5.3.2建立数据挖掘库建立数据挖掘库如如果果数数据据仓仓库库允允许许建建立立一一个个在在逻逻辑辑上上独独立立的的数数据据库库并并且且在在计计算算资资源源上上也也足足够够，那么在它上面进行数据挖掘也是可以的。那么在它上面进行数据挖掘也是可以的。建立数据挖掘库可以分成下面几个部分：建立数据挖掘库可以分成下面几个部分：l l数据收集；数据收集；l l对数据进行描述；对数据进行描述；l l选择数据；选择数据；l l数据质量评估和数据清理；数据质量评估和数据清理；l l对数据进行合并和整合；对数据进行合并和整合；l l构建元数据；构建元数据

37、；l l将数据加载到数据挖掘库；将数据加载到数据挖掘库；l l维护数据挖掘库。维护数据挖掘库。5.3.2建立数据挖掘库建立数据挖掘库这这些些步步骤骤并并不不一一定定要要按按步步骤骤执执行行，而而应应该该按按需需要要进进行行。比比如如在在收收集集数数据据时时就就开开始始构构建建元元数数据据，并并随随着着工工作作的的进进行行不不断断的的对对其其进进行行修修改改。在在数数据据整整合合和和数数据据质质量量评评估估过过程程中中发发现现问问题题可可能能需需要要修修改改最最初初的的数数据选择。据选择。5.3.2建立数据挖掘库建立数据挖掘库1.数据收集数据收集首先，确定要挖掘的数据源。首先，确定要挖掘的数据源

38、。在在数数据据仓仓库库中中已已经经提提供供了了丰丰富富的的数数据据，但但是是还还需需要要一一些些外外部部的的数数据据，比比如如人人口口统统计计或或天天气气数数据据等等。对对于于一一些些有有偿偿数数据据，甚甚至需要向专门提供数据服务的公司购买。至需要向专门提供数据服务的公司购买。我我们们可可以以用用一一个个数数据据搜搜集集报报告告把把所所需需的的各各种种不不同同的的数数据据源源的的属属性性列列出出来来。此此报报告至少应包含如下的内容：告至少应包含如下的内容：5.3.2建立数据挖掘库建立数据挖掘库l l数据源；数据源；l l数据的拥有者；数据的拥有者；l l负责维护此数据的人负责维护此数据的人/组

39、织；组织；l l设计该数据库的设计该数据库的DBA；l l如果数据需要购买，则需要说明费用如果数据需要购买，则需要说明费用；l l数数据据使使用用的的存存储储方方式式，如如ORACLE数数据据库库，平面文件；平面文件；l l数据中包含的表，字段，记录的数目；数据中包含的表，字段，记录的数目；l l数据的大小；数据的大小；l l数数据据的的物物理理存存储储介介质质，如如CD-ROM，磁磁带带，磁盘阵列等；磁盘阵列等；l l安全需求；安全需求；l l数据在使用上的限制；数据在使用上的限制；l l数据是否涉及用户的隐私问题。数据是否涉及用户的隐私问题。5.3.2建立数据挖掘库建立数据挖掘库2.数据描

40、述数据描述数据描述报告中应包含如下内容：数据描述报告中应包含如下内容：l l字段字段/列的数目；列的数目；l l字段是空（缺值）的数目字段是空（缺值）的数目/百分比；百分比；l l字段名；字段名；5.3.2建立数据挖掘库建立数据挖掘库对于对每个字段，我们通常需要记录：对于对每个字段，我们通常需要记录：l l数据类型；数据类型；l l数据定义；数据定义；l l数据描述；数据描述；l l计量单位；计量单位；l l所有不同值的个数；所有不同值的个数；l l值的列表；值的列表；l l值的范围；值的范围；l l空值的百分比；空值的百分比；l l收集信息；收集信息；l l时间频度；时间频度；l l特别时间

41、数据；特别时间数据；l l主键主键/外键关系。外键关系。5.3.2建立数据挖掘库建立数据挖掘库3.数据选择数据选择接接下下来来要要选选择择用用于于数数据据挖挖掘掘的的数数据据。这这与与对对数数据据进进行行采采样样和和选选择择预预测测变变量量是是不不同同的的，这这里里只只是是粗粗略略的的把把冗冗余余或或无无关关的的数数据据除除去去或或由由于于资资源源的的限限制制、费费用用的的限限制制、数数据据使使用用的的限限制制和和质质量量问问题题而而必必须须做做出出的的选择。选择。5.3.2建立数据挖掘库建立数据挖掘库4.数据质量评估和数据清理数据质量评估和数据清理要要想想得得到到好好的的模模型型必必须须用用

42、好好数数据据。数数据据质质量量评评估估就就是是要要确确定定数数据据的的哪哪些些性性质质会会最最终终影影响响模模型型的的质质量量。我我们们不不仅仅要要保保证证数数据据值值的的正正确确性性和和一一致致性性，还还要要保保证证这这些些值值是按同样的方法记录的同一件事情。是按同样的方法记录的同一件事情。5.3.2建立数据挖掘库建立数据挖掘库数数据据域域中中可可能能包包括括了了不不正正确确的的值值。比比如如，身身份份证证号号码码被被粗粗心心的的数数据据录录入入人人员员录录入了年龄。入了年龄。即即使使单单个个域域中中包包含含的的数数据据是是正正确确的的，但但这这些些域域组组合合起起来来时时也也可可能能就就出

43、出现现错错误误的的记录，如小学生的年龄是记录，如小学生的年龄是90。有时域中的值为空。有时域中的值为空。当当从从多多个个不不同同的的源源整整合合数数据据的的时时候候，一定要注意不同源之间数据的一致性。一定要注意不同源之间数据的一致性。这这些些工工作作看看起起来来和和数数据据仓仓库库的的数数据据清清洗转换工作很相似。洗转换工作很相似。5.3.2建立数据挖掘库建立数据挖掘库缺缺值值是是一一个个非非常常有有害害的的问问题题，并并且且在在实实际际情情况况中中常常常常出出现现。比比如如在在网网上上调调查查或或者者问问卷卷调调查查中中，填填写写人人会会漏漏填填甚甚至至不不填填某某些选项。些选项。如如果果有

44、有一一个个数数据据域域缺缺值值就就把把这这个个记记录录删删除除掉掉，那那么么最最后后可可能能得得到到一一个个很很小小的的数数据据集集合合。如如果果可可用用的的数数据据集集合合太太小小，则则这这个个集集合合就就不不能能代代表表整整体体的的特特征征，因因此此在在这这样样的的数数据据集集合合上上进进行行分分析析的的结结果果与与实实际际情情况有较大的出入况有较大的出入。5.3.2建立数据挖掘库建立数据挖掘库我我们们应应当当考考虑虑一一些些合合适适的的方方法法进进行行弥弥补补，可能的方法有：可能的方法有：a.据据其其它它字字段段来来推推测测缺缺失失字字段段，比比如如通通过过身身份份证证计计算算出出客客户

45、户的的性性别别、年年龄龄信信息息，从从而而填填补补这这两两个个字字段段数数据据的的缺缺失失。如如果果客客户户的的身身份份证证有误，这个方法就失效了。有误，这个方法就失效了。b.用用非非空空值值的的数数据据通通过过计计算算后后代代替替空空值值数数据据。我我们们通通过过计计算算收收入入水水平平的的非非空空数数据据的的平平均均值值来取代空值数据。来取代空值数据。c.使使用用非非空空值值的的数数据据的的统统计计特特征征来来填填充充空空值值数数据据。问问卷卷中中非非空空字字段段包包含含35%男男性性和和65%女女性性，在在为为性性别别字字段段缺缺失失的的记记录录添添值值时时，按按照照这个比例随机进行赋值

46、。这个比例随机进行赋值。5.3.2建立数据挖掘库建立数据挖掘库d.以以缺缺值值的的字字段段为为预预测测目目标标，用用数数据据挖挖掘掘技技术术建建立立一一个个预预测测模模型型，通通过过非非空空的的记记录录对对其其进进行行训训练练和和评评价价，然然后后按按照照这这个个模模型型的的预测结果添值。预测结果添值。这这种种方方法法比比较较好好，因因为为使使用用数数据据本本身身的的特特征征来来填填写写数数据据，但但是是，这这将将花花费费较较多多的时间。的时间。5.3.2建立数据挖掘库建立数据挖掘库e.利利用用以以往往的的经经验验，行行业业规规则则或或者者挖挖掘掘得得到到的规则对空值进行填充。的规则对空值进行

47、填充。比比如如在在宣宣传传化化妆妆品品的的过过程程中中，会会对对问问卷卷回回应应的的大大部部分分顾顾客客是是女女性性，男男性性仅仅占占很很少少的的比比例例，比比如如10%，我我们们可可以以根根据据这这个个特征对空值进行填充。特征对空值进行填充。5.3.2建立数据挖掘库建立数据挖掘库5.合并和整合合并和整合进进行行数数据据挖挖掘掘的的数数据据来来自自于于不不同同的的内内部部和和外外部部数数据据源源，并并且且数数据据源源之之间间的的数数据据常常存在冲突和不一致。常常存在冲突和不一致。不不同同的的数数据据库库间间在在数数据据定定义义和和使使用用上上存存在在巨巨大大的的差差距距。有有些些不不一一致致问

48、问题题是是容容易易解决的，然而有些则非常棘手。解决的，然而有些则非常棘手。同同一一个个名名字字的的字字段段被被用用在在不不同同的的数数据据项项上上具具有有不不同同的的含含义义，或或同同一一个个数数据据项项用用了了不不同同的的名名字字。在在数数据据计计量量上上还还有有单单位位不不统统一一的的问问题题，比比如如人人民民币币和和港港元元之之间间不不能能做做运运算算。关关于于数数据据整整合合和和集集成成的的问问题题，我我们在数据仓库中已经进行了详细的说明。们在数据仓库中已经进行了详细的说明。5.3.2建立数据挖掘库建立数据挖掘库6.构建元数据构建元数据元元数数据据就就是是描描述述数数据据的的数数据据。

49、数数据据收收集集报报告告和和数数据据描描述述报报告告是是建建立立元元数数据据的的基基础础和和重重要要组组成成部部分分。我我们们需需要要利利用用挖挖掘掘工工具具提提供供的的元元数数据据管管理理工工具具或或者者自自己己设设计计一一个个元元数数据据库库，为为分分析析数数据据以以及及建建立立模模型型提提供辅助信息。供辅助信息。5.3.2建立数据挖掘库建立数据挖掘库7.加载数据加载数据大大多多数数情情况况下下，用用于于挖挖掘掘的的数数据据应应该该放放到到独独立立的的挖挖掘掘库库中中。如如果果数数据据量量大大并并且且复复杂杂，那那么么数数据据挖挖掘掘库库通通常常是是一一个个RDBMS。如如果果数数据据量量

50、很很少少，使使用用一一个个简简单单的的平平面面文文件件即即可可。经经过过前前面面所所有有的的搜搜集集、整整理理之之后后，现在把这些数据加载过来。现在把这些数据加载过来。5.3.2建立数据挖掘库建立数据挖掘库8.维护数据挖掘库维护数据挖掘库挖挖掘掘库库一一旦旦建建好好，就就需需要要对对其其进进行行维维护护。维护工作包括：维护工作包括：l l定期进行数据备份；定期进行数据备份；l l监视挖掘库的性能；监视挖掘库的性能；l l维护元数据；维护元数据；l l根根 据据 需需 要要 不不 断断 的的 增增 加加 存存 储储 空空 间间，提提 供供 硬硬 件的性能。件的性能。对对放放在在RDBMS内内的的