数据挖掘概述 (2)精品文稿.ppt

《数据挖掘概述 (2)精品文稿.ppt》由会员分享，可在线阅读，更多相关《数据挖掘概述 (2)精品文稿.ppt（43页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数据挖掘概述第1页，本讲稿共43页数据挖掘的由来数据挖掘的由来u网络之后的下一个技术热点 u数据爆炸但知识贫乏u支持数据挖掘技术的基础u从商业数据到商业信息的进化 第2页，本讲稿共43页网络之后的下一个技术热点o网络时代面临的信息问题：n信息过量，难以消化；n信息真假难以辨识；n信息安全难以保证；n信息形式不一致，难以统一处理。o“要学会抛弃信息”第3页，本讲稿共43页数据爆炸但知识贫乏n数据库的容量已达上万亿水平（T）1,000,000,000,000个字节n全球信息量以惊人的速度急剧增长据估计，每二十个月将增加一倍。n许多组织机构的IT系统中都收集了大量的数据第4页，本讲稿共43页支持数据

2、挖掘技术的基础p激发了数据挖掘的开发、应用和研究的兴趣的四个主要技术理由：p超大规模数据库的出现，例如商业数据仓库和计算机自动收集的数据记录；p强大的多处理器计算机。例如更快和更大的计算能力和并行体系结构；p海量数据搜索，对巨大量数据的快速访问；p数据挖掘算法。第5页，本讲稿共43页从商业数据到商业信息的进化进化阶段商业问题支持技术产品厂家产品特点数据搜集(60年代)“过去五年中我的总收入是多少？”计算机、磁带和磁盘IBM,CDC提供历史性的、静态的数据信息数据访问(80年代)“在新英格兰的分部去年三月的销售额是多少？”关系数据库（RDBMS），结构化查询语言（SQL）、Sybase、Info

3、rmix、IBMOracle、Sybase、Informix、IBM、Microsoft在记录级提供历史性、动态数据信息数据仓库；决策支持(90年代)“在新英格兰的分部去年三月的销售额是多少？波士顿据此可得出什么结论？”联机分析处理（OLAP）、多维数据库、数据仓库Pilot、Comshare、Arbor、Cognos、Microstrategy在各种层次上提供回溯的、动态的数据信息数据挖掘（正在流行）“下个月波士顿的销售会怎么样？为什么？”高级算法、多处理器计算机、海量数据库Pilot、Lockheed、IBM、SGI、其他初创公司提供预测性的信息第6页，本讲稿共43页数据挖掘数据挖掘（Da

4、ta Mining)的定义的定义o数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。技术角技术角度的定义度的定义o数据挖掘可以描述为:按企业既定业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证己知的规律性，并进一步将其模型化的有效方法。商业角度的定义商业角度的定义o数据挖掘相近的同义词包括：数据融合、数据分析和决策支持等。第7页，本讲稿共43页数据挖掘与其他科学的关系数据挖掘与其他科学的关系Data MiningDatabase TechnologyStatisticsOtherDisc

5、iplinesInformationScienceMachineLearningVisualization第8页，本讲稿共43页实施数据挖掘的目的实施数据挖掘的目的n不再是单纯为了研究，更主要的是为商业决策提供真正有价值的信息，进而获得利润。n所有企业面临的一个共同问题是：企业数据量非常大，而其中真正有价值的信息却很少，因此需要从大量的数据中经过深层分析，获得有利于商业运作、提高竞争力的信息，就像从矿石中淘金一样，数据挖掘也由此而得名。第9页，本讲稿共43页n数据挖掘的数据源与以前相比有了显著的改变；数据是海量的；数据有噪声；数据可能是非结构化的；n传统的数据分析方法基于假设驱动的:一般都是先

6、给出一个假设然后通过数据验证n数据挖掘在一定意义上是基于发现驱动的：模式都是通过大量的搜索工作从数据中自动提取出来。即数据挖掘是要发现那些不能靠直觉发现的信息或知识，甚至是违背直觉的信息或知识，挖掘出的信息越是出乎意料，就可能越有价值。数据挖掘与传统数据分析方法区别数据挖掘与传统数据分析方法区别第10页，本讲稿共43页数据挖掘和数据仓库o第11页，本讲稿共43页数据挖掘和OLAP o完全不同的工具，基于的技术也大相径庭oOLAP基于用户假设。nwhat happened查询和报表工具是告诉你数据库中都有什么nwhat next OLAP更进一步告诉你下一步会怎么样nwhat if如果我采取这样

7、的措施又会怎么样o数据挖掘本质上是一个归纳的过程，不是用于验证某个假定的模式（模型）的正确性，而是在数据库中自己寻找模型。o数据挖掘和OLAP有一定的互补性。第12页，本讲稿共43页基本概念基本概念o数据数据:是指一个有关事实F的集合（如学生档案数据库中有关学生基本情况的各条记录），用来描述事物有关方面的信息。一般而言，这些数据都是准确无误的。o信息信息:是事物运动的状态和状态变化的方式。o知识知识n人们实践经验的结晶且为新的实践所证实的；是关于事物运动的状态和状态变化的规律；是对信息加工提炼所获得的抽象化产物。n知识的形式可能是模式、关联、变化、异常以及其他有意义的结构。第13页，本讲稿共4

8、3页主要功能主要功能1.概念概念/类别描述类别描述（Concept/Class Description）概念/类别描述是指对数据集做一个简洁的总体性描述并/或描述它与某一对照数据集的差别。例1：我们收集移动电话费月消费额超出1000元的客户资料，然后利用数据挖掘进行分析，获得这类客户的总体性描述：3550岁，有工作，月收入5000元以上，拥有良好的信用度；第14页，本讲稿共43页主要功能主要功能 例2：对比移动电话费月消费额超出1000元的客户群与移动电话费月消费额低于100元的客户群。利用数据挖掘可作出如下描述：移动电话月消费额超出1000元的客户80以上年龄在3550岁之间，且月收入500

9、0元以上；而移动电话月消费额低于100元的客户60以上要么年龄过大要么年龄过小，且月收入2000元以下。第15页，本讲稿共43页主要功能主要功能2.关联分析关联分析（Association Analysis）从一个项目集中发现关联规则，该规则显示了给定数据集中经常一起出现的属性值条件元组。例如：关联规则X=Y所表达的含义是满足X的数据库元组很可能满足Y。关联分析在交易数据分析、支持定向市场、商品目录设计和其他业务决策等方面有着广泛的应用。第16页，本讲稿共43页主要功能主要功能3.分类与估值分类与估值（Classification and Estimation）分类指通过分析一个类别已知的数据

10、集的特征来建立一组模型，该模型可用以预测类别未知的数据项的类别。该分类模型可以表现为多种形式：分类规则（IF-THEN），决策树或者数学公式，乃至神经网络。估值与分类类似，只不过它要预测的不是类别，而是一个连续的数值。第17页，本讲稿共43页主要功能主要功能4.聚类分析聚类分析（Clustering Analysis）聚类分析又称为“同质分组”或者“无监督的分类”，指把一组数据分成不同的“簇”，每簇中的数据相似而不同簇间的数据则距离较远。相似性可以由用户或者专家定义的距离函数加以度量。好的聚类方法应保证不同类间数据的相似性尽可能地小，而类内数据的相似性尽可能地大。第18页，本讲稿共43页主要功

11、能主要功能5.时间序列分析时间序列分析（Time-Series Analysis）时间序列分析即预测（Prediction），是指通过对大量时间序列数据的分析找到特定的规则和感兴趣的特性，包括搜索相似序列或者子序列，挖掘序列模式、周期性、趋势和偏差。预测的目的是对未来的情况作出估计。第19页，本讲稿共43页主要功能主要功能6.其它功能其它功能 包括：偏差分析（Deviation Analysis）、孤立点分析（Outlier Analysis）等。随着数据挖掘技术的发展，可能还会继续出现新的数据挖掘功能。第20页，本讲稿共43页数据挖掘模型数据挖掘模型nCRISP-DM（Cross Indus

12、try Standard Process for Data Mining）模型,最先在1996年被提出，当前的白皮书版本是1.0。n目的是把数据挖掘的过程标准化,使数据挖掘项目的实施速度更快、成本更低、更可靠并且更容易管理。第21页，本讲稿共43页业务理解（业务理解（Business UnderstandingBusiness Understanding）阶段）阶段o确定业务目标：分析项目的背景，从业务视点分析项目的目标和需求，确定业务角度的成功标准；o项目可行性分析：分析拥有的资源，条件和限制，风险估计，成本和效益估计；o确定数据挖掘目标：明确确定数据挖掘的目标和成功标准，数据挖掘的目标和业

13、务目标是不一样的，前者指技术上的，例如生成一棵决策树等；o提出项目计划：对整个项目做一个计划，初步估计用到的工具和技术。第22页，本讲稿共43页数据理解（数据理解（Data UnderstandingData Understanding）阶）阶段段p收集原始数据：收集本项目所涉及到的数据，如有必要，把数据装入数据处理工具，并作一些初步的数据集成的工作，生成相应报告;描述数据：对数据做一些大致的描述，例如记录数、属性数等，给出相应报告；探索数据：对数据做简单的统计分析，例如关键属性的分布等；检查数据质量：包括数据是否完整、数据是否有错、是否有缺失值等问题。第23页，本讲稿共43页数据准备（数据准

14、备（Data PreparationData Preparation）阶段）阶段p数据选择：根据数据挖掘目标和数据质量选择合适的数据，包括表的选择、记录选择和属性选择；数据清洁：提高选择好的数据的质量，例如去除噪音，估计缺失值等；数据创建：在原有数据的基础上是生成新的属性或记录；数据合并：利用表连接等方式将几个数据集合并在一起；数据格式化：把数据转换成适合数据挖掘处理的格式。第24页，本讲稿共43页建立模型（建立模型（ModelingModeling）阶段）阶段o选择建模技术：确定数据挖掘算法和参数，可能会利用多个算法；o测试方案设计：设计某种测试模型的质量和有效性的机制；o模型训练：在准备好

15、的数据集上运行数据挖掘算法，得出一个或者多个模型；o模型测试评估：根据测试方案进行测试，从数据挖掘技术的角度确定数据挖掘目标是否成功。第25页，本讲稿共43页模型评估（模型评估（EvaluationEvaluation）阶段）阶段o结果评估：从商业角度评估得到的模型，甚至实际试用该模型测试其效果；o过程回顾：回顾项目的所有流程，确定每一个阶段都没有失误；o确定下一步工作：根据结果评估和过程回顾得出的结论，确定是部署该挖掘模型还是从某个阶段开始重新开始。第26页，本讲稿共43页部署（部署（DeploymentDeployment）阶段）阶段p部署计划：对在业务运作中部署模型作出计划；监控和维护计

16、划：如何监控模型在实际业务中的使用情况，如何维护该模型；作出最终报告：项目总结，项目经验和项目结果；项目回顾：回顾项目的实施过程，总结经验教训；对数据挖掘的运行效果做一个预测。第27页，本讲稿共43页数据挖掘模型数据挖掘模型 为保证项目的可靠性和可管理性，CRISP-DM规定一个数据挖掘项目应该产生11个报告：业务理解报告业务理解报告 原始数据收集报告原始数据收集报告 数据描述报告数据描述报告 数据探索报告数据探索报告 数据质量报告数据质量报告 数据集描述报告数据集描述报告 模型训练报告模型训练报告 模型评估报告模型评估报告 部署计划部署计划 监控和维护计划监控和维护计划 总结报告总结报告 通

17、过这些报告，可以有效地控制数据挖掘项目进程，减少开发风险。第28页，本讲稿共43页实现流程实现流程各步骤之间互相影响、反复调整，形成一种螺旋式上升过程。第29页，本讲稿共43页数据准备数据准备oKDD的处理对象是大量的数据，这些数据一般存储在数据库系统中，是长期积累的结果。但往往不合适直接在这些数据上进行知识挖掘，需要做一些准备工作，也就数据的预处理。o数据预处理数据预处理包括数据的选择（选择相关数据）、净化（消除噪音、冗余数据）、推测（推算缺值数据）、转换（离散型数据与连续型数据之间的转换）、数据缩减（减少数据量）等。o数据准备是KDD的第一个步骤，数据准备得好坏将直接影响数据挖掘的效率和准

18、确度以及最终模式的有效性.。第30页，本讲稿共43页数据挖掘数据挖掘o数据挖掘是最为关键的步骤，它根据KDD的目标，选取相应算法的参数，分析数据，得到可能形成知识的模式模型。o目前采用较多的技术有决策树、分类、聚类、粗糙集、关联规则、神经网络、遗传算法等。第31页，本讲稿共43页模式的评估、解释模式的评估、解释o通过上面步骤所得到的模式，有可能是没有意义或没有实用价值的，因此需要评估，确定那些是有效的、有用的模式。o此外，大部分模式是用数学手段描述的表达式，很难被人理解，还需要将其解释成可理解的方式以呈现给用户。第32页，本讲稿共43页知识运用知识运用o发现知识是为了运用，如何使知识能被运用也

19、是KDD的步骤之一。o运用知识有两种方法：n一种是只需看知识本身所描述的关系或结果，就可以对决策提供支持；n一种是要求对新的数据运用知识，由此可能产生新的问题，而需要对知识做进一步的优化。oKDD过程可能需要多次的循环反复，每一个步骤一旦与预期目标不符，都要回到前面的步骤，重新调整，重新执行。第33页，本讲稿共43页实现流程实现流程p数据挖掘过程的分步实现,不同的步骤需要不同的专业人员参与完成,大体分为三类：1）业务分析人员：要求精通业务,能够解释业务对象,并根据各业务对象确定出用于数据定义和挖掘算法的业务需求。2）数据分析人员：精通数据分析技术,并对统计学有较熟练的掌握,有能力把业务需求转化

20、为数据挖掘的各步操作,并为每步操作选择合适的技术。3）数据管理人员：精通数据管理技术,并从数据库或数据仓库中收集数据。p数据挖掘是一个多领域专家合作的过程，也是一个在资金上和技术上高投入的过程。p数据挖掘过程要反复进行，在反复过程中，不断地趋近事物的本质，不断地优先问题的解决方案。第34页，本讲稿共43页数据挖掘的应用数据挖掘的应用p数据挖掘技术的产生本身就有其强烈的应用需求背景，它从一开始就是面向应用的。p数据挖掘技术在市场分析、业务管理、决策支持等方面有广泛的应用，是实现CRM和BI的重要技术手段之一。具体涉及数据挖掘的商业问题：数据库营销（Database Marketing）客户群体划

21、分（Customer Segmentation&Classification）背景分析（Profile Analysis）交叉销售（Cross-selling）客户流失分析(Churn Analysis)客户信用评分(Credit Scoring)欺诈甄别(Fraud Detection)第35页，本讲稿共43页未来趋势未来趋势o未来的热点应用领域未来的热点应用领域 网站的数据挖掘（网站的数据挖掘（Web site data miningWeb site data mining）生物信息或基因的数据挖掘生物信息或基因的数据挖掘 文本挖掘（文本挖掘（Textual miningTextual m

22、ining）多媒体挖掘多媒体挖掘 第36页，本讲稿共43页网站的数据挖掘网站的数据挖掘(Website data mining)(Website data mining)电子商务网站每天都可能有上百万次的在线交易，生成大量的记录文件（Log files）和登记表，如何对这些数据进行分析和挖掘，及时地了解客户的喜好、购买模式，甚至是客户一时的冲动，设计出满足于不同客户群体需要的个性化网站，进而增加竞争力。网站的数据格式有很大一部分来自于点击流，和传统的数据库格式有区别。因而对电子商务网站进行数据挖掘所做的主要工作是数据准备第37页，本讲稿共43页生物信息或基因的挖掘生物信息或基因的挖掘p生物信息

23、或基因数据挖掘则完全属于另外一个领域，在商业上很难讲有多大的价值，但对于人类却受益非浅。例如，基因的组合千变万化，得某种病的人的基因和正常人的基因到底差别多大？能否找出其中不同的地方，进而对其不同之处加以改变，使之成为正常基因？这都需要数据挖掘技术的支持。p对于生物信息或基因的数据挖掘和通常的数据挖掘相比，无论在数据的复杂程度、数据量还有分析和建立模型的算法方面，都要复杂得多。从分析算法上讲，更需要一些新的和高效的算法。现在很多厂商正在致力于这方面的研究。但就技术和软件而言，还远没有达到成熟的地步。第38页，本讲稿共43页文本挖掘（文本挖掘（Textual miningTextual mini

24、ng）o文本挖掘是人们关心的另一个话题。例如，在客户服务中心，把同客户的谈话转化为文本数据，再对这些数据进行挖掘，进而了解客户对服务的满意程度和客户的需求以及客户之间的相互关系等信息。o无论是在数据结构还是在分析处理方法方面，文本数据挖掘和数据挖掘相差很大。文本挖掘并不是一件容易的事情，尤其是在分析方法方面，还有很多需要研究的专题。目前市场上有一些类似的软件，但大部分方法只是把文本移来移去，或简单地计算一下某些词汇的出现频率，并没有真正实现语义上的分析功能。第39页，本讲稿共43页多媒体挖掘（多媒体挖掘（Multimeadia MiningMultimeadia Mining）o基于描述的检索

25、系统n基于图像的描述创建索引并实现对象检索，如关键字、标题、尺寸和创建时间等；n人工实现则极为费时、费力；n自动实现则往往结果不理想。p 基于内容的检索系统n支持基于图像内容的检索，例如颜色、质地、形状、对象及小波变换 第40页，本讲稿共43页C-BIRD:Content-Based Image Retrieval from Digital librariesSearchnby image colorsnby color percentagenby color layoutnby texture densitynby texture Layoutnby object modelnby illu

26、mination invariancenby keywords第41页，本讲稿共43页未来的研究热点未来的研究热点o发现语言的形式化描述发现语言的形式化描述 即研究专门用于知识发现的数据挖掘语言，寻求类似于数据库中SQL语言一样的数据挖掘语言，使挖掘过程走向形式化和标准化。o寻寻求数据挖掘求数据挖掘过过程中的可程中的可视视化方法化方法 使知识发现的过程能够被用户理解，也便于在知识发现的过程中进行人机交互。o研究在网研究在网络环络环境下的数据挖掘技境下的数据挖掘技术术 特别是在因特网上建立DMKD服务器，并且与数据库服务器配合，实现Web挖掘。第42页，本讲稿共43页未来的研究热点未来的研究热点l加加强强对对各种非各种非结结构化数据的挖掘构化数据的挖掘 如对文本数据、图形数据、视频图像数据、声音数据乃至综合多媒体数据的挖掘。l知知识识的的维护维护更新更新 数据挖掘的结果知识是具有时效性的，需要研究知识的维护更新技术，如知识的增量更新、模型的进化等。第43页，本讲稿共43页