第6章现代数据挖掘技术与发展.ppt

《第6章现代数据挖掘技术与发展.ppt》由会员分享，可在线阅读，更多相关《第6章现代数据挖掘技术与发展.ppt（60页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第6章现代数据挖掘技术与发展 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望现代数据挖掘技术与发展 6.1知识挖掘系统的体系结构 6.2现代挖掘技术及应用 6.3知识发现工具与应用6.4数据挖掘技术的发展 练习6.1知识挖掘系统的体系结构6.1.16.1.1知识发现的定义知识发现的定义 知知识识发发现现是是用用一一种种简简洁洁的的方方式式从从大大量量数数据据中中抽抽取取信信息息的的一一种种技技术术，所所抽抽取取的信息是隐含的、未知的，并且具有潜在应用价值。的信息是

2、隐含的、未知的，并且具有潜在应用价值。知知识识发发现现可可看看成成是是一一种种有有价价值值信信息息的的搜搜寻寻过过程程，它它不不必必预预先先假假设设或或提提出出问问题题，仍仍然然能能够够找找到到那那些些非非预预期期的的令令人人关关注注的的信信息息，这这些些信信息息表表示示了了不不同同研研究究对对象象之之间间的的关关系系和和模模式式。它它还还能能通通过过全全面面的的信信息息发发现现与与分分析析，找找到到有有价值的商业规则。价值的商业规则。知知识识发发现现意意味味着着在在数数据据仓仓库库或或数数据据集集市市的的几几千千兆兆、几几万万兆兆字字节节数数据据中中寻寻找找预先未知的商业模式与事实。预先未知

3、的商业模式与事实。6.1.26.1.2知识发现系统的结构知识发现系统的结构 知知识识发发现现系系统统的的结结构构由由知知识识发发现现系系统统管管理理器器、知知识识库库、商商业业分分析析员员、数数据据仓仓库库的的数数据据库库接接口口、数数据据选选择择、知知识识发发现现引引擎擎、知知识识发发现现评评价价和和知知识识发现描述等部分组成（图发现描述等部分组成（图6.1）。）。数据仓库知识库数 据库 接口数据选择知识发现引擎知识发现评价知识发现描述知识发现管理器商业分析员图6.1知识发现系统结构1.知识发现系统管理器 控制并管理整个知识发现过程 2.知识库和商业分析员 知识库包含了源于各方面的知识。商业

4、分析员要按一种有效的方式指导关注信息的发现。3.数据仓库的数据库接口 知识发现系统的数据库接口可以直接与数据仓库通信。4.数据选择 确定从数据仓库中需要抽取的数据及数据结构5.知识发现引擎 将知识库中的抽取算法提供给数据选择构件抽取的数据 6.发现评价 有助于商业分析员筛选模式，选出那些关注性的信息7.发现描述 发现、评价并辅助商业分析员在知识库中保存关注性发现结果以备将来引用,并保持知识发现与管理人员的通信。频繁模式是频繁的出现在数据集中的模式频繁模式是频繁的出现在数据集中的模式如项集、子序或者子结构如项集、子序或者子结构动机：发现数据中蕴含的内在规律动机：发现数据中蕴含的内在规律那些产品经

5、常被一起购买？那些产品经常被一起购买？-啤酒和尿布？啤酒和尿布？买了买了PC之后接着都会买些什么？之后接着都会买些什么？哪种哪种DNA对这种新药敏感对这种新药敏感我们能够自动的分类我们能够自动的分类WEB文档吗？文档吗？应用应用购物篮分析、购物篮分析、WEB日志（点击流）分析、捆绑日志（点击流）分析、捆绑销售、销售、DNA序列分析等序列分析等什么是什么是频繁模式分析？繁模式分析？6.2现代挖掘技术及应用揭示数据集的内在的、重要的特性揭示数据集的内在的、重要的特性作为很多重要数据挖掘任务的基础作为很多重要数据挖掘任务的基础关联、相关和因果分析关联、相关和因果分析序列、结构（序列、结构（e.g.子

6、图）模式分析子图）模式分析时空、多媒体、时序和流数据中的模式分析时空、多媒体、时序和流数据中的模式分析分类：关联分类分类：关联分类聚类分析：基于频繁模式的聚类聚类分析：基于频繁模式的聚类数据仓库：冰山方体计算数据仓库：冰山方体计算频繁模式挖掘的重要性繁模式挖掘的重要性购物物篮分析分析如果问题的全域是商店中所有商品的集合，则对每种商品如果问题的全域是商店中所有商品的集合，则对每种商品都可以用一个布尔量来表示该商品是否被顾客购买，则每都可以用一个布尔量来表示该商品是否被顾客购买，则每个购物篮都可以用一个布尔向量表示；而通过分析布尔向个购物篮都可以用一个布尔向量表示；而通过分析布尔向量则可以得到商品

7、被频繁关联或被同时购买的模式，这些量则可以得到商品被频繁关联或被同时购买的模式，这些模式就可以用关联规则表示（模式就可以用关联规则表示（e.g.0001001100）关联规则的两个兴趣度度量关联规则的两个兴趣度度量支持度支持度置信度置信度通常，如果关联规则同时满足最小支持度阈值和最小置信通常，如果关联规则同时满足最小支持度阈值和最小置信度阈值，则此关联规则是有趣的度阈值，则此关联规则是有趣的关关联规则：基本概念：基本概念给定：给定：项的集合：项的集合：I=i1,i2,.,in任务相关数据任务相关数据D是数据库事务的集合，每个事务是数据库事务的集合，每个事务T则是项的集合，使得则是项的集合，使得

8、每个事务由事务标识符每个事务由事务标识符TID标识；标识；A,B为两个项集，事务为两个项集，事务T包含包含A当且仅当当且仅当则关联规则是如下蕴涵式：则关联规则是如下蕴涵式：其中其中 并且并且 ，规则，规则 在事在事务集务集D中成立，并且具有支持度中成立，并且具有支持度s和置信度和置信度c基本概念基本概念示例示例项的集合项的集合 I=A,B,C,D,E,F每个事务每个事务T由事务标识符由事务标识符TID标识，它是项的集合标识，它是项的集合 TID(2000)=A,B,C任务相关数据任务相关数据D是数据库事务的集合是数据库事务的集合支持度支持度s是指事务集是指事务集D中包含中包含 的百分比的百分比

9、置信度置信度c是指是指D中包含中包含A的的事务同时也包含事务同时也包含B的百分的百分比比假设最小支持度阈值为假设最小支持度阈值为50%，最小置信度阈值为，最小置信度阈值为50%，则有如下关联规则，则有如下关联规则A C (50%,66.6%)C A (50%,100%)同时满足最小支持度阈值同时满足最小支持度阈值和最小置信度阈值的规则和最小置信度阈值的规则称作强规则称作强规则规则度量：支持度和置信度度量：支持度和置信度Customerbuys diaperCustomerbuys bothCustomerbuys beer6.2现代挖掘技术及应用6.2.16.2.1规则型现代挖掘技术及应用规则

10、型现代挖掘技术及应用 1.关联规则的基本概念布尔关联规则、单维规则buys(x,“computer”)=buys(x,“finacial_management_software”)量化关联规则、多维关联age(“30.40”)income(“42000.50000”)=buys(x,“high_resolution_TV”)多层关联规则单层关联规则age(x,“30.40”)=buys(x,“IBMcomputer”)(6.3)age(x,“30.40”)=buys(x,“computer”)(6.4)关联规则（6.2）可以用下面的SQL查询语句完成。SelectCust.name,P.ite

11、m_namefromPurchases，PgroupbyCust.IDhaving(Cust.age=30.and.Cust.age=42000andCust.income40否是一般良好6.2.5决策树型现代挖掘技术2.决策树的应用6.2.5决策树型现代挖掘技术编号年龄学生信誉等级类别标号1=30是良好会购买240否一般会购买440否良好不会购买540否一般会购买63140是一般会购买740是一般会购买940否良好不会购买11=30否一般不会购买123140是一般会购买133140否一般会购买143140是良好会购买6.2.5决策树型现代挖掘技术“年龄年龄”在各个属性中具有最大的信息增益，所

12、以选择在各个属性中具有最大的信息增益，所以选择“年龄年龄”属性作为第一个测试属性，创建一个节点，用属性作为第一个测试属性，创建一个节点，用“年年龄龄”标记。标记。计算剩余各个属性的相应的信息增益，选择信息增益最大计算剩余各个属性的相应的信息增益，选择信息增益最大的属性作为测试属性，这时信息增益最大的是的属性作为测试属性，这时信息增益最大的是“学生学生”属属性，创建一个节点，用性，创建一个节点，用“学生学生”标记标记。6.3知识发现工具与应用6.3.1 知识挖掘工具的系统结构知识挖掘工具的系统结构1.无耦合（无耦合（no coupling）DM系统不利用系统不利用DB或或DW系统的任何功能系统的

13、任何功能 2.松散耦合（松散耦合（loose coupling）DM系统将使用系统将使用DB/DW的某些工具的某些工具 3.半紧密耦合（半紧密耦合（semitight coupling）DM系系统统连连接接到到一一个个DB/DW系系统统，一一些些基基本本数数据据挖挖掘掘原原语语可以在可以在DB/DW系统中实现。系统中实现。4.紧密耦合（紧密耦合（tight coupling）DM系统被平滑地集成到系统被平滑地集成到DB/DW系统中系统中6.3知识发现工具与应用6.3.2 知识挖掘工具运用中的问题知识挖掘工具运用中的问题1.数据挖掘技术应用中的共性问题数据挖掘技术应用中的共性问题(1)数据质量数

14、据质量(2)数据可视化数据可视化(3)极大数据库极大数据库(vLDB)的问题的问题(4)性能和成本性能和成本(5)商业分折员的技能商业分折员的技能(6)处理噪声和不完全数据处理噪声和不完全数据(7)模式评估模式评估兴趣度问题兴趣度问题6.3知识发现工具与应用6.3.2 知识挖掘工具运用中的问题知识挖掘工具运用中的问题2.数据挖掘技术应用中的个性问题数据挖掘技术应用中的个性问题(1)规则归纳应用中的问题规则归纳应用中的问题主主要要用用于于显显式式描描述述数数据据抽抽取取的的规规则则、找到所有的规则，工作量是巨大的(2)神经网络应用中的问题神经网络应用中的问题受训练过度的影响受训练过度的影响、神经

15、网络的训练速度问题(3)遗传算法应用中的问题遗传算法应用中的问题6.3知识发现工具与应用6.3.3 知识挖掘的价值知识挖掘的价值1.了解商业活动了解商业活动2.发现商业异常发现商业异常3.预测模型预测模型6.3.4 现代数据挖掘工具简介现代数据挖掘工具简介1.DBMiner的体系结构的体系结构2.DBMiner的数据挖掘类型的数据挖掘类型6.4数据挖掘技术的发展6.4.1 文本挖掘文本挖掘1.文本分析和语义网络文本分析和语义网络文本分析文本分析为一个大型文本集合提供内容概况为一个大型文本集合提供内容概况例如，可以发现一个客户反馈集合中文档的显著簇，这样可能会发现公司的产例如，可以发现一个客户反

16、馈集合中文档的显著簇，这样可能会发现公司的产品或服务在哪里需要改进。品或服务在哪里需要改进。指出对象间的隐藏结构指出对象间的隐藏结构在组织一个企业内部网站时，文本分析可以找出对象间的隐藏结构，这样有关在组织一个企业内部网站时，文本分析可以找出对象间的隐藏结构，这样有关联的文档就能被超链接连接起来。联的文档就能被超链接连接起来。提高发现相似或相关信息搜索过程的效率和有效性提高发现相似或相关信息搜索过程的效率和有效性例如，可以从一个新闻服务机构搜索文章和发现独有的文档，这些文档含有到例如，可以从一个新闻服务机构搜索文章和发现独有的文档，这些文档含有到现在为止在别的文章中没有提到过的新趋势或技术的线

17、索。现在为止在别的文章中没有提到过的新趋势或技术的线索。侦察存档中的重复文档侦察存档中的重复文档文本分析可以用于大量文本需要分析的地方。虽然自动处理不能达到人类阅读文本分析可以用于大量文本需要分析的地方。虽然自动处理不能达到人类阅读分析的深度，但它可以被用来抽取关键点、产生总结、分类文档等。分析的深度，但它可以被用来抽取关键点、产生总结、分类文档等。6.4数据挖掘技术的发展语义网络语义网络一个有效文本分析的第一步是创建该文本的一个语义网络。一个有效文本分析的第一步是创建该文本的一个语义网络。一个语义网络是一系列来自分析的文本的最重要概念（词一个语义网络是一系列来自分析的文本的最重要概念（词与词

18、的组合）以及文本中这些概念间的语义联系。一个语与词的组合）以及文本中这些概念间的语义联系。一个语义网络为分析的文本提供了一个简明和非常准确的总结。义网络为分析的文本提供了一个简明和非常准确的总结。与人工神经网络一样，语义网络的每个元素与人工神经网络一样，语义网络的每个元素概念都被概念都被它的权重和一组与此网络其他元素的联系所标识它的权重和一组与此网络其他元素的联系所标识一个一个上下文结点。一旦为调查研究的文本构造的一组准确的语上下文结点。一旦为调查研究的文本构造的一组准确的语义网络建立起来，所有文本分析任务就可以执行。义网络建立起来，所有文本分析任务就可以执行。在现有的大部分算法中，一个语义网

19、络是在一些已定义的在现有的大部分算法中，一个语义网络是在一些已定义的规则和概念的基础上建立起来的。不过，也存在一些比较规则和概念的基础上建立起来的。不过，也存在一些比较强大的算法，这些算法不需要任何关于主题的预先背景知强大的算法，这些算法不需要任何关于主题的预先背景知识，可以仅仅在一个调查研究文本的基础上完全自动建立识，可以仅仅在一个调查研究文本的基础上完全自动建立起一个语义网络。起一个语义网络。6.4数据挖掘技术的发展2.文本挖掘文本挖掘文本总结文本总结从从文文档档中中抽抽取取关关键键信信息息，用用简简洁洁的的形形式式对对文文档档内内容容进进行行摘摘要要或或解解释释。用户不需要浏览全文就可以

20、了解文档或文档集合的总体内容。用户不需要浏览全文就可以了解文档或文档集合的总体内容。基于关键字的关联分析基于关键字的关联分析首先收集经常一起出现的关键字或词汇，然后找出其关联或相互关系。首先收集经常一起出现的关键字或词汇，然后找出其关联或相互关系。在这类分析中，每一个文档被视为一个事务，文档中的关键字组可视在这类分析中，每一个文档被视为一个事务，文档中的关键字组可视为事务中的一组事务项。这样，这种基于关键字的关联分析就变成事为事务中的一组事务项。这样，这种基于关键字的关联分析就变成事务数据库中事务项的关联挖掘问题。务数据库中事务项的关联挖掘问题。一组经常连续出现或紧密相关的关键字可形成一个词或

21、词组。关联分一组经常连续出现或紧密相关的关键字可形成一个词或词组。关联分析有助于找出复合关联，即领域相关的词或词组，如析有助于找出复合关联，即领域相关的词或词组，如中国，长江，三中国，长江，三峡峡。还有助于找出非复合关联，即领域不相关的词或词组，如。还有助于找出非复合关联，即领域不相关的词或词组，如人民人民币，交易，总额，证券，佣金，参股币，交易，总额，证券，佣金，参股。基于这些词或词组关联的挖掘。基于这些词或词组关联的挖掘被称为被称为“词级关联挖掘词级关联挖掘”。利用这种词和词组的识别，词级挖掘可以。利用这种词和词组的识别，词级挖掘可以用于找出词或关键字之间的关联。用于找出词或关键字之间的关

22、联。6.4数据挖掘技术的发展2.文本挖掘文本挖掘文档分类分析文档分类分析在已有的数据基础上学会一个分类函数或构造出一个分类模型。对文在已有的数据基础上学会一个分类函数或构造出一个分类模型。对文档进行分类。文档的分类分析，一般是先把一组预先分类过的文档作档进行分类。文档的分类分析，一般是先把一组预先分类过的文档作为训练集，然后对训练集加以分析以便得出分类模式。这种分类模式为训练集，然后对训练集加以分析以便得出分类模式。这种分类模式一般要经过一定的测试过程，不断细化。最后用分类模式对其他文档一般要经过一定的测试过程，不断细化。最后用分类模式对其他文档加以分类。加以分类。常用的一种对文档分类的有效方

23、法是基于关联的分类。这种分类方法常用的一种对文档分类的有效方法是基于关联的分类。这种分类方法是基于一组相关联的、经常出现的文本模式对文档加以分类。其处理是基于一组相关联的、经常出现的文本模式对文档加以分类。其处理过程为：首先，通过简单的信息检索技术或关联分析技术提出关键字过程为：首先，通过简单的信息检索技术或关联分析技术提出关键字或词汇。然后，使用已有的词类，或基于专家知识，或用关键字分类或词汇。然后，使用已有的词类，或基于专家知识，或用关键字分类系统，生成关键字和词的概念层次。最后，使用词级关联挖掘方法发系统，生成关键字和词的概念层次。最后，使用词级关联挖掘方法发现一组关联词。这样，每一类文

24、档相关有一组关联规则表示。这些分现一组关联词。这样，每一类文档相关有一组关联规则表示。这些分类规则可以基于其出现频率和识别能力，加以排序，并用于对新的文类规则可以基于其出现频率和识别能力，加以排序，并用于对新的文档进行分类。档进行分类。6.4数据挖掘技术的发展文档聚类分析文档聚类分析文文档档聚聚类类是是把把文文档档集集分分成成不不同同组组的的自自动动过过程程。没没有有预预先先定定义义好好主主题题类类别别，它它的的目目标标是是将将文文档档集集合合分分成成若若干干个个组组，要要求求同同一一组组内内文文档档内内容容的的相相似似度度尽尽可可能能大大，而而不不同同组组间间的的相相似似度度尽尽可可能能小小

25、。当当文文档档的的内内容容作作为为聚聚类类的的基基础础时时，不不同同组组是是对对应应于于集集合合中中讨讨论论的的不不同同主主题题或或论论题题。因因此此，聚聚类类是是找找出出集集合合所所含含内内容容的的一一条条途途径径。为为帮帮助助识识别别出出一一组组主主题题，聚聚类类工工具具可可以以识识别别出出在在此此组组文文档档中中频频繁繁出出现现的的术术语语或或词词的的列列表表。聚聚类类也也能能根根据据文文档档的的属属性性集集实实施施，例例如如它它们们的的长长度度、日期等进行聚类。日期等进行聚类。6.4数据挖掘技术的发展文本挖掘的应用文本挖掘的应用利用文本挖掘构造的电子邮件路由，可以对电子邮件进行文本挖掘

26、以利用文本挖掘构造的电子邮件路由，可以对电子邮件进行文本挖掘以后，确定由哪一个部门、哪一个人来处理这些电子邮件，并可以根据后，确定由哪一个部门、哪一个人来处理这些电子邮件，并可以根据电子邮件的内容进行相关统计。电子邮件的内容进行相关统计。文本挖掘可以帮助组织对成千上万的文档实现有效的管理，可以使组文本挖掘可以帮助组织对成千上万的文档实现有效的管理，可以使组织很快地了解到所需要查找的文档所在位置，以及其包含的主要内容。织很快地了解到所需要查找的文档所在位置，以及其包含的主要内容。可以利用文本挖掘建立一个客户自动问答系统，对客户所邮寄的信件、可以利用文本挖掘建立一个客户自动问答系统，对客户所邮寄的

27、信件、电子邮件进行文本挖掘以后，根据其反映的主要问题，能够确定客户电子邮件进行文本挖掘以后，根据其反映的主要问题，能够确定客户的需求置信度后，就可以自动给客户发送合适的回信。的需求置信度后，就可以自动给客户发送合适的回信。企业并且还可以利用联机文本挖掘系统对因特网上所出现的特定词、企业并且还可以利用联机文本挖掘系统对因特网上所出现的特定词、概念、主题进行挖掘统计，对市场进行客观的统计分析。概念、主题进行挖掘统计，对市场进行客观的统计分析。企业甚至可以利用一些具有文本挖掘功能的自动智能网络爬虫来收集企业甚至可以利用一些具有文本挖掘功能的自动智能网络爬虫来收集与企业有关的市场、竞争对手和市场环境的

28、信息，给出总结性的分析与企业有关的市场、竞争对手和市场环境的信息，给出总结性的分析报告。报告。6.4数据挖掘技术的发展6.4.2 Web挖掘技术挖掘技术1.Web的特点的特点Web的庞大性、的庞大性、Web的动态性、的动态性、Web的异构性、非结构化的异构性、非结构化的数据结构、用户群体多种多样的数据结构、用户群体多种多样2.Web内容挖掘内容挖掘基于文本信息的挖掘基于文本信息的挖掘和通常的平面文本挖掘比较类似。和通常的平面文本挖掘比较类似。Web文档多为文档多为HTML、XML等语言，等语言，因此可以利用因此可以利用Web文档中的标记，如文档中的标记，如、等额外信等额外信息，利用这些信息来提

29、高息，利用这些信息来提高Web文本挖掘的性能。文本挖掘的性能。在对在对Web文档进行分类分析中，可以基于一组预先分类好的文档，从文档进行分类分析中，可以基于一组预先分类好的文档，从预定义好分类目录中为每一文档赋予一个类标签。例如，预定义好分类目录中为每一文档赋予一个类标签。例如，Yahoo!的文档和其相关文档可以作为训练集，用于导出的文档和其相关文档可以作为训练集，用于导出Web文档的分类文档的分类模式，这一模式可以用于对新的模式，这一模式可以用于对新的Web文档加以分类。由于超链接文档加以分类。由于超链接包含了有关页面内容的高质量信息，因此，可以利用这些信息对包含了有关页面内容的高质量信息，

30、因此，可以利用这些信息对Web文档进行分类。这种分类比基于关键字的分类方法要更准确、文档进行分类。这种分类比基于关键字的分类方法要更准确、更完美。更完美。6.4数据挖掘技术的发展基于多媒体信息的挖掘基于多媒体信息的挖掘基于音频的挖掘、基于图片的静态图像的挖掘和基于视频的动态图像挖掘。基于音频的挖掘、基于图片的静态图像的挖掘和基于视频的动态图像挖掘。3.Web结构挖掘结构挖掘从从WWW的组织结构和链接关系中推导知识的组织结构和链接关系中推导知识 有有助助于于用用户户找找到到相相关关主主题题的的权权威威站站点点，并并且且可可以以指指向向众众多多权权威威站站点点的的相关主题站点。相关主题站点。从从一

31、一个个页页面面指指向向另另一一个个页页面面的的超超链链接接。超超链链接接包包含含了了大大量量人人类类潜潜在在的的语语义义，它它有有助助于于自自动动分分析析出出权权威威性性语语义义。当当一一个个Web页页面面的的作作者者建建立立起起指指向向另另一一页页面面的的指指针针时时，这这就就可可以以看看作作是是作作者者对对另另一一页页面面的的注注解解，也也就就是是对对另另一一页页面面的的认认可可。把把一一个个页页面面的的来来自自与与不不同同作作者的注解收集起来，就可以用来反映页面的重要性。者的注解收集起来，就可以用来反映页面的重要性。Hub页页面面是是指指一一个个或或多多个个Web页页面面，它它提提供供了

32、了指指向向权权威威页页面面的的链链接接集集合合。对对于于一一个个Hub页页面面来来说说，它它本本身身可可能能并并不不突突出出，但但是是，它它却却提提供供了了指指向向某某个个话话题题的的权权威威页页面面的的链链接接。好好的的Hub是是指指向向许许多多好好的的权权威威页页面面；好好的的权权威威页页面面是是指指有有好好的的Hub页页面面指指向向的的页页面面。用用Hub页页面面和和权权威威页页面面之之间间的的这这种种相相互互作作用用来来用用于于权权威威页页面面的的挖挖掘掘和高质量和高质量Web结构和资源的自动发现。结构和资源的自动发现。6.4数据挖掘技术的发展4.Web使用记录的挖掘使用记录的挖掘通通

33、过过挖挖掘掘Web日日志志文文件件和和相相关关数数据据，发发现现用用户户访访问问Web页页面面的的模式。模式。Internet的的用用户户一一旦旦连连接接到到一一个个在在线线的的服服务务器器上上，就就在在服服务务器器上上的的日日志志文文件件留留下下了了所所请请求求的的URL，发发出出请请求求的的IP地地址址和和时时间间戳戳。这这些些日日志志纪纪录录提提供供了了Web数数据据挖挖掘掘源源，可可提提取取有有关关用用户户的的知知识识：用用户户的的访访问问行行为为、频频度度、内内容容，得得到到关关于于用用户户的的行行为为和和方方式式模模式式。改改进进站站点点的的结结构构，或或为为用用户户提提供供个个性

34、性化化服服务务。这这方方面面的的研研究究主主要要有有两两个个方方向向：一一般般的的访访问问模模式式追追踪踪和和个个性性化化的的使使用用纪纪录录追追踪踪。一一般般的的访访问问模模式式追追踪踪通通过过分分析析使使用用纪纪录录来来了了解解用用户户的的访访问问模模式式和和倾倾向向，从从而而改改进进站站点点的的组组织织结结构构。而而个个性性化化的的使使用用纪纪录录追追踪踪则则倾倾向向于于分分析析单单个个用用户户的的偏偏好好，其其目目的的是是根根据据不不同同用用户户的的访访问问模模式式，为为每每个个用用户户提提供供个个性性化化的的页页面面，开开展展有有针针对对性性的的服务以满足用户的需求。服务以满足用户的

35、需求。6.4数据挖掘技术的发展数据预处理阶段数据预处理阶段包括数据清洗和事务识别两个部分包括数据清洗和事务识别两个部分模式识别阶段模式识别阶段采用统计法、机器学习等技术，从采用统计法、机器学习等技术，从Web使用记录中挖掘知识使用记录中挖掘知识模式分析阶段模式分析阶段模式分析，辅助分析人员理解模式分析，辅助分析人员理解5.Web数据挖掘的应用数据挖掘的应用电子商务、网站设计和搜索引擎服务等多方面。电子商务、网站设计和搜索引擎服务等多方面。电电子子商商务务的的应应用用主主要要有有客客户户分分类类和和客客户户聚聚类类、寻寻找找潜潜在在的的客客户户、客客户户的的驻驻留留。网网站站设设计计的的应应用用

36、是是有有效效地地组组织织网网站站信信息息，把把握握用用户户的的兴兴趣趣，有助于开展网站信息推送服务以及个人信息的定制服务。有助于开展网站信息推送服务以及个人信息的定制服务。搜搜索索引引擎擎服服务务：实实现现对对网网页页的的聚聚类类、分分类类，实实现现网网络络信信息息的的分分类类浏浏览览与与检检索索；通通过过用用户户所所使使用用的的提提问问式式(query)历历史史记记录录分分析析，提提高高用用户户的的检索效果检索效果(查全率、查准率查全率、查准率)。6.4数据挖掘技术的发展6.4.3 可视化数据挖掘技术可视化数据挖掘技术1.数据的可视化数据的可视化2.可视化数据挖掘技术可视化数据挖掘技术数据可

37、视化数据可视化数据挖掘结果可视化数据挖掘结果可视化数据挖掘过程可视化数据挖掘过程可视化交互式可视化数据挖掘交互式可视化数据挖掘图12.4数据的可视化图12.5数据挖掘结果可视化图12.6数据挖掘结果的3D图形6.4数据挖掘技术的发展6.4.4 空间数据挖掘空间数据挖掘1.地理信息系统地理信息系统地理信息系统概念地理信息系统概念地理信息系统的特点地理信息系统的特点2.数据挖掘技术和地理信息系统相结合数据挖掘技术和地理信息系统相结合3.地理信息系统的数据挖掘特点地理信息系统的数据挖掘特点图形化数据挖掘图形化数据挖掘图形化统计查询图形化统计查询图形化报表输出图形化报表输出专业的地理分析功能专业的地理

38、分析功能4.空间数据挖掘空间数据挖掘5.空间数据挖掘用途空间数据挖掘用途6.4数据挖掘技术的发展6.4.5 分布式数据挖掘分布式数据挖掘1.分布式数据挖掘分布式数据挖掘2.适合水平式数据划分的分布式挖掘方法适合水平式数据划分的分布式挖掘方法SQL查询查询结果结果用户查询图6.7PADMA体系结构数据挖掘代理元数据数据挖掘代理协调器应用WW用户接口磁盘磁盘6.4数据挖掘技术的发展6.4.5 分布式数据挖掘分布式数据挖掘3.适合垂直式数据划分的分布式数据挖掘方法适合垂直式数据划分的分布式数据挖掘方法图6.8 CDM的体系结构数据站点A数据站点B数据站点C分布式数据挖掘代理分布式数据挖掘代理分布式数据挖掘代理A局部模型B局部模型C局部模型协调器全局数据模型