(本科）第10章web数据挖掘教学ppt课件.ppt

《(本科）第10章web数据挖掘教学ppt课件.ppt》由会员分享，可在线阅读，更多相关《(本科）第10章web数据挖掘教学ppt课件.ppt（93页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、(本科）第10章 web数据挖掘教学ppt课件LOGO第十章第十章 webweb数据挖掘数据挖掘第十章第十章 webweb数据挖掘数据挖掘Web数据挖掘概述数据挖掘概述1Web内容挖掘内容挖掘2Web结构挖掘结构挖掘3Web使用挖掘使用挖掘4Web数据挖掘的应用数据挖掘的应用5Web数据挖掘的研究热点与发展趋势数据挖掘的研究热点与发展趋势6随着互联网的快速发展，特别是Web技术的发展，使互联网获得越来越广泛的应用，这样的应用让互联网上留存了海量的数据信息。 （1)检索技术，如搜索引擎，可以帮助人们尽快地找到所需要的信息，但是目前多数搜索引擎是基于分类或者关键词逻辑匹配的检索方式，用户的一个查询

2、请求往往会检索出一个庞大的结果集，而用户所需要的信息却只是其中的小部分。面对如此多的检索结果，用户仍然不知所措。而Web数据挖掘能够挖掘隐藏在信息背后的知识，能够提供满足用户需求的信息。因此，Web数据挖掘的产生与发展变得尤为必要。（2)随着互联网的普及，电子商务也在蓬勃发展，开展电子商务的企业面临着极大挑战，即如何对用户的注册信息、浏览信息、历史购买记录等数据信息进行有效的组织利用，从而了解用户的兴趣爱好、行为模式等，以优化网站结构、发掘潜在用户、为用户提供个性化服务等。这些挑战也在推动着Web数据挖掘的发展。一、一、WebWeb数据挖掘的产生数据挖掘的产生10.1 web10.1 web数

3、据挖掘概述数据挖掘概述10.1 web10.1 web数据挖掘数据挖掘二、二、WebWeb数据挖掘的概念数据挖掘的概念定义： Web数据挖掘是指从大量Web文档的集合C中发现隐含的模式P，如果将C看作输入，将P看作输出，那么Web数据挖掘的过程就是从输入到输出的一个映射：CP。Oren Etioni在1996年首次提出Web数据挖掘这一概念。Web数据挖掘是数据挖掘技术在Web领域中的应用，并与Web技术相结合的产物，涉及到Web技术、数据挖掘、人工智能以及统计学等多个领域。 10.1 web10.1 web数据挖掘概述数据挖掘概述三、三、WebWeb数据挖掘的特点数据挖掘的特点异构的数据库环

4、境半结构化的数据结构Web数据挖掘对象的海量性与动态性Web上存在着海量的信息，而且以极快的速度增长，信息在每时每刻都在不断发生着更新与变化。 Web上的数据非常复杂，没有特定的模型描述，每一站点的数据都各自独立设计，并且数据本身具有自述性和动态可变性，因而Web上的数据具有一定的结构性，但因自述层次的存在，从而是一种非完全结构化的数据，也被称为半结构化数据。 Web上每个站点就是一个数据源，而每个站点的信息组织方式通常不一样，因此每个数据源都是异构的，这样就构成了一个巨大的异构数据库环境。 10.1 web10.1 web数据挖掘概述数据挖掘概述四、四、WebWeb数据挖掘与半结构化数据数据

5、挖掘与半结构化数据1、结构化数据：是指组织结构清晰的数据，如传统的数据库数据，因为存储在数据库中的数据是以严格的格式表示的。2、非结构化数据是指完全无结构、松散的数据，无法用数字或统一的结构表示，如声音 、图像、视频等多媒体数据。3、半结构化是相对于结构化和非结构化而言的，互联网上存在的数据既不是完全结构化的，因为互联网上的数据非常复杂，没有特定的模型描述，但也不是完全非结构化的，因为互联网上的网页信息中包括HTML或XML标签，页面具有一定的描述层次，存在一定的结构，也包括文本信息，所以我们将它称为半结构化的数据。10.1 web10.1 web数据挖掘概述数据挖掘概述半结构化数据的数据模型

6、半结构化数据的数据模型 Web数据挖掘的对象就是半结构化数据，没有特定的模型描述。Web数据挖掘技术首要解决问题是建立半结构化数据源模型，其次是半结构化数据模型的查询与集成问题。因此，针对Web上的数据半结构化的特点，建立一个具有很好适应性的半结构化的数据模型是解决问题的关键。 目前，对半结构化数据及其模式主要有五种描述方法：基于图的描述形式、基于树的描述形式、基于逻辑的描述形式、基于关系的描述形式以及基于对象的描述形式。基于图的描述形式一般对半结构化数据采用标记有向图(labeled directed graph)来表示，其中最有代表性的是OEM(Object Exchange Model)

7、模型即对象交换模型。 一般地，一个OEM对象表示为：即OEM对象由4部分组成：对象的标识OID，标签Lable，类型Type，值Value。其中四部分的含义分别为：（1）OID(Object ID)：为对象标识，唯一标识一个OEM对象。（2）Label：为标签，是用来描述对象的字符串。（3）Type：是对象值的类型。有些对象属于原子类型，包含最基本的原子数据类型如整数、实数、字符串类型等；有些对象属于复杂类型，它们的值是对象引用的集合，如set和list类型等。（4）Value：是对象的值。OIDLabelTypeValue10.1 web10.1 web数据挖掘数据挖掘10.1 web10.

8、1 web数据挖掘概述数据挖掘概述例1：是一个简单的原子对象，其中标识OID 为空，person-name为标签，表示人名，string为对象类型为整型，Mike为具体的值。 例2：a1 is a2 is 这是一个包含2个子对象的复杂对象，该对象为set类型，标签为employee-record，每个子对象有各自的标签、类型和值。10.1 web10.1 web数据挖掘概述数据挖掘概述在OEM模型中，对象对应节点，对象与对象的关系以带标签的边表示。 1 2 3company employeeemployeeemployeedepartmentnamenamedepartmentJimHRJac

9、kAccountant10.1 web10.1 web数据挖掘概述数据挖掘概述五、五、WebWeb数据挖掘流程数据挖掘流程采集数据 数 据 预 处 理 模 式 发 现模式分析10.1 web10.1 web数据挖掘概述数据挖掘概述采集数据即从外部的Web 环境中有选择地获取数据，为后面的数据挖掘提供资源。Web数据挖掘的数据源主要有：（1）服务器日志（2)Cookie（3）表单或用户注册数据 （4)电子商务站点交易数据1 1、采集数据、采集数据 Cookie是用户访问站点时由Web服务器传递到用户浏览器的少量信息，详细描述了访问者访问站点时浏览了哪些地方，当访问者下次再访问同一网站时，Cook

10、ie会自动识别用户。利用cookies可以跟踪统计用户访问该网站的习惯，比如什么时间访问，访问了哪些页面，在每个网页的停留时间等。 主要是访问者在进入站点时注册提供的个人信息如姓名、地址、出生日期、性别以及职业等，为Web挖掘提供重要的数据。WebWeb数据挖掘的数据源数据挖掘的数据源10.1 web10.1 web数据挖掘概述数据挖掘概述电子商务站点的交易数据记录了大量的客户历史交易数据，根据历史交易记录，可以挖掘客户的行为模式和兴趣爱好，从而向客户推荐相关的商品，提高客户的满意度。电子商务站点交易数据服务器日志包括访问日志和引用日志。访问日志记录Web浏览中点击以及每次执行成功或失败的请求

11、。引用日志是Web服务器上的日志文件，包含访问者的访问位置和引入Web站点的关键词或路径。 10.1 web10.1 web数据挖掘概述数据挖掘概述例如，在数据清理过程中，Web数据挖掘一般要去除ROBOT或SIPDER请求以及一些错误请求等；在研究用户浏览模式的日志记录中，需要识别每一位用户的浏览记录以及每一位用户的不同会话时段，因此必须对采集的数据记录根据用户和会话时段的不同，进行数据的归类集成。2 2、数据预处理、数据预处理与传统数据挖掘一样，web数据挖掘在进行挖掘之前也需要进行数据预处理，包括数据清理，数据集成，数据转换与数据约简。10.1 web10.1 web数据挖掘概述数据挖掘

12、概述3.3.模式发现模式发现模式发现是数据挖掘系统的核心部分，主要是运用各种数据挖掘技术，从海量的经过预处理的数据中提取出潜在的、有效且能被人理解的知识模式。Web数据挖掘结合传统数据挖掘技术和Web挖掘技术来进行模式发现。4.4.模式分析模式分析对发现的模式进行解释和评估，必要时需返回前面处理中的某些步骤以反复提取，最后将发现的知识以能理解的方式提供给用户。可以是机器自动完成，也可以是与分析人员进行交互来完成。10.1 web10.1 web数据挖掘概述数据挖掘概述六、六、WebWeb数据挖掘的分类数据挖掘的分类Web数据挖掘Web内容挖掘Web结构挖掘Web使用挖掘 文本 挖掘 多媒 体挖

13、 掘 文档 间超 链接 挖掘 内部 结构 挖掘 一般 访问 模式 跟踪 个性 化的 使用 记录 跟踪Web内容挖掘内容挖掘 Web内容挖掘是指从Web上的文件内容及其描述信息中获取潜在的、有价值的知识或模式的过程。 根据挖掘的对象是文本文档还是多媒体文档，Web内容挖掘又可以分为WebWeb文本挖掘文本挖掘和WebWeb多媒体挖掘多媒体挖掘。 Web文本挖掘可以对Web上大量的文档集合的内容进行总结、分类、聚类、关联分析以及利用Web文档进行趋势分析等。 Web 多媒体挖掘主要是指通过对 Web上的音频、视频数据和图像进行预处理，运用挖掘技术挖掘其中潜在的、有价值的信息和模式的过程。 10.1

14、 web数据挖掘概述数据挖掘概述Web Web 结构挖掘结构挖掘 Web结构挖掘是对Web 文档之间的链接结构以及页面内部结构进行挖掘。 Web结构包括不同网页之间的超链接结构和一个页面内部的树形结构，以及文档URL中的目录路径结构等。 通过Web结构挖掘可以从Web的组织结构以及引用和被引用间的链接关系中得到知识，利用这些知识可以对页面进行排序，发现重要的、权威的页面等。Web结构挖掘在网站优化中也有着重要作用，可以评价和分析网页的质量，也有助于优化网页的链接设计，减少不合理的链接。 10.1 web数据挖掘概述数据挖掘概述Web Web 使用挖掘使用挖掘 Web使用挖掘是对用户访问Web时

15、在服务器上留下的访问记录进行挖掘，以发现用户的访问模式。 Web使用挖掘的数据源主要有Web服务器日志、浏览器日志和交易记录等。 通过用户的访问记录挖掘可以发现用户的行为模式，从而可以为用户提供个性化推荐服务，也可以改进站点结构。10.1 web数据挖掘概述数据挖掘概述10.1 web10.1 web数据挖掘概述数据挖掘概述三类Web挖掘比较如下表： Web挖掘种类Web内容挖掘 Web结构挖掘 Web使用挖掘 数据文本文档多媒体数据 链接结构Web服务器日志浏览器日志交易记录数据特征非结构化半结构化 链接结构 交互式数据方法分类聚类关联规则PageRank算法HITS算法关联规则聚类分析分类

16、分析序列模式挖掘应用领域 自动摘要 文档自动分类 站点优化站点优化网络销售用户建模推荐系统10.2 web10.2 web内容挖掘内容挖掘一、一、WebWeb文本挖掘文本挖掘Web 文本挖掘是以计算语言学、统计数理分析为理论基础，结合机器学习和信息检索技术，从大量的文本数据中发现和提取隐含的、事先未知的知识，最终形成用户可理解的、有价值的信息和知识的过程。 在Web 文本挖掘中，文本的特征表示和提取是挖掘工作的基础，而文本的分类分析和聚类分析是最重要、最基本的挖掘功能。 10.2 web10.2 web内容挖掘内容挖掘1 1、WebWeb文本挖掘的一般过程文本挖掘的一般过程Web文本挖掘的一般

17、过程为：文本采集、文本预处理、文本挖掘方法实施和挖掘结果展示，如图所示：Web文本采集文本预处理文本库文 本 特征库文本分类文本聚类挖 掘 结果展示10.2 web10.2 web内容挖掘内容挖掘2、分词技术、分词技术 对文档进行特征表示和提取前，先要对文本信息进行预处理，即进行词汇分析，把文档中的文本转换为词。中文分词方法有多种，大致可以分为基于词库的分词方法、基于统计的分词方法以及二者相结合的方法。基于统计的分词方法基于统计的分词方法这种方法的基本思想是统计字串出现的频率来判断该字串是不是词，相邻的字同时出现的次数越多，就越有可能构成一个词。该方法能够解决基于词库分词方法的缺陷，可以有效提

18、取未被录入的词。但基于统计的分词方法也有自身的缺点即不够准确，有的字串不是词，但因为出现频率很高，也会被提取出来，识别精度较差。基于词库的分词方法基于词库的分词方法其基本思想是建立词库，其中包含所有可能出现的词。给定的待分词的汉字串S，按照某种确定的原则切取S的子串，若该子串与词库中的某词条相匹配，则该子串是词，继续分割其余的部分，直到剩余部分为空；否则，该子串不是词， 转上重新切取S的子串进行匹配。匹配方法包括正向最大匹配、正向最小匹配、逆向匹配及逐词遍历匹配法等。这种方法设计简单，易于实现，但因为必须以词库为基础，对于未录入词库的词则无法切分，因此不具备自适应性。 10.2 web10.2

19、 web内容挖掘内容挖掘3、web文本的特征表示文本的特征表示 与数据库中的结构化数据相比，Web文档是半结构化或非结构化的数据。文本信息源的这些特征使得现有的数据挖掘技术无法直接应用于其上，需要对文本进行预处理，抽取其特征并用结构化的形式保存，作为文档的中间表示形式。 特征表示是指以一定的特征项（如词条或描述）来代表文档信息。文本特征指的是关于文本的元数据，分为描述性特征和语义性特征。描述性特征，例如文本的名称、日期、大小、类型等易于获得；语义性特征，例如文本的作者、机构、标题、内容等则较难得到。W3C(World Wide Web Consortium，万维网联盟)近来制定的XML、RDF

20、等规范提供了对Web 文档资源进行描述的语言和框架，在此基础上，我们可以从半结构化的Web文档中抽取作者、机构等特征。特征表示模型特征表示模型 特征表示模型有多种，常用的有布尔逻辑型、向量空间型、概率型等。近年来应用较多且效果较好的特征表示法是向量空间模型（Vector Space Model，VSM）法。在VSM法中，将文本文档看成是一组词条（T1，T2，Tn）构成，对于每一词条Ti，都根据其在文档中的重要程度赋予一定的权值Wi，可以将其看成一个n维坐标系，W1，W2，Wn为对应的坐标值，因此，每一篇文档都可以映射为由一组词条矢量组成的向量空间中的一点，对于所有待挖掘的文档都用词条特征矢量（

21、T1，W1，T2，W2，Tn，Wn）表示。 10.2 web内容挖掘内容挖掘10.2 web10.2 web内容挖掘内容挖掘4、web文本特征提取文本特征提取 对Web文本中出现的词条Ti及其权值Wi的选取称为特征提取。特征提取主要是识别文本中词项的意义，提取过程是自动的，而且提取的多数是文本集中表示的概念，从文本的内容抽取出来一些能代表文本内容的词条，通过分析这些特征词，达到分析 Web 文本内容的目的。特征项选取的原则有以下几条：（1）特征项应具备完全性和区分性。完全性是指特征项能够确实表示目标内容。区分性是指特征项能够将目标同其他文档区分。（2）词、词组、短语适合作特征项。（3）虚词不适

22、合作特征项，如中文中的虚词“的”，英文中的虚词“a”、“the”不适合作特征项。（4）稀有词不适合作特征项。 （5）词频平均的词条不适合作特征项。文本分类是一种典型的有指导的机器学习方法，是文本挖掘的一个核心。文本分类是按照预先定义的分类模型，为文档集合中的每个文档确定一个类别，使得用户不但能够方便地浏览文档，而且可以通过限制搜索范围来使文档的查找更为容易。5 5、文本分类、文本分类10.2 web内容挖掘内容挖掘10.2 web10.2 web内容挖掘内容挖掘文本分类的过程文本分类的过程文本分类一般可分为训练和分类两个阶段，训练阶段即建立分类模型，分类阶段即根据分类模型进行分类，具体过程如下

23、: （1）训练阶段 首先定义类别集合 C =(c1 ， c2 ， ci ，cm )，这些类别可以是层次式，也可以是并列式；然后给出训练文档集合S = (s1 ，s2 ，si，sn ) ，每一个训练文档都被标上所属的类别标识ci； 提取训练文档集合S中所有文档的特征矢量V(si)，并采用一定原则来确定代表C中每一个类别的特征矢量V(cj)；10.2 web10.2 web内容挖掘内容挖掘文本分类的过程文本分类的过程（2）分类阶段对于测试文档集合T=(d1，d2 ， dk dr )中的每一个待分文档dk ，计算其特征矢量V(dk)与每一个V(cj)之间的相似度sim(dk，cj)，最常用的方法就是

24、考虑两个特征矢量之间的夹角的余弦 ，即 sim(dk ，cj) = 选取相似度最大的一个类别作为dk的类别。如果dk 与所有的类别的相似度均低于阈值，那么通常将该文档放在一边，由用户来做最终的决定。当经常出现类别与预定义类别不匹配的文档时，则说明需要修改预定义类别，然后再重新进行上述训练与分类过程。)()()()(jkjkcVdVcVdV10.2 web10.2 web内容挖掘内容挖掘6、文本聚类、文本聚类文本聚类是一种典型的无指导的机器学习方法。文本聚类是指把一组对象结合按照相似性归成若干类别。与分类有所不同，聚类没有预先定义好主题类别标记，需要由聚类学习算法自行确定，其目标是将文档集合分成

25、若干个簇，要求同一簇内文档内容的相似度尽可能地大，而不同簇间的相似度尽可能地小，即“物以类聚”。可以按照文档内容聚类，也可按文档属性聚类。利用文本聚类技术，可以提供大规模文档集内容的总括，识别隐藏的文档间的相似度，减轻浏览相关、相似信息的过程，如将搜索引擎的检索结果划分为若干个簇，用户只需考虑那些相关的簇，大大缩小了所需要浏览的结果数量。目前的文本聚类方法大致可以分为层次凝聚法和平面划分法两种类型。10.2 web10.2 web内容挖掘内容挖掘层次凝聚法对于给定的文档集合D =d1， ， di， ， dn， 层次凝聚法的具体过程如下: 将D 中的每个文档di 看作是一个具有单个成员的簇ci=

26、di， 这些簇构成了D 的一个聚类C =c1， ， ci， ， cn； 计算C 中每对簇(ci， cj ) 之间的相似度sim (ci， cj ) ； 选取具有最大相似度的簇对， 并将ci 和cj 合并为一个新的簇ck= cicj ， 从而构成了D 的一个新的聚类C= c1， ， cn-1 ； 重复上述步骤， 直至C 中剩下一个簇为止。该过程构造出一棵生成树，其中包含了簇的层次信息，以及所有簇内和簇间的相似度。层次聚类方法是最为常用的聚类方法，它能够生成层次化的嵌套簇， 且准确度较高。但是，在每次合并时，需要全局地比较所有簇之间的相似度，并选择出最佳的两个簇，因此运行速度较慢，不适合于大量文档

27、的集合。10.2 web10.2 web内容挖掘内容挖掘平面划分法对于给定的文档集合D =d1， ， di， ， dn， 平面划分法的具体过程如下：确定要生成的簇的数目k；按照某种原则生成k 个聚类中心作为聚类的种子S = (s1 ，s2 ，si，sn )；对D 中的每个文档di，依次计算它与各个种子sj 的相似度sim (di， sj ) ；选取具有最大相似度的种子 ， 将di 归入以sj 为聚类中心的簇cj ，从而得到D 的一个聚类C= c1， ， cn-1 ；重复步骤、若干次， 以得到较为稳定的聚类结果。该方法的运行速度较快， 但是必须事先确定k 的取值，且种子选取的好坏对聚类结果有较大

28、影响。 文档的相似性计算文档的相似性计算 文档词条 d1d2d3d4d5d6d7t13218431681231334t2354917189235658t31532167109349867t42214372362256246t57487855735126121每一文档词频的词频矩阵每一文档词频的词频矩阵Sim（di，dj）=djdidjdi 10.2 web10.2 web内容挖掘内容挖掘二、二、WebWeb多媒体数据挖掘多媒体数据挖掘与文本挖掘不同，文本挖掘的对象是文本信息，多媒体数据挖掘的对象是图像、视频和音频等多媒体数据。由于多媒体数据的内容特征如时间、空间特征和视听特征等，和一般关系数据

29、库中数据的特征在许多方面都不同，因此一些传统的数据挖掘方法不能直接采用，需要研究适合于多媒体数据的新的挖掘方法和技术。目前，多媒体数据的挖掘研究处于探索阶段，图像挖掘的研究相对较多，可以用于医学诊断、天文气象分析等。图像挖掘图像挖掘图像挖掘就是从大量的图像数据中发现有意义的模式的过程。图像数据挖掘的一个十分关键的问题是图像数据本身的表示问题。这也是图像处理和模式识别的关键。一般说来，可以用颜色、纹理、形状和运动向量等基本特征来表示图像的基本特征。图像挖掘可以是从图像中提取元数据，然后在元数据的基础上进行数据挖掘，或者直接对图像进行挖掘，但直接对图像进行挖掘这一技术还在研究中。图像挖掘的结果可以

30、是关联规则、图像聚类、图像分类，也可以是检测异常模式。图像挖掘可以用于为医学、气象学等领域。如美国航空航天局对空间图像和地理图像的挖掘、新加坡国立大学等科研人员在医疗图像上的挖掘等都是图像挖掘的具体应用。10.2 web内容挖掘内容挖掘视频包括丰富的内容特性，除了图像具有的视觉特性和空间特性外，还具有时间特性、视频对象特性和运动特性等。运用视频处理技术，可以将视频按照各种属性如场景、视频对象或运动特性等进行分割，然后进行分类、聚类等操作， 得到视频的结构模式。也可以从视频中提取视频对象，跟踪其运动，结合时间特性分析其模式以及与其他对象之间的关联，从而发现高层次的事件摘要、概念或模式。视频挖掘可

31、以广泛地应用到新闻视频、监控视频等应用中，例如可以从交通监视视频中，提取交通事故的模式，分析交通拥塞的原因、趋势。视频挖掘10.2 web内容挖掘内容挖掘音频是听觉媒体，其主要特征有声强、频率、谐波结构、音调、韵律、音色和音量等。音频挖掘通常有两种途径，一是运用语音识别技术将语音识别成文字，将音频挖掘转换成文本挖掘； 二是直接从音频中提取声音特征，如基音、音调等，对特征进行知识获取。目前，音频挖掘系统主要用于音频检索，例如美国的ScanSoft公司的AudioMining 开发系统，它将音频中的音频信息转换成文字信息，并对文字进行索引，通过用户提交的文字信息索引就可以定位音频的播放位置。音频挖

32、掘10.2 web内容挖掘内容挖掘用户界面多媒体数据数据预处理数据描述媒体库分类聚类关联. . .挖掘功能多维分析数据库数据搜索特征库知识库多媒体挖煤系统体系结构多媒体挖煤系统体系结构搜索到的多媒体数据可能存在许多脏数据和已破坏了的数据，如极不清晰图片，质量极差的视频，已遭破坏的图像、视频、音频等，这些数据会使挖掘过程陷入混乱，导致不可靠的输出为了提供挖掘子系统“干净”的数据，需要对采集来的原始数据进行大量的预处理工作，包括数据清理、数据选择、数据变换和数据集成等。例如，有关图像、视频、声音等多媒体数据的维度一般较大，直接进入多媒体数据库必定影响进一步检索和挖掘的效率与正确性，同时也不便于数据

33、分析者理解这些数据的内涵，所以应该在不影响查询要求的情况下尽量简化维度。如图像颜色特征是256维，我们可将颜色特征值减少到64维。（1）多媒体数据预处理10.2 web内容挖掘内容挖掘多媒体数据包含了大量的视听特征，这些特征都是非结构化的，提取这些特征并进行规范化描述是多媒体数据挖掘的基础。对于图像有以下一些主要的特征：颜色、纹理、形状和空间信息等。视频由一系列图像帧组成，因此，从帧的角度看，图像内容分析和特征提取技术可以扩展应用到视频分析中去。但是，仅仅使用这种扩展技术是不够的，因为视频的时基特征，使得视频包含比图像更丰富的内容，例如故事情节、事件和行为等。因此，需要在空间和时间两个方面对视

34、频内容进行分析，对于视频来说还应该包括视频结构特征和运动特征等方面特征的处理和特征提取。对于音频数据主要提取以下特征：声强、频率、谐波结构、音调、音色和音量等。（2）多媒体数据的特征提取10.2 web内容挖掘内容挖掘大型多媒体数据库的多维分析，可以按传统的从关系数据中构造数据立方体的方法，去设计构造出多媒体数据特征空间。多媒体数据特征空间可以有很多维，例如，图像或视频有以下维度：名称、尺寸或大小、建立的时间、格式、关键字、颜色、纹理和形状等。然后在多媒体数据立方体建立的基础上，对数据进行基于内容的多维分析。（3）多维分析10.2 web内容挖掘内容挖掘可以对多媒体数据进行分类、聚类和关联分析

35、等。分类分析是根据一些已知的类标志对多媒体数据分类，其结果是对多媒体数据集的分类特征和每一类特征的描述。如图像可以按照多种属性分类，如颜色、纹理、形状、关键字等。常用的分类方法有贝叶斯分类和神经网络等。多媒体数据的聚类是根据某些属性，将多媒体对象的集合分组成为若干类的过程。聚类分析可以发现全局的模式，获取数据的分布情况，观察每个簇的特点，集中对某些簇作进一步的分析。例如，在医学上，对于医院大量的脑部TC照片，可以通过聚类分析将同一脑部疾病的照片聚集在一起，用于脑部疾病分析和研究；在气象上，聚类可以将大量的卫星云图按照不同的天气情况进行聚类，分析同一类天气情况的特征，以发现有用的模式。多媒体数据

36、的关联规则挖掘是在相关的多媒体对象集中，找到一组关联规则，显示一组对象或特征的模式或相互关系的发生频率。（4）多媒体数据挖掘10.2 web内容挖掘内容挖掘10.3 Web结构挖掘结构挖掘WebWeb总体结构总体结构 Web结构挖掘的基本思想是将Web看成一个巨大的以页面为节点、页面之间超链接为有向边所构成的一个网状结构的有向图，然后利用图论对Web的拓扑结构进行分析，从而可以发现重要页面和权威页面，确定网站结构的合理性。站点AA1A2A3B1站点BA4A5B1一、一、WebWeb的结构的结构10.3 Web结构挖掘结构挖掘WebWeb局部结构局部结构(1)导航页导航页的存在主要是为了链接到其

37、他页面，作用是引导用户更加方便的访问网站内容。用户不必在导航页上停留太多的时间，但却频繁地访问该页面，导航页能帮助用户很容易找到想要访问的页面。（2）目标页目标页给浏览者提供所需要的内容，浏览者通常花费大量的时间在目标上，目标页一般是固定的。 Web结构挖掘的算法一般可分为查询相关算法和查询无关算法两类。PageRankPageRank算法算法和HITS(Hypertext Induced Topic Search)HITS(Hypertext Induced Topic Search)算法算法分别是查询无关算法和查询相关算法的代表。这些算法已经在实际的系统中实现和使用，并且取得了良好的效果。

38、二、二、WebWeb结构挖掘算法结构挖掘算法10.3 Web结构挖掘结构挖掘10.3 Web结构挖掘结构挖掘1 1、PageRank PageRank 算法算法该算法由Brin和Page提出，是最早利用超链接信息进行Web挖掘的算法，也是在商业应用中最成功的一种算法，被搜索引擎采用。 该算法的基本思想如下：该算法的基本思想如下： （1）一个页面被多次引用，则这个页面很可能是重要的；（2）一个页面尽管没有被多次引用，但被一个重要页面引用，则这个页面很可能也是重要的；（3）一个页面的重要性被平均分布并被传递到它所引用的页面。 10.3 Web结构挖掘结构挖掘PageRankPageRank算法描述

39、如下：算法描述如下： PR(A) = 1-e+ e* (PR(T1)/C(T1) + . + PR(Tn)/C(Tn) PR(A)：表示页面A的PR 值；PR(Ti)：表示页面Ti的PR 值，页面Ti链向页面A；C(Ti)：表示页面Ti链出的链接数量；e：阻尼系数，取值在01之间，通常设置为0.85。例如，页面B和C链向页面A，页面B的PR值为6且其链出页面为4个，页面C的PR值为4且其链出页面为2个，则A的PR值为 PR（A）=1-0.85+0.85*（6/4）+0.85*（4/2）=3.125PR(A)值越大，该页面权威性越高。该算法与用户查询条件无关，只是给出每一页面的等级值，作为搜索引

40、擎搜索结果排序的一个参考值，等级越高的页面排序越靠前。PageRank(PR) 是 Google 对网页重要性的评估。PR值的提高可有效提升网页在Google搜索引擎中的页面排名。可以查询网站的PR值。10.3 Web结构挖掘结构挖掘2 2、HITS HITS 算法算法 1999年Kleinberg 提出HITS（Hypertext Induced Topic Search）算法。他认为页面的重要性应该建立在用户查询条件的基础上， Web页面具有两个方面的属性，一是权威性(Authority)，即被其他页面指向的属性；另一个为枢纽性(Hub)，即指向其他页面的属性。 在HITS中，Author

41、ity页面是那些与给定查询的上下文最为相关并最具有权威性的页面；而Hub页面则是那些本身的内容虽然未必具有权威性，但却包含了多个指向Authority的超链接的页面。 例如：Google、Baidu、Yahoo!、sogou、soso等这些搜索引擎相对于主题“搜索引擎”来说就是权威网页(authority)，因为这些网页会被大量的超链接指向。这个页面链接了这些权威网页(authority)，则这个页面可以称为主题“搜索引擎”的中心网页(hub)。HITS算法发现，在很多情况下，同一主题下的权威网页(authority)之间并不存在相互的链接。所以，权威网页(authority)通常都是通过中心

42、网页(hub)发生关联的。Hub页面是基于这样一种观察提出来的:一个有许多指向链接的页面不一定是Authority页面，除非那些指向它的页面也指向许多其它的Authority页面，一个Hub页面就是将同一个主题的许多Authority页面都拉到了一起。10.3 Web结构挖掘结构挖掘10.3 Web结构挖掘结构挖掘Hub页面Authority页面Hub页面与Authority页面的关系一个好的Authority页面就是有许多好的hub页面指向的页面，而一个好的Hub页面就是指向了许多好的Authority页面的页面，这种Hub 和Authority之间的相互作用可用于权威页面的挖掘和高质量We

43、b结构和资源的自动发现。10.3 Web结构挖掘结构挖掘HITS 算法的内容如下:将查询q 提交给普通的基于相似度的搜索引擎，搜索引擎返回很多页面，从中取前n个页面作为根集(Root set) ， 用s表示通过向s中加入被s引用的页面和引用s的页面，将s 扩展成一个更大的集合T，作为基本集(Base set)。首先，为基本集中的每一个页面赋予一个非负的Authority权重ap和非负的Hub权重hp ， 并将所有的a 和h 值初始为同一个常数。Hub 与Authority的权重可按如下公式进行迭代计算:pqqqpha满足(10.1)(10.2)pqqqpah满足其中， qp表示页面q链接到页面

44、p,qp表示页面p链接到页面q。经过大约10 到15 次迭代计算， a 和h 值将趋于稳定， 迭代终止，最后HITS算法输出一组具有较大Hub 权重的页面和具有较大Authority 权重的页面。每次迭代后对ap 和hp 用以下公式进行规范化处理，以保证不变性。(10.3)(10.3)(10.4)(10.4)Tqqppaaa2Tqqpphhh210.3 Web结构挖掘结构挖掘10.4 Web使用挖掘使用挖掘 一、一、WebWeb使用挖掘的数据源使用挖掘的数据源 1 1、服务器端数据、服务器端数据 服务器端数据是Web使用挖掘的重要数据来源，通常这部分数据保存在服务器的Web日志文件中，清楚地记

45、录了网站访问者的浏览行为，分为Serverlogs、Error Logs和Cookies Logs。该日志表示2009年4月17日10点32分46秒来自IP为客户端的用户使用HTTP协议以get方法请求服务器上index.asp网页，访问成功，返回1580字节。 192. 168.0.100 - - 2009 - 04- 17 10: 32: 46 get/ index.asp HTTP/1.0 200 1580客户端IP地址发出请求的客户端的IP地址，在Proxy代理服务器环境下为代理服务器的IP地址。 一般不填写，只有当存取特定的文件和需要鉴别身份时才需要。表示Web服务器接受请求的时间。

46、 10.4 Web使用挖掘使用挖掘一般服务器日志文件主要包括下面几个部分：请求域包括请求方式、URI和请求的协议。常见的请求方法有GET和POST。GET方法从服务器端得到对象，POST方法向Web服务器发送信息。状态域由Web服务器设置，用来指示响应某请求的行为，一般用代码表示，200-299表示成功响应，300-399表示某种程度的重定向，400-499表示错误，500-599表示Web服务器有问题。常见的错误代码为404，表示被请求的文件没有找到。返回域大小表示返回结果的字节数。10.4 Web使用挖掘使用挖掘3 3、代理端数据、代理端数据 2 2、客户端数据、客户端数据代理服务器相当于

47、在客户浏览器和Web服务器之间提供了缓存功能的中介服务器，代理服务器的缓存功能可以减少用户下载网页的时间以及服务器和客户机之间的网络流量。这部分数据类似服务器端数据，记录客户端的请求与服务器的响应情况，包括用户访问日志和在缓存中被访问的页面信息。客户端数据的采集一般需要用户的配合，比如打开Java脚本或Java Applet的允许开关，或者需要用户愿意使用修改过的浏览器软件。Java脚本，Java Applet方法智能解决单用户网站的用户浏览行为，而修改过源代码的浏览器则能收集某个用户在多个网站上浏览的数据。但如何说服用户使用修改过的浏览器作为日常上网的工具是个难题。这部分数据可用于识别特定的

48、用户，客户端数据的采集需要用到远程 Agent（如Java脚本或Java Applet）或者需要修改已有浏览器的源程序代码来增强浏览器软件的数据收集能力。10.4 Web使用挖掘使用挖掘二、二、 WebWeb使用挖掘的过程使用挖掘的过程源数据数据清理用户识别会话识别路径补充事务识别预 处 理 后的数据 关联规则序列分析聚类分析分类分析可视化分析OLAP知识查询机制数据预处理阶段模式发现阶段模式分析阶段10.4 Web使用挖掘使用挖掘1 1、数据预处理阶段、数据预处理阶段 数据预处理阶段通常分为以下几个部分： 数据清理、用户识别、会话识别、路径补充和事务识别等。由于本地缓存、代理服务器、防火墙的

49、存在，使得直接在庞大复杂的Web日志数据上进行挖掘变得十分困难和不准确，因此，有必要对Web日志文件进行预处理，其主要任务是把各种不同的Web使用记录数据抽取和映射为模式发现所需的数据形式。数据清理的任务是去除与挖掘过程不相关的和冗余的日志项，有3种类型的不相关或冗余的数据需要清理，即错误请求、Robots请求和嵌在HTML文件中的附属资源。附属资源附属资源 错误请求错误请求带有“error”或“failure”状态的项，这些请求对挖掘过程是无用的。通过检查请求状态码去除这种请求，如去掉Http状态值为400499和500599请求网页失败的记录。 Robots(也称为Spider)是一种扫描

50、Web站点以抽取其内容的软件工具。Robots自动地扫描一个Web页面的所有超链接。搜索引擎比如Google，周期性地使用Robots获取一个Web站点的所有页面以更新其搜索索引。可以通过查找请求页面“robots.txt”的所有主机去除robots请求。 HTTP协议是一种面向非连接的协议，每次客户连接请求完所要的网页后，服务器会自动与客户断开连接，同时被申请的网页文件连同文件上的图片、声音和脚本代码一起被下载到了客户端。由于Web使用挖掘的主要目的是得到用户行为的信息，因而可以通过检查url后缀名的方法来删除非用户请求的文件记录。比如，所有文件后缀名为gif、jpeg、GIF、JPEG、j