中文微博热门话题挖掘.docx

《中文微博热门话题挖掘.docx》由会员分享，可在线阅读，更多相关《中文微博热门话题挖掘.docx（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、中文微博热门话题挖掘（统计与信息论坛杂志）2014年第六期一、相关理论一话题检测与跟踪技术作为一种主题检索技术，其特点主要在于关注与特定事件主题相关的数据。传统的检索技术是从内容来检索、确定文档的分类，而技术是基于事件，利用分析文档与事件主题联络来获取特定主题信息，它从来源数据流中自动发现主题并把与主题相关的内容联络在一起。的研究任务主要包括五部分：对新闻广播等报道进行切分报道切分，检测未知话题话题检测，跟踪已知话题话题跟踪，检测未知话题初次相关报道初次报道检测以及检测报道间相关性报道关联性检测。二中文分词及词性标注中文分词就是将汉字序列切分成有意义的词，以字为单位，句和段则通过标点等分隔符来

2、划界。目前主流的中文分词算法分为四类：基于字符串匹配的分词，基于理解的分词，基于统计和基于语义的分词。词性标注是根据句子上下文环境给句中的每个词标记一个正确的词性，主要是机器针对多标记词即有多种词性的词和未登录词即在训练语料中未出现的词标记词性。词性标注技术与分词技术一样，在自然语言处理、机器翻译、文本自动检索及分类、文字识别、语音识别等实际应用中占有重要地位。目前比拟典型的标注算法归纳起来有：基于规则的方法，基于统计的方法，规则与统计相结合的方法。本文选用的是规则与统计相结合的方法。三向量空间模型向量空间模型，是一个应用于信息过滤、信息撷取、索引评估相关性的代数模型，文本分析对象通常是以词为

3、单位的数据。运用这个模型把文本表示为向量，就能够将文本处理简化为向量空间中的向量运算。当文档转化为向量时，文档中每个词对应向量的每个特征项维度，所有文档中的词所对应的维度构成了整个空间，而特征权重则是每个词对应每一维的取值，于是，一个文档转化为特征向量可表示为：其中是特征项，是特征权重，是文本中的特征项总数。另外，文本中作为特征项的词不能重复，即各特征项互异，且文本的内部构造不需要考虑，因而特征项无先后顺序。四文本聚类算法以欧式距离作为类似性的评价指标，即以为两个对象的距离越近，其类似度就越大，得到紧凑且独立的簇是聚类的最终目的。算法中距离的计算公式如下：第一步，从数据对象中任意选择个对象值需

4、要预先设定作为初始聚类中心。第二步，计算剩下的对象与这些聚类中心的类似度距离，并分别将它们分配给最类似的聚类中心所代表的类。第三步，重新计算每个新类的聚类中心该聚类中所有对象的均值。第四步，不断重复第二、三步，直到标准测度函数开场收敛为止，一般采用均方差作为标准测度函数。该算法在处理大数据集时是相对高效和可伸缩的，计算的复杂度为，其中是数据对象的数目，是迭代的次数一般，同时算法对顺序不太敏感，因而较合适对表示的文本集进行聚类。本文聚类效果的验证采用类平均类似度，公式为：其中表示类的平均类似度；表示类所包含的微博条数；表示类中单条微博文的个体平均类似度，即与类中其余微博文的类似程度之和取平均值。

5、将类中所有微博文的个体平均类似度之和取一次平均值，进而得到类的平均类似度。二、研究设计一识别流程本文基于技术设计出中文微博热门话题识别流程，主要环节如图所示。首先通过微博爬虫系统获取所需的数据，如微博内容、评论数、转发数、受众数等；接着从获取数据中提取话题识别的数据源，利用中文分词处理过滤数据；对预处理后的微博内容中的每个特征词，利用特征词权值计算方法计算特征权重并建立向量空间模型，再利用文本聚类来归纳出多个话题；最后对多个话题的影响力进行计算并分析，通过效果验证识别出热门话题。二热门断定话题影响力设计本文基于微博特点和话题本身，提出热度的断定因素话题影响力。微博热门话题影响力为该话题中单条相

6、关微博内容的影响力总和，单条微博内容的影响力又分为直接影响力和间接影响力。由于用户发表的微博文直接呈现给关注该用户的受众，因而单条微博的直接影响力与该条微博用户的关注人数受众数相关。本文此处只考虑微博评论数与第一层的转发数。定义话题影响力相关计算公式如下：其中为话题的影响力；为该类中与话题相关的微博条数；为单条相关微博内容的影响力。一个话题的影响力为话题中所包含的所有相关微博内容影响力之和。其中为单条相关微博内容的直接影响力；为单条相关微博内容的间接影响力。单条微博的影响力为直接影响力与间接影响力之和。题的影响力为：三、实证分析本文实验数据随机选取了年月日到年月日这天内的微博数据，通过新浪微博

7、接口共爬取微博内容条。根据研究设计的热门话题挖掘流程，对该周内新浪微博热门话题挖掘进行实证研究。一数据预处理首先对微博内容进行文本预处理，即进行去重、分词、无效信息过滤、降维等操作。实验中使用版本的中科院中文分词系统对微博文本进行分词处理，同时标注词性，并过滤微博内容，保留名词及名词性词语，然后将所有的单字过滤，再去除所有的英文字符、数字和一系列数学符号等非中文词，只留下有意义的中文词语。图为关于“年伦敦奥运会期间英国女王出租宫殿套间话题文本示例。二话题识别文本预处理后，针对每条微博内容，利用特征词权值计算方法计算各个单词权重，以构成一个向量空间模型用于聚类。实验中，值在最大值范围内通太多次实

8、验结果验证来选取。经太多次试验，最终将该周的微博内容聚为类，并对各类进行类关键词提取，结果如表所示。以上类中，所提取的关键词具有较强实时性的有个，关键词所包含信息较为日常的类有个。此时若设置类平均类似度阈值为，则恰好包含较强实时信息的个类别。将类平均类似度高于阈值且包含较强实时信息的类定义为一个话题，则从微博内容中发现话题数目为个，分别为类、。三话题影响力排序大多关于热门发现的算法以为，在聚类后出现的热门词频率较高，则该话题即为热门话题。这种原理是基于热门词与话题的附属关系，但却忽略了当话题较分散的情况下聚类也能进行，同时在聚类结果中，可能有些话题只是局部较热的小话题，整体来讲算不上热度很高，

9、因而能够设置一个阈值来区分话题冷热，话题热度本文中以话题影响力来衡量高于阈值则表示聚类出来的话题为“热门话题，低于阈值则视为“非热门话题。热门与非热门的概念是相对的，因而可以以根据话题影响力公式计算出每个话题的热度，然后根据热度分数排序，分数越高表示话题影响力越大，热度越高。实验中，挖掘热门话题的数据来源时间段为年月日至年月日。由于实验中发现话题的总数较少，故本实验不以预先设定话题影响力阈值来划分“热门与“非热门，只将话题按影响力大小排序，即设定所发现话题均为热度不同的热门话题。根据话题影响力相关计算公式，计算得到实验中所提取的个话题在当前时段的影响力评分及排名，如表所示。考虑到微博转发会使微

10、博的影响扩散，相对于评论其影响力更大，因而公式中取值为，取值为从以上分析结果能够看出，在实验识别出的年月日到年月日的个话题中，影响力从大到小依次是江苏丰县校车事故、南京大屠杀纪念日、韩国海警被刺事件、电影（金陵十三钗）即将上映、广东陆丰乌坎村群体事件、双子座流星雨爆发。四效果验证话题识别与跟踪的效果一般使用准确率和召回率两个参数来衡量，公式如下：表示已提取出的与话题相关内容，表示已提取出的与话题不相关内容，表示未提取出的与话题相关内容。在全部文本数据中，与话题相关的数目为，而被断定与话题相关的数目为。召回率和精度是不可能两全其美。当召回率较高时，精度反而降低；反之精度高时，召回率就会有所降低。

11、因而，本文用这两个度量值融合而成的一个度量值来衡量这个效果。值公式如下：实验以“召回率、“准确率验证热门话题发现效果，根据公式、计算出每个话题的召回率与准确率，如表所示。从表能够看出，个热门话题召回率从高到低依次为：韩国海警被刺事件，江苏丰县校车事故，南京大屠杀周年纪念，双子座流星雨，陆丰乌坎村群体事件，电影（金陵十三钗）话题，各类话题召回率均较高。相反，各类话题准确率均较低，最高为双子座流星雨，仅为，最低为广东陆丰群体事件，仅为。聚类准确率低与微博内容零散、议论话题范围极其广泛有关，即话题聚类时噪声数据过多，导致值较大。实验表明微博热门话题发现的“召回率较高而准确率较低，这与微博内容的不规范

12、性、随意性等特点有关。从综合衡量召回率和准确率的值来看，热门识别获得了良好的效果。尽管微博内容存在一定的不规范和随意性，但从实证分析中能够看到，聚类所选取出的类热门话题值均保持在以上。四、结论本文借鉴技术，设计了一套中文微博热门话题挖掘流程，并利用一段时间内的少量新浪微博数据进行热门开掘实证研究。该流程能够使微博站点外部用户利用少量微博数据便能挖掘微博热门，以知足其监控舆情或发现商机的需要。本文主要的创新工作有下面两点：第一，将识别热门话题的主流技术运用于中文微博平台，同时还在流程设计中结合了中文微博的特性。第二，微博平台往往以单一的微博数量指标来衡量话题热度，而本文则提出了以话题影响力的大小来评判话题热度。由于新浪爬虫程序爬取的数据有限，因此本文仅限于对能收集到的数据进行研究，实证结果难免有一定的局限。另外，微博内容较杂乱，噪声信息较多，话题聚类效果也有待提高，因而相关聚类算法的改良也是将来研究的方向。话题影响力验证方法还需完善，后期能够对热门话题进行动态跟踪，以发现热门话题的整体趋势变化。