-微博舆情管理平台-数据分析系统的设计与实现-毕业论文.doc

北京交通大学毕业设计（论文）任务书题 目： 微博舆情管理平台的设计与实现数据分析系统 适合专业： 信息安全专业 指导教师（签名）： 提交日期：2013年03月08日学院: 计算机学院 专业： 信息安全 学生姓名 学号： 毕业设计（论文）基本内容和要求：微博作为迅速崛起的新兴社会媒体，在网络舆情领域日益引起研究者的关注。面对互联网上海量的数据信息，我们无法想象仅仅通过人工的方式来对互联网舆情进行全面监控的难度。因此，结合网络信息采集技术和文本信息自动处理等技术研发一个网络舆情自动监控系统将有利于社会管理者们及时了解网络舆情的状态和趋势，因而可以对发现的热点舆情及时进行干预，引导疏通民众情绪和心理，避免矛盾的进一步恶化而造成更大的社会损失。现有舆情监测系统在采集、检索和分析模块中都是采用基于统计和特征关键词的方法，由于忽略了文本中的语义信息往往会导致分析结果的不精确。本毕业设计主要针对当前微博中用户身份定位、热点信息挖掘以及负面信息的发现与及时处理等机制进行设计与实现，主要分为数据采集、数据挖掘分析和结果呈现三个部分。主要的工作分工如下：1. 数据采集（微博爬虫程序）功能的实现，抓取微博文本信息。2. 对收集到的文本信息进行数据分析，确定舆情热点关键词、分析用户身份关系3. 将分析结果进行数据呈现。微博舆情管理平台预期实现对主流微博平台（新浪微博，腾讯微博等）消息的自动采集分析，得出最近热点词，关键词；输入关键词后可对与此关键词有关的微博消息进行评估预警，提醒使用者及时作出应对措施毕业设计重点研究的问题：1. 对收集到的数据进行甄别归类分析,实现分词等算法。2. 向量空间模型模型（VSM）及潜在语义索引（LSI）3. 文本倾向性分析实现毕业设计应完成的工作：1. 进行微博舆情监控方面现状的网络调研，熟悉微博管理系统的全过程；2. 熟悉微波舆情监控系统的工作流程，设计合理的分工方案；3. 熟练掌握c和php4. 数据分析算法实现；5. 撰写毕业论文。参考资料推荐：1. 王艺重大突发公共事件的微博舆情监测与引导初探贵州民族学院学报2011.05c语言相关资料2. 张超文本倾向性分析在舆情监控系统中的应用研究(硕士学位论文)北京邮电大学2008.023. 莫溢，刘盛华，刘悦，程学旗一种相关话题微博信息的筛选规则学习算法中文信息学报2012.094. 陆浩网络舆情监测研究与原型实现北京邮电大学2009.025. 莫溢，刘盛华，刘悦，程学旗一种相关话题微博信息的筛选规则学习算法中文信息学报2012.096. 杨涛智能信息处理技术在互联网舆情分析中的应用(硕士学位论文)同济大学2008.057. Larsen B，Aone CFast and effective text mining using linear-time document clusteringIn：Proceedings of the Fifth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining，San Diego：CA,19991622其他要说明的问题：题 目： 微博舆情管理平台设计与实现数据分析系统设计实现 学院：计算机学院专业：信息安全学生姓名：张骁 学号： 09283050 文献综述：1. 研究背景:舆情分析关乎国家发展与社会和谐，目前已有越来越多的机构和行业从事舆情分析。Web2.0 时代的到来，使人们进入网络信息大爆炸时代。新浪微博每天有近1 亿的微博内容产生。如何从海量的微博信息中提取有价值的信息，并对负面、消极及虚假信息进行及时的管控，已经成为舆情热点分析的突出问题。良好的解决方案，不仅可以监督规范网络行为，净化网络环境，更重要的还能从中获取各类有用信息，进行诸如商业价值（用户兴趣挖掘），信息传播学（网络拓扑与热点追踪），以及一些社会学方面的研究。从而能够满足人们的需求，同时对于社会的和谐、网络舆论生态的健康、国家的发展都有重要的现实意义。2. 研究现状及基本方法目前，已有越来越多的机构从事舆情分析。但是，这些舆情分析系统一般只应用于企业或政府，更关注于对负面、消极及虚假信息的监管，并且不对公众开放。在当今的社会，人们也迫切希望得到一些关乎自身利益的事件的发展情况，如物价的变化、对于一些厂家产品的使用评价等。对于微博舆情预警功能模块的实现，网络舆情安全的评估预警等功能实现的不多。3. 研究内容及意义 微博舆情管理平台预期实现对主流微博平台（新浪微博，腾讯微博等）消息的自动采集分析，得出最近热点词，关键词；输入关键词后可对与此关键词有关的微博消息进行评估预警，提醒使用者及时作出应对措施。 面对互联网上海量的数据信息，我们无法想象仅仅通过人工的方式来对互联网舆情进行全面监控的难度。因此，结合网络信息采集技术和文本信息自动处理等技术研发一个网络舆情自动监控系统将有利于社会管理者们及时了解网络舆情的状态和趋势，因而可以对发现的热点舆情及时进行干预，引导疏通民众情绪和心理，避免矛盾的进一步恶化而造成更大的社会损失。 主要参考文献：1 张洋，何楚杰，段俊文，杨春程微博舆情热点分析系统设计研究信息网络安全2012.092 王艺重大突发公共事件的微博舆情监测与引导初探贵州民族学院学报2011.053 杨涛智能信息处理技术在互联网舆情分析中的应用(硕士学位论文)同济大学2008.054 张超文本倾向性分析在舆情监控系统中的应用研究(硕士学位论文)北京邮电大学2008.025 唐晓波 宋承伟基于复杂网络的微博舆情分析情报学报2012.116 刘恒文基于网络语义挖掘的舆情监测预警研究(硕士学位论文)武汉理工大学2010.057 王晶，朱珂，汪斌强基于信息数据分析的微博研究综述计算机应用2012.078 莫溢，刘盛华，刘悦，程学旗一种相关话题微博信息的筛选规则学习算法中文信息学报2012.099 谭俊武面向网络舆情分析的文本倾向性分类技术的研究与实现(硕士学位论文)国防科技大学2009.1110 陆浩网络舆情监测研究与原型实现北京邮电大学2009.0211 MSpitters，WKraaijUsing Language Models for Tracking Events of Interest over Time Proceedings of the Workshop on Language Models for InformationRetrieval(LMIR),Pinsburgh，200112 Larsen B，Aone CFast and effective text mining using linear-time document clusteringIn：Proceedings of the Fifth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining，San Diego：CA,1999162213 JYi，TNasukawa，R Bunescu，and wNiblackSentiment Analyzer：Extracting Sentiment S about a Given Topic using Natural Language Processing Techniques【A】In：Proceedings of the 3rd IEEE International Conference on Data Mining(ICDM22003)【C】研究方案：1 理论基础：1 ) 向量空间模型模型（VSM）2）潜在语义索引（LSI）3）聚类分析方法2 研究步骤：1）研读文献，对已采集数据的算法分析进行调研；2）建立模型，进行模块化设计；3）数据分析部分的代码实现；4）对系统的整体实现；5）系统的测试、评价、反馈、改进；6）实验数据收集，撰写论文。3 关键技术与难点1）尝试将共词网络与复杂网络方法应用于基于微博的网络舆情分析中。使用图论对现实中的舆情问题进行建模，运用数学基本理论对模型中实体之间的关系进行定量计算，应用直观的共词网络与复杂网络可视化方法，对微博舆情分析中的两个主要任务，热点探测和微博领袖热点发现展开综合研究。2）微博中大部分信息是零散的、高噪声的、随机的和碎片化的，从而导致构建出的文档向量空间矩阵维数较高，但数据稀疏，因此传统基于VSM(Vector Space Mode1)的文本聚类方法在微博客热点探测中的效果不佳。需要对VSM进行改进或者提出更高效的方法。3）舆情监控系统的核心技术在于舆情分析引擎，涉及的最主要的技术包括文本分类、聚类、观点倾向性识别、主题检测与跟踪、自动摘要等计算机文本信息内容识别技术。其中基于关键词统计分析方法的技术相对比较成熟，但在其有效性方面还有很大的提高空间。4 预期成果通过与组员的配合，实现一个能对微博信息进行检测分析的平台；与已有的检测平台相比，实现更高的有效性，准确性；初步实现对指定简单微博关键词的预警监测。毕业设计（论文）进度安排：序号毕业设计（论文）各阶段内容时间安排备注1阅读文献，设计调研，完成开题报告2.25-3.222研究各数据分析算法优劣，确定使用算法3.23-4.103与组员共同建立系统模型，完成模块设计4.11-4.184完成算法代码，系统具体实现4.19-5.105撰写毕业论文5.11-5.256准备毕业答辩5.26指导教师意见：指导教师签名： 审核日期： 年 月 日11