基于Web的比较式挖掘研究-北京大学计算机科学技术研究所.ppt

《基于Web的比较式挖掘研究-北京大学计算机科学技术研究所.ppt》由会员分享，可在线阅读，更多相关《基于Web的比较式挖掘研究-北京大学计算机科学技术研究所.ppt（12页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、NLP&CC2013跨语言情感分类评测万小军北京大学计算机科学技术研究所北京大学计算机科学技术研究所评测背景n情感分类随着网络评论的海量增长受到人们越来越多的重视。n情感分类系统通常依赖于标注语料并结合分类算法来实现。然而，情感标注语料的分布在不同语言下是极不均衡的。n因此在当前语言的标注语料缺乏时，利用其他语言的资源来实现情感分类已经成为了一个热门的研究课题。2 北京大学计算机科学技术研究所评测任务介绍n本任务要求参赛队伍在仅利用组织方提供的资源的前提下，对测试集内的每条中文评论进行倾向性分类（正面和负面）。n评测资源包括：英文标注数据少量中文标注数据英文情感词典中文未标注语料3 北京大学计

2、算机科学技术研究所评测数据n英文标注数据英文标注数据为A的用户评论，共包含3个不同领域：DVD，书籍，音乐。每个领域内有2000条正面评价和2000条负面评价。n英文情感词典提供MPQA情感词典(Multi-PerspectiveQuestionAnsweringSubjectivityLexicon)，共包含2789个正向词和6079个负向词。4 北京大学计算机科学技术研究所评测数据n中文标注数据(验证数据)提供包含DVD，书籍，音乐三个领域的少量中文标注数据，正负例各20条。n中文未标注数据提供包含DVD，书籍，音乐三个领域的大量中文未标注数据，正负例不均衡。5 北京大学计算机科学技术研究

3、所评测数据n测试数据来自A的用户评论，DVD，书籍和音乐每个领域均包含4000条测试评论，其中正负向评论均为2000条。6 北京大学计算机科学技术研究所参赛情况n本次评测共有7所单位参与，提交10组结果。7 北京大学计算机科学技术研究所评测结果n评价指标本任务使用准确率(Accuracy)作为评价指标。其中#system_correct 表示分类准确的评论数，system_ total 表示测试集内全部评论数。由于测试数据中三个领域的评论数目相同，因此不区分宏平均和微平均结果。8 北京大学计算机科学技术研究所评测结果n本次评测中有四队伍的准确率达到70%以上，最高结果为77%。（表格中为每单位

4、最好结果）9 单位编号DvdAccuracyMusicAccuracyBookAccuracyAverageAccuracy10.48050.50300.49780.493820.64730.66050.59800.635330.54300.52950.58930.553940.77730.75130.78500.771250.73900.73250.74230.737960.77200.74530.72400.747170.78330.75950.77000.7709北京大学计算机科学技术研究所论文录用情况n本次评测中有以下两篇论文被NLP&CC 2013分别录用为Oral和Poster论文GuiLin,XuRuifeng,XuJun,YuanLi,YaoYuanlinandZhouJiyun.基于混合模型的跨语言情感分析方法.哈尔滨工业大学深圳研究生院智能计算中心炎祥何,续乐刘,强陈,松涛孙and菲菲牛.基于句法分析的跨语言情感分析.武汉大学计算机学院10 北京大学计算机科学技术研究所探讨与展望n如何有效利用中文未标注数据？n如何综合利用英文词典与英文标注语料？n跨语言情感分类方法中的领域适应问题？n针对不同语言迁移时方法的鲁棒性？11 Q&A谢谢！