信息检索系统的评价讲稿.ppt

《信息检索系统的评价讲稿.ppt》由会员分享，可在线阅读，更多相关《信息检索系统的评价讲稿.ppt（35页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息检索系统的评信息检索系统的评价价第一页，讲稿共三十五页哦评价评价n评价一般是指评估某个系统的性能、某种产品的质量、某项技术的价值，或者是某项政策的效果等等;n竞技体育：世界记录 vs. 世界最好成绩n110米栏世界记录：梅里特，美国，1280n男子马拉松世界最好成绩：保罗 特尔加特，肯尼亚，2小时4分55秒第二页，讲稿共三十五页哦为什么要对为什么要对IR进行评价？进行评价？n 信息检索评价则是指对信息检索系统的性能（主要是其满足用户信息需求的能力）进行评估的活动;n从信息检索系统诞生以来，对检索系统的评价就一直是推动其研究、开发与应用的一种主要力量;第三页，讲稿共三十五页哦IR的评价指标的

2、评价指标n针对一个检索系统，可以从功能和性能两个方面对其进行分析评价n 功能评价n可通过测试系统来判定是否支持某项功能，因此相对来说较容易n 性能评价n对于检索系统的性能来说，除了系统的时间和空间因素之外，要求检索结果能够按照相关度进行排序第四页，讲稿共三十五页哦性能评价指标性能评价指标n 在评价和比较检索系统的检索性能需要以下条件：n 一个文档集合C；n 系统将从该集合中按照查询要求检出相关文档。n 一组用户查询要求q1, q2, , qn；n 每个查询要求qi描述了用户的信息需求。n 对应每个用户查询要求的标准相关文档集R1, R2, Rn；n 该集合可由人工方式构造。n 一组评价指标；n

3、 这些指标反映系统的检索性能。通过比较系统实际检出的结果文档集和标准的相关文档集，对它们的相似性进行量化，得到这些指标值。第五页，讲稿共三十五页哦评价任务示例评价任务示例系统&查询1234系统1，查询1d3d6d8d10系统1，查询2d1d4d7d11系统2，查询1d6d7d3d9系统2，查询2d1d2d4d13第六页，讲稿共三十五页哦整个文档集合的划分整个文档集合的划分Ra未检索出的不相关文档检索出的不相关文档检索出的相关文档未检索出的相关文档检索出(Retrieved)未检索出(Not Retrieved)不相关(Not Relevant)相关(Relevant)整个文档集合C第七页，讲稿

4、共三十五页哦四种关系的表示四种关系的表示检出且相关未检出且相关检出且不相关未检出且不相关检出未检出相关不相关相关文本相关文本检出相关文档相关文档检出文档检出不相关文档未检出相关文档第八页，讲稿共三十五页哦准确率和召回率准确率和召回率n 正确率正确率(Precision): 检出的检出的相关文档数相关文档数与与检出文检出文档数档数的比值，也称为的比值，也称为查准率查准率；n召回率召回率(Recall): 系统检出的相关文档数相关文档数与实际相实际相关文档数目关文档数目的比值，也称为查全率查全率。ARaPRRaR第九页，讲稿共三十五页哦示例示例n假设用户查询q为一个给定的查询式，而包含q的相关文档

5、集合Rq为下面的文档集合： Rq=d2,d5,d9,d12,d23 而针对q的检出相关文档集合为： Aq=d3,d4,d5,d6,d8,d10,d12,d19,d20,d23求检索的准确率和召回率。10第十页，讲稿共三十五页哦准确率和召回率的关系准确率和召回率的关系11101准确率召回率返回最相关的文本返回最相关的文本但是漏掉了很多但是漏掉了很多相关文本相关文本理想情况理想情况返回了大多数相关文档返回了大多数相关文档但是包含很多垃圾但是包含很多垃圾第十一页，讲稿共三十五页哦准确率准确率/召回率曲线召回率曲线n假设用户查询q为一个给定的查询式，而包含q的相关文档集合Rq为下面的文档集合： Rq=

6、d2,d5,d9,d12,d23 检索系统对查询q返回的前10个文档Aq的排序为：1. d23 2. d3 3.d4 4.d5 5.d6 6.d8 7.d10 8.d12 9.d19 10.d20第十二页，讲稿共三十五页哦准确率准确率/召回率曲线召回率曲线准确率00.20.40.60.810.20.40.60.81召回率第十三页，讲稿共三十五页哦11点标准召回率点标准召回率n计算召回率分别为0、10%、20%, 100%下的准确率准确率00.20.40.60.810.20.40.60.81召回率第十四页，讲稿共三十五页哦平均准确率平均准确率n 上述准确率召回率的值对应一个查询n 每个查询对应不

7、同的准确/召回率曲线n 为了评价某一算法对于所有测试查询的检索性能，对每个召回率水平下的准确率进行平均化处理，公式如下：1( )( )qNiiqP rP rNnNq： 是使用的查询总数nPi(r)：是召回率为r时的第i个查询的准确率第十五页，讲稿共三十五页哦单值评价方法单值评价方法n已检出相关文档的已检出相关文档的平均准确率均值（平均准确率均值（MAP）n逐个考察检出新的相关文献，将准确率平均逐个考察检出新的相关文献，将准确率平均r为相关文档数。riirMAP11?第i个相关文档的位置第十六页，讲稿共三十五页哦计算计算MAP举例举例n假设有两个查询，查询假设有两个查询，查询1有有4个相关文档，

8、查个相关文档，查询询2有有5个相关文档。某系统对于查询个相关文档。某系统对于查询1检索检索出出4个相关文档，其排序分别为个相关文档，其排序分别为1,2,4,7；对；对于查询于查询2检索出检索出3个相关文档，其排序分别为个相关文档，其排序分别为1,3,5。计算的值。计算的值。第十七页，讲稿共三十五页哦单值评价方法单值评价方法nP10nP10是是系统对于查询返回的前系统对于查询返回的前10个结果的个结果的准确率。准确率。n例：检索系统对查询q返回的前10个文档Aq的排序为：1. d23 2. d3 3.d4 4.d5 5.d6 6.d8 7.d10 8.d12 9.d19 10.d20nP10=3

9、0%（共有10篇检出文档，其中3篇为相关文档）第十八页，讲稿共三十五页哦单值评价方法单值评价方法n R准确率（准确率（R-Precision）n单个查询的单个查询的R准确率是检索出篇相关文档时的准准确率是检索出篇相关文档时的准确率；确率；n查询集合中所有查询的准确率是每个查询的查询集合中所有查询的准确率是每个查询的准确率的平均值。准确率的平均值。nR-Precision前前R篇文档中相关文档数篇文档中相关文档数R第十九页，讲稿共三十五页哦计算计算R准确率举例准确率举例n假设有两个查询，第1个查询有50个相关文档，第2个查询有10个相关文档。某个系统对于第1个查询返回的前50个结果中有17个是相

10、关的，对于第2个查询返回的前10个结果中有7个事相关的。分别计算查询1、查询2和查询集合的R准确率。第二十页，讲稿共三十五页哦单值评价方法单值评价方法n 准确率直方图n多个查询的R-Precision测度n用来比较两个算法的检索纪录nRPA-B=0:对于第i个查询，两个算法有相同的性能nRPA-B0:对于第i个查询，算法A有较好的性能nRPA-B0:对于第i个查询，算法B有较好的性能)()()(iRPiRPiRPBABA第二十一页，讲稿共三十五页哦单值概括单值概括0.00.51.01.5-0.5-1.0-1.512345678910Query Number28第二十二页，讲稿共三十五页哦作业作

11、业n假设查询q为一个给定的用户查询，与q相关的文档集合Rq=d3,d5,d9,d25,d39,d44,d56,d71,d89,d123n通过某一个检索算法得到的排序结果： 1. d123 6. d9 11. d382. d847. d511 12. d483. d56 8. d129 13. d2504. d69. d187 14. d1135. d8 10. d25 15. d3 要求1.分别计算检索到相关文档时的召回率和准确率，并绘制准确率/召回率曲线； 2.采用11点标准召回率方法计算召回率和准确率，并绘制插补后的准确率/召回率曲线； 3.计算MAP值； 4.分别计算检索返回前10个结果

12、和返回前15个结果时的R准确率。第二十三页，讲稿共三十五页哦测试集测试集 (Test Collections)n 组成要素n 文件集 (Document Set; Document Collection)n 查询问题 (Query; Topic)n 相关判断 (Relevant Judgment)n 用途n 设计与发展: 系统测试n 评估: 系统效能(Effectiveness)之测量n 比较: 不同系统与不同技术间之比较n 评比n 根据不同的目的而有不同的评比项目n 量化的测量准则，如Precision与Recall第二十四页，讲稿共三十五页哦国外的评测国外的评测n TREC评测评测 n 文

13、本检索会议（文本检索会议（Text Retrieval Conference，TREC）是信息检索）是信息检索( IR) 界为界为进行检索系统和用户评价而举行的活动进行检索系统和用户评价而举行的活动, 它由美国国家标准技术协会它由美国国家标准技术协会(NIST) 和美国高级研究计划局和美国高级研究计划局(DARPA)（美国国防部）（美国国防部） 共同资助，开始于共同资助，开始于1992年。年。 n NTCIR评测n NTCIR(NACSIS Test Collection for IR Systems)始于1998年，是由日本国立信息学研究所（National Institute of Inf

14、ormatics，简称NII）主办的搜索引擎评价型国际会议 n CLEF评测n CLEF于2000年开始筹办，是欧洲各国共同合作进行的一项长期研究计划，主要想通过评测信息科技技术，促进欧洲语言中的各种单一语言以及多语言信息技术的发展， n CLEF的目标只在于跨语言信息检索以及多语言信息检索方面 第二十五页，讲稿共三十五页哦TREC评测评测n TREC: Text REtrieval Conference (http:/trec.nist.gov/)n 1992年开始，每年一次n 由美国国防部Defense Advanced Research Projects Agency (DARPA)和美

15、国国家标准技术研究所National Institute of Standards and Technology (NIST)联合发起n 参加者免费获得标准训练和开发数据n 参加者在参加比赛时收到最新的测试数据，并在限定时间内作出答案，返给组织者n 组织者对各参赛者的结果进行评价n 包括检索、过滤、问答等多个主题第二十六页，讲稿共三十五页哦TREC测试集测试集n文档集合n英语文档集合n非英语文档集合n文档内容：主要来自报纸、新闻及政府文档n文档格式：采用SGML标记语言进行标记n主题n对检索系统用户的信息需求进行仿真，称为主题对检索系统用户的信息需求进行仿真，称为主题n相关性判断第二十七页，讲

16、稿共三十五页哦文档格式文档格式WSJ880406-0090AT&T Unveils Services to Upgrade Phone Networks Under Global Plan Janet Guyon (WSJ staff) American Telephone & Telegraph Co. introduced the first of a new generation of phone services with broad implications for computer and communications . .第二十八页，讲稿共三十五页哦TREC评测的评价方法评测的

17、评价方法n概括表统计n准确率-召回率平均值n文献级别平均值n平均准确率第二十九页，讲稿共三十五页哦TREC评测的任务（评测的任务（Tracks）n2013 TREC Tracks（8个）nContextual Suggestion TracknMicroblog TracknWeb TracknTemporal Summarization Trackn30第三十页，讲稿共三十五页哦国内国内863评测介绍评测介绍n 全名：n 863计划中文信息处理与智能人机接口技术评测n 组织者：国家高技术研究发展计划（863计划）n 方式n 通过网络进行n 各单位在自己的环境中运行参评系统n 2005年11月

18、召开研讨会n 2005年度评测内容n 机器翻译n 信息检索n 语音识别第三十一页，讲稿共三十五页哦863评测介绍评测介绍信息检索评测信息检索评测n项目：相关网页检索n 任务定义：给定主题，返回数据中与该主题相关的网页。 n 数据：CWT100g (中文Web测试集100g)n根据天网搜索引擎截止2004年2月1日发现的中国范围内提供Web服务的1,000,614个主机，从中采样17,683个站点，在2004年6月搜集获得5,712,710个网页（有效网页：5,594,521）n包括网页内容和Web服务器返回的信息n真实容量为90GB。第三十二页，讲稿共三十五页哦主题主题n 主题主题（Topic

19、）模拟了用户需求，由若干字段组成，描述了用户所希望检索的信息。主题和查询的区别在于：主题是对信息需求的陈述，查询则是信息检索系统的实际输入。n 主题由4个字段组成：n 编号编号（num）n 标题标题（title）n 描述描述（desc）n 叙述叙述（narr）。第三十三页，讲稿共三十五页哦主题实例主题实例n 下载香奈儿n 描述：mp3格式歌曲“香奈儿”的下载地址n 叙述：仅检索具有歌曲“香奈儿”下载地址的网页。有关“香奈儿”的介绍不在检索范围内。提供非mp3格式下载地址的页面不在检索之列。第三十四页，讲稿共三十五页哦查询的构造查询的构造n 自动方式自动方式和人工方式人工方式n自动方式是指在没有任何人为因素的影响下根据主题构造查询的方式n除此之外的方式均为人工方式。 n只允许以人工方式构造查询，不允许在检索过程中加入任何人为因素。 第三十五页，讲稿共三十五页哦