改进的BM25F评分算法在文献检索系统中的应用(共24页).doc

《改进的BM25F评分算法在文献检索系统中的应用(共24页).doc》由会员分享，可在线阅读，更多相关《改进的BM25F评分算法在文献检索系统中的应用(共24页).doc（24页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、精选优质文档-倾情为你奉上改进的BM25F评分算法在文献检索系统中的应用目录专心-专注-专业摘 要本文主要就改进的BM25F评分算法在论文检索中的实现与应用过程进行了介绍。首先是数据集的建立过程，为了配合BM25F评分算法在结构化文档中的优势，检索对象设定为学术论文，基于万方数据库提供的文献资源通过爬虫建立了检索数据集；然后是搜索引擎搭建过程，索引使用的是倒排索引，在实现了BM25F算法之后，结合实际检索效果，从以下三个方面对系统进行了优化。（1）对BM25F进行改进，将文档中查询关键字的紧邻距离作为影响评分的一个因素加入至BM25F评分算法中。（2）优化了数据库设计，分别添加了各个域的长度字

2、段，为各个区域长度的计算提供了便利，一定程度上提高了检索效率。（3）实现了定时增量索引，在很大程度上节省了索引创建时的开销，同时保证了数据查询的实时性，以及系统数据的可扩展性。关键词： 爬虫；BM25；BM25F；紧邻距离；增量索引；1 系统总体架构及数据准备我们改进了BM25F算法，把它用在了论文检索中，BM25F算法比较适用划分了区域的文档，如论文中的区域有标题，摘要，作者等区域，用这个算法来进行论文的检索就相当的合适。1.1 系统总体架构图1-1 系统架构图以上是我们这个系统的总体架构图，大致分成两块，第一块就是数据准备，即从网上把我们需要的数据用爬虫爬下来，从爬下来的html源代码解析

3、提取出我们想要的字段，然后存储在数据库中。第二块就是当我们有了这些原始数据后，可用它来建立索引、字典等操作，然后再在这个基础上构建我们的搜索引擎，用我们改进的BM25F算法来对检索出来的论文进行排序，再把最终的结果返回给用户。我们在数据库的设计上做一些小优化，以更好地适应我们的算法，它可以在很大程序上减少计算的开销。除此之外，我们在原始的BM25F算法上也做了一些优化，详见后面的章节。1.2 数据准备我们项目中的论文数据爬取自万方，下面是一篇论文示例：图1-2 论文实例在这个页面中，划分了很多字段（或者说区域），有标题、摘要、作者、关键字等。我们主要爬取了标题、摘要、关键字、作者、作者单位这几

4、个字段。下面是一个爬取过程的示意图：图1-3 爬虫过程示意图最后存储在数据库中的结果如下图所示：图1-4 数据库表设计示意图从上图中可以看到，我们不仅保存了爬取到的这些字段的完整信息，还保存了去除停用词后的分词结果，以及一些比较重要的字段的长度，这极大的减小了后续进行BM25F分值计算时的计算开销。2 搜索引擎的搭建过程2.1 索引的建立我们检索系统中所用到的是倒排索引，下面给出倒排索引的相关概念，倒排索引（Inverted Index），也常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数

5、据结构。通过倒排索引，可以根据单词快速获取包含这个单词的文档列表。倒排索引主要由两个部分组成：“单词词典”和“倒排文件”。倒排索引有两种不同的反向索引形式：一条记录的水平反向索引（或者反向档案索引）包含每个引用单词的文档的列表。一个单词的水平反向索引（或者完全反向索引）又包含每个单词在一个文档中的位置。后者的形式提供了更多的兼容性（比如短语搜索），但是需要更多的时间和空间来创建。现代搜索引擎的索引都是基于倒排索引。相比“签名文件”、“后缀树”等索引结构，“倒排索引”是实现单词到文档映射关系的最佳实现方式和最有效的索引结构。存储在MySQL数据库中的每一条记录都被表示成一个文档，我们为每一个文档

6、建立索引。倒排索引的具体建立步骤分为两步，首先使用中文分词器对需要建立索引的文档进行分词，然后构建倒排索引表，我们还做了一个小小的处理，使得一些原来会被分词器当成两个词而分开的词，现在当成一个整体而不会被分开，例如机器学习，如果不做处理，会被分为机器、学习，这样就不符合我们期望的结果。下图是一个倒排索引表的示意图：表2-1 索引文件示意表Key WordsDocument IDFrequencyPositionsFields机器学习12,212,5,2Abstract在上图所示的倒排索引表中，索引的词是机器学习，它出现的区域是摘要，它在文档1的摘要中的出现了2次，位置分别是2和5，在文档2的摘

7、要中出现1次，出现的位置是2。这里所说的位置，都是以分词后的单词为距离来计算的，也就是说以分词后的单词为最小的单位。2.2 中文分词器的比较与选取当前比较常用的中文分词器主要有Paoding Analyzer、Imdict Chinese Analyzer、MMSeg4j Analyzer以及IK Analyzer四种，首先分别简单介绍一下这四种中文分词器。Paoding Analyzer中文翻译为“庖丁解牛”，引入隐喻，采用完全的面向对象设计，构思先进。Imdict Chinese Analyzer是 Imdict Chinese Analyzer智能词典 的智能中文分词模块，算法基于隐马尔

8、科夫模型(Hidden Markov Model, HMM)，是中国科学院计算技术研究所的ictclas中文分词程序的重新实现（基于Java）。MMSeg4j Analyzer用Chih-Hao Tsai 的MMSeg 算法实现的中文分词器，并实现 lucene 的 analyzer 和 solr 的TokenizerFactory 以方便在Lucene和Solr中使用。IK Analyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始， IK Analyzer已经推出了4个大版本。接下来将分别从用户自定义词库、效率以及算法和代码复杂度三个方面

9、对4种分词器进行比较。（1） 用户自定义词库：Paoding Analyzer ：支持不限制个数的用户自定义词库，纯文本格式，一行一词，使用后台线程检测词库的更新，自动编译更新过的词库到二进制版本，并加载。Imdict Chinese Analyzer ：暂时不支持用户自定义词库，但原版 ICTCLAS 支持用户自定义 stop words。MMSeg4j Analyzer：自带sogou词库，支持名为wordsxxx.dic，utf8文本格式的用户自定义词库，一行一词。不支持自动检测。IK Analyzer：支持API级的用户词库加载，和配置级的词库文件指定，无 BOM 的 UTF-8 编码

10、，不支持自动检测。（2）速度以下数据来源于个分词器官方介绍。Paoding Analyzer：在PIII 1G内存个人机器上，1秒 可准确分词 100万汉字。Imdict Chinese Analyzer ：483.64 (字节/秒)，(汉字/秒)。MMSeg4j Analyzer：complex 1200kb/s左右，simple 1900kb/s左右。IK Analyzer ：具有50万字/秒的高速处理能力（3）算法和代码复杂度Paoding Analyzer ：svn src 目录一共1.3M，6个properties文件，48个java文件，6895 行。使用不同的 Knife 切不同

11、类型的流，不算很复杂。Imdict Chinese Analyzer ：词库 6.7M（这个词库是必须的），src 目录 152k，20个java文件，2399行。使用 ICTCLAS HHMM隐马尔科夫模型，“利用大量语料库的训练来统计汉语词汇的词频和跳转概率，从而根据这些统计结果对整个汉语句子计算最似然的切分”MMSeg4j Analyzer ： svn src 目录一共 132k，23个java文件，2089行。MMSeg 算法 ，有点复杂。IK Analyzer ： svn src 目录一共6.6M(词典文件也在里面)，22个java文件，4217行。多子处理器分析，跟Paoding

12、Analyzer类似，歧义分析算法还没有弄明白。最终，我们选取了Imdict Chinese Analyzer中文分词器，并对其中文词库进行了处理。处理之后，机器学习、神经网络、数据挖掘等专业词语将会被当做一个词，是查询结果更符合用户的原始意愿。2.3 评分算法的设计与实现2.3.1 BM25算法在信息检索中，BM25算法是用来给文档排序的，具体来说就是当用户向搜索引擎提交一个查询时，会查到很多相关的文档，BM25算法就是给这些文档做相关度排序的，然后按相关度从大到小把结果返回给用户。它是把文档看成是词袋，忽略语法及词的顺序。给定一个查询Q，其中Q包含关键字q1, qn,，则BM25算法为文档

13、打的分用下式来计算：其中，f(qi,D)是关键字在文档D中出现的频率，|D|是文档D的长度（以词的个数计算长度），是文档集中文档的平均长度，k1和b是可调参数，k1的取值在区间1.2,2.0中，b取值在区间 1.2,2.0中，具体编码实现时，通过反复时间尝试，最终取k1=1.2，b=0.75。IDF（Inverse Document Frequency）为逆向文件频率，是一个词语普遍重要性的度量。某一特定词语的IDF，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到，定义如下：其中，N是文档集中所有文档的个数，n(qi)是文档集中包含检索词项qi的文档数。除此之外，IDF权重

14、的计算公式还有一些变体，但最终我们选取了教材中所给出的上述公式。2.3.2 BM25F算法BM25F是一个从BM25算法修改而来的算法，适用于结构化的文档中，它的主要思想是，结构化文档是由多个区域组成的，如果HTML网页有header、body区域等，每个区域的权重应该区别对待。又例如在检索论文时，认为查询词项出现在标题中，比出现在摘要中更重要，那么就会给标题这个区域以更大的权重，比如认为同样一个词出现在标题中一次，相当于出现在摘要中10次。BM25F算法就是对不同的区域赋予不同的权重，以此来反映不同区域的重要性不同。它主要就是修改了词项频率的计算公式，即修改为下式：其中，f(qi,D,S)为

15、词项qi在文档D的S区域中出现的频率，l(D,S)是文档D中区域S的长度，ls是文档集中所有文档的区域S的平均长度，bs是一个和区域有关的可调参数，与BM25类似，它的取值从0到1，实际编码实现时通过反复实践尝试，我们取bs=0.75。对这些针对特定区域计算的词项频率，或者说是伪频率，加以整合，可以得到一个针对整个文档计算的词项频率公式，如下所示:其中，是区域S的权重，例如在论文检索中，可以取标题区域的权重为=10，摘要区域的权重为=1，这就表示对于一个相同的词项，它出现在标题中比出现在摘要中更加重要。在BM25公式中的词项频率计算公式换为，就得到了BM25F公式，具体如下：在实现了BM25F

16、算法之后，将检索系统应用于数据集中的查询结果，我们发现系统再多关键字查询时精度不高，通过分析得出了原因：BM25算法仅仅是考虑到了文档长度和查询词的词频，而没有考虑查询词之间的紧邻距离。事实上，BM25F的评分公式也很好的印证了这一点。关键词紧邻距离用来衡量多个关键词在同一文档中是否相邻。比如用户搜索“中国足球”这一短语，包含“中国”和“足球”两个关键词，当这两个关键词按照同样顺序前后紧挨着出现在一个文档中时，紧邻距离为零，如果两词中间夹入很多词则紧邻距离较大。紧邻距离是一种衡量文档和多个关键词相关度的方法。紧邻距离虽然不应该作为给文档排序的唯一指标，但在一些情况下通过设定阀值可以过滤掉相当一

17、部分无关的结果。因此，接下来我们将查询词项在文档中的紧邻距离考虑到评分算法中，得到了新的评分算法，定义如下：2.3.3 算法的编码实现（1）BM25算法的实现public BM25BooleanScorer(IndexReader reader, BooleanTermQuery should, BooleanTermQuery must, BooleanTermQuery not, Similarity similarity, String fields, float boosts, float bParams) throws IOException this.ndocs = reader.

18、numDocs();if (should != null & should.length 0) Scorer shouldScorer = new Scorershould.length;for (int i = 0; i 0) Scorer mustScorer = new Scorermust.length;for (int i = 0; i 0) Scorer notScorer = new Scorernot.length;for (int i = 0; i notScorer.length; i+) notScoreri = new BM25FTermScorer(reader, n

19、oti.termQuery, fields, boosts, bParams, similarity);this.notBooleanScorer = new NotBooleanScorer(similarity, notScorer, this.ndocs); elsethis.notBooleanScorer = new MatchAllBooleanScorer(similarity, this.ndocs);代码2-1 BM25评分主程序（2）BM25F评分主程序public List bm25Seacch(String queryStr, int pageNum, int page

20、Size)throws CorruptIndexException, IOException, ParseException String indexDir = pathString;String fields = title, author, paperAbstract, keyword,author_dept ;IndexSearcher searcher = new IndexSearcher(indexDir);String queryString=chineseSplit.chineseAnalyze(queryStr);/ Set explicit average Length f

21、or each fieldBM25FParameters.setAverageLength(title, AveTitle);BM25FParameters.setAverageLength(author, AveAuthor);BM25FParameters.setAverageLength(paperAbs, AveAbs);BM25FParameters.setAverageLength(author_dept, AveDept);BM25FParameters.setAverageLength(keyword, AveKey;)/ Set explicit k1 parameterBM

22、25FParameters.setK1(1.2f);/ Using boost and b defaults parametersBM25BooleanQuery queryF = new BM25BooleanQuery(queryString, fields, new StandardAnalyzer();/ Retrieving NOT normalized scorer valuesTopDocs top = searcher.search(queryF, null, maxQResultCnt);ScoreDoc docs = top.scoreDocs;/ Print result

23、sint numTotalHits = top.scoreDocs.length;List resultList = new ArrayList();for (int i = 0; i numTotalHits; i+) System.out.println(docsi.doc + : + docsi.score);paper paperItem = new paper();Document doc = searcher.doc(docsi.doc);paperItem.setId(Integer.valueOf(doc.get(id);paperItem.setAbstract_length

24、(Integer.valueOf(doc.get(abstract_length);paperItem.setKeyword_length(Integer.valueOf(doc.get(keyword_length);paperItem.setTitle_length(Integer.valueOf(doc.get(title_length);paperItem.setFileName(doc.get(fileName);paperItem.setTitle(doc.get(title);paperItem.setKeyword(doc.get(keyword);paperItem.setP

25、aperAbstract(doc.get(paperAbstract);paperItem.setAuthor(doc.get(author);resultList.add(paperItem);System.out.println(paperItem.getTitle();int toindex = resultList.size() - 1;if (pageNum * pageSize toindex)toindex = pageNum * pageSize;return resultList.subList(pageNum - 1) * pageSize, toindex);代码2-2

26、BM25F查询主程序public BM25FTermScorer(IndexReader reader, TermQuery term, String fields, float boosts, float bParams, Similarity similarity) super(similarity);this.reader = reader;this.term = term;this.fields = fields;this.boost = boosts;this.bParam = bParams;this.termDocs = new TermDocsthis.fields.lengt

27、h;this.termDocsNext = new booleanthis.fields.length;try for (int i = 0; i this.fields.length; i+)this.termDocsi = reader.termDocs(new Term(this.fieldsi, term.getTerm().text();this.idf = this.getSimilarity().idf(this.reader.docFreq(new Term(BM25FParameters.getIdfField(),term.getTerm().text(),this.rea

28、der.numDocs(); catch (IOException e) e.printStackTrace();代码2-3 BM25F评分主程序（3）改进的BM25F距离计算程序public class MinDistance public ArrayList getKeywordPosition(String strKeyword)List list = new ArrayList();keywordDB kdb = new keywordDB();return kdb.getKeywordPosition(strKeyword);public int minDistance(String

29、 keyword1, String keyword2)List aList = this.getKeywordPosition(keyword1);List bList = this.getKeywordPosition(keyword2);keywordDB kdb = new keywordDB();if(aList = null | bList =null)return kdb.getAverageDistance()/2; int minD = kdb.getAverageDistance();for(int i=0;iaList.size();i+)for(int j= 0;jbLi

30、st.size();j+)if(Math.abs(Integer)aList.get(i)-(Integer)bList.get(j)1)for(int i=0;ikeywordsNum-1;i+)minDistance+= this.minDistance(keywordsList.get(i).toString(),keywordsList.get(i+1).toString();minDistance = minDistance/keywordsNum;return minDistance;代码2-4改进的BM25F距离计算程序3 项目特色3.1 考虑查询关键词之间的距离当用户提交的一个

31、查询是一句话时，这句话就会通过分词分成若干个关键字，我们认为如果这些关键字在一个文档中出现的位置离得越近，那么这个文档就与用户的查询意图越相关，而BM25F公式并未考虑关键词距离这一点，我们在优化过程中力争把这一点整合到BM25F公式中，并应用于系统中，获得了一定的效果。考虑关键词的位置信息，首先就是要能获取查询关键词在一篇文档中所出现的所有位置，再根据查询时分词出来的关键词顺序，逐一固定关键词以搜索与下一个关键词的距离。考虑距离因素，需要权衡选择关键词距离的最小距离，平均距离还是最大距离作为衡量标准，在查阅相关文献后发现，大多是文献是基于关键词的最小距离进行的处理和优化，所以我们在实现过程中

32、同样选择关键词的最小距离作为衡量标准。实际上在建立索引时，索引表中已经保存了词项在文档中出现的位置信息，因此查询词项在文档中的距离也是很容易获得的。在计算距离时，并不需要确定一个关键词的位置之后再遍历下一个关键词的所有位置来获取它们的最小距离。我们采用的方法是：获取关键词A在文档D中出现的位置信息，它是一个List，设为AList；获取关键词B在文档D中出现的位置信息，它同样是一个List，设为BList；直接对AList和BList进行处理，计算出AList和BList中最相邻的两个数字，它们之间的差值便是关键词A和B的最小距离。此处，没有考虑AB出现的顺序问题，但却是避免了固定一个关键词的

33、位置再找另一个关键词的位置的开销，转而直接对两个List表进行处理，即使是计算关键词之间的最大距离、平均距离也是比较容易的，同时在时间和资源上的开销也是很少的。当对查询语句进行分词后，只得到两个关键词时，我们就直接认为它们之间的距离就是这两个关键词的最小距离。当对查询语句进行分词之后，得到两个以上的关键词时，我们采用的处理方法是：对所有相邻的两个关键词的最小距离再进行平均距离的计算，将这个结果作为此查询语句在该文档中的距离度量。在实验中发现，有一种情况是，解析出来的若干个关键词在该文档中并不一定全部都含有，那么这时就不能为所有的查询词项计算它们在文档中的距离，我们的处理方法是，当一个查询词项在

34、一个特定文档中不存在时，把它和其他查询词项的最近距离设为文档集中所有文档平均长度的一半，这个值事先已经计算好，作为一个常量进行计算。获取到查询语句对文档的距离度量之后，如何将这个距离度量能够与BM25F比较合适的结合是一个比较重要的问题。这时需要发现一种情况那就是：关键词越少，关键词的重要性就越大，很多个关键词中丢失一个关键词的影响比两三个关键词中丢失一个关键词的影响要小很多。BM25F是需要与距离度量成单调递减的关系，同时需要考虑到关键词丢失的问题，前面已经说明了在丢失关键词之后，处理的方法是将它和其他查询词项的最近距离设为文档集中所有文档平均长度的一半，这个值在统计学的角度上很大程度上会大

35、于两个词出现的最小距离，而造成整个查询语句在文档中的距离度量增大。考虑到这一点，需要想到距离小时，距离的变化对整个打分体制的影响较大；距离较大时，对距离的变化对整个打分机制的影响较小。基于以上考虑，我们把距离度量的倒数与BM25F公司相结合，得到一个新的更完善的打分体系，定义如下：实际上在基于距离的BM25F和单纯的BM25F在检索结果上确实存在一定的区别，按照我们对前面两页10条数据的人工比对，确实是基于距离的BM25F的检索结果更加符合我们的预期结果，更能为用户提供准确的检索数据。3.2 数据库表设计的优化由于BM25F算法中需要多次使用到文档长度，在开始阶段每次对文档进行BM25F算法打

36、分的过程中，我们都需要遍历一遍文档，以计算出文档的长度，这种做法开销太大，对系统的用户体验有很大的阻碍。因此在这一块，我们需要避免多次进行文档长度的遍历和计算，减少查询开销。考虑到在爬虫爬取信息的这一阶段，信息以及是确定的了，这里只需要将爬去信息的内容进行更详细的存储。结合我们的算法要经常用到各字段的长度，而对于一篇已经爬下来的文档来说，各字段的长度也就定了，我们可以预先计算出各字段的长度，通过在数据库中增加一些冗余字段，把这些长度存储在数据库中，避免重复计算。同时由于对中文词在存取时已经通过分词器分词后再存储到数据库中的，所以在数据库表中对长度的统计引申为对词数的统计。在数据库表中针对爬去的

37、标题信息Title字段增加一个title_length作为title字段词数的计算存储字段；针对关键词keyword，增加keyword_length字段作为keyword字段字数的计算存储字段；针对摘要abstract字段，增加abstract_length字段作为abstract字段词数的计算存储字段。同样为了避免扫描整个数据库中各字段的长度信息来计算整个数据库文档中的各字段的平均长度，所以另开辟一块空间专门来存储数据库中所有title、keyword、abstract的平均长度，即平均词数，该字段同样存储计算出此时数据库中所有文档各字段的平均长度时，数据库中已有的记录总数。图3-1为数据

38、库表设计示意图。图3-1数据库表设计示意图当新的数据进来时，直接取出数据库中各字段的平均长度与记录总数，将平均长度与总数相乘以后，加上新数据的各字段的长度，再除以总数加1，得到各字段的新的平均长度，同时更新数据条数，在原来记录总数上加1后存储。这样通过预先对数据分析后，将相应的分析结果进行冗余存储，这在很大程度上增加了检索速度，减小了查询开销。在实际系统检索过程中，当输入检索关键词，点击查询，所提供结果的时间越在1s左右，还可以接受，比未优化之前有很大的改观，增强了用户体验。3.3 定时增量索引当第一次创建索引时，数据库大约有7000条数据，此时创建索引的时间大约在10s左右，当有新的数据存储

39、进来之后要对新的数据进行索引的创建，一般情况下直接进行索引的创建，扫描整个数据库，更新整个数据库的索引，相当于针对所有文件重新做了一次索引，虽然新的索引文件只是比旧的索引文件多了几条数据，但它的创建确实从头开始，进行了整个数据库的索引创建，这个对时间和资源消耗太大。针对此问题，我们通过查阅资料发现，现在已经有了增量索引的机制，也就是每次只针对新数据进行索引文件的创立，再将新的索引文件内容加入到原来的索引文件中去。具体思路如下：在第一次创建索引之后，我们保存创建最后一条索引的记录的ID，记作lastIndexID；过了一段时间，取出存储的记录lastIndexID；遍历数据库，找到该记录，从该记

40、录的下一条记录开始进行索引文件的创建；获取此时创建的最后一条索引的记录的ID，更新lastIndexID，并进行存储。将新的索引文件与原来的索引文件进行合并。考虑到频繁地更新索引会带来很大的时空开销，不可能采用每到一条数据就进行增量索引的建立，所以此时考虑采用定时的机制进行增量索引的创建。在定时机制的实现过程中，我们发现了Java的Quartz中提供了丰富的定时方式，故在系统中我们采用了Quartz定时插件来实现定时功能，设置成每20分钟更新一次索引，进行增量索引，并利用Quartz中提供的多线程方法来加快系统的并发执行。通过使用定时增量索引的创建，这在很大程度上避免了数据进行索引创建时的巨大

41、开销，同时通过20分钟的定时机制，保证了数据查询的实时性，以及系统数据的扩展性。4 系统实现4.1 开发环境我们的项目使用了Jsp + Servlet + JQuery技术进行开发，使用的开发工具为MyEclipse + MySQL + Tomcat，机器的环境为一台普通PC，Windows 7操作系统，Core i5处理器，8G内存。4.2 搜索结果展开及分析首先展示搜索指定区域时的结果，实际上此时就相当于是BM25算法，因为只有一个区域，所以没有必要考虑区域的权重。下图为仅搜索标题的结果：图4-1 按标题检索效果图下图为仅搜索关键字的结果：图4-2 按关键字检索效果图下图为仅搜索摘要的结果

42、：图4-3 按摘要检索效果图下图为搜索全部字段的结果，并且是没有考虑关键字之间的距离时的结果：图4-4 无区分检索效果图可以看到，用户的搜索意图是希望找到用机器学习做分类的论文，而如果没有考虑查询关键字在论文中的距离，只考虑区域权重，那么就会返回一些包含“分类”和“机器学习”这两个词的的论文，它们在各字段中出现的权重已预先定义好，即使这两个词出现的位置相隔得很远，仍有可能被返回，这就与用户的实际意图有所背离。下图这个图显示的结果就是再加入了查询关键词在论文中出现的位置的距离这个因素：图4-5 改进BM25F检索效果图从图中可以看到，这时返回的结果中“分类”和“机器学习”这两个词的距离就比之前那

43、个结果中要近得多，这就真正符合了用户的搜索意图。5 总结本文主要就改进的BM25F评分算法在论文检索中的实现与应用过程进行了介绍。首先是数据集的建立过程，为了配合BM25F评分算法在结构化文档中的优势，我们最终决定基于万方数据库提供的文献资源通过爬虫建立了自己的检索数据集；然后是具体的搜索引擎搭建过程，索引使用的是倒排索引，在实现了BM25F算法之后，结合实际检索效果，我们又从以下三个方面对系统进行了优化。（1）对BM25F进行改进，考虑了查询关键字在文档中出现的距离，按照我们对前面两页10条数据的人工比对，确实是基于距离的BM25F的检索结果更加符合我们的预期结果，更能为用户提供准确的检索数据。（2）优化了数据库设计，分别添加了各个域的length字段，为各个区域长度的计算提供了便利，避免