2022年详细介绍常用的几类搜索引擎技术 [图]搜索研究教程.docx

《2022年详细介绍常用的几类搜索引擎技术 [图]搜索研究教程.docx》由会员分享，可在线阅读，更多相关《2022年详细介绍常用的几类搜索引擎技术 [图]搜索研究教程.docx（6页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、2022年详细介绍常用的几类搜索引擎技术 图搜索研究教程因特网的迅猛发展、WEB信息的增加，用户要在信息海洋里查找信息，就像大海捞针一样，搜寻引擎技术恰好解决了这一难题，它可以为用户供应信息检索服务。目前，搜寻引擎技术正成为计算机工业界和学术界争相探讨、开发的对象。 搜寻引擎（Search Engine）是随着WEB信息的快速增加，从1995年起先渐渐发展起来的技术。 据发表在科学杂志1999年7月的文章WEB信息的可访问性估计，全球目前的网页超过8亿，有效数据超过9TB，并且仍以每4个月翻一番的速度增长。例如，Google目前拥有10亿个网址，30亿个网页，3.9 亿张图像，Google支持

2、66种语言接口，16种文件格式，面对如此海量的数据和如此异构的信息，用户要在里面找寻信息，必定会“大海捞针”无功而返。 搜寻引擎正是为了解决这个“迷航”问题而出现的技术。搜寻引擎以肯定的策略在互联网中搜集、发觉信息，对信息进行理解、提取、组织和处理，并为用户供应检索服务，从而起到信息导航的目的。 目前，搜寻引擎技术按信息标引的方式可以分为书目式搜寻引擎、机器人搜寻引擎和混合式搜寻引擎；按查询方式可分为阅读式搜寻引擎、关键词搜寻引擎、全文搜寻引擎、智能搜寻引擎；按语种又分为单语种搜寻引擎、多语种搜寻引擎和跨语言搜寻引擎等。 书目式搜寻引擎 书目式搜寻引擎（Directory Search Eng

3、ine）是最早出现的基于的搜寻引擎，以雅虎为代表，我国的搜狐也属于书目式搜寻引擎。 书目式搜寻引擎由分类专家将网络信息根据主题分成若干个大类，每个大类再分为若干个小类，依次细分，形成了一个可阅读式等级主题索引式搜寻引擎，一般的搜寻引擎分类体系有五六层，有的甚至十几层。 书目式搜寻引擎主要通过人工发觉信息，依靠编目员的学问进行甄别和分类。由于书目式搜寻引擎的信息分类和信息搜集有人的参加，因此其搜寻的精确度是相当高的，但由于人工信息搜集速度较慢，不能刚好地对网上信息进行实际监控，其查全率并不是很好，是一种网站级搜寻引擎。 机器人搜寻引擎 机器人搜寻引擎通常有三大模块：信息采集、信息处理、信息查询。

4、信息采集一般指爬行器或网络蜘蛛，是通过一个URL列表进行网页的自动分析与采集。起初的URL并不多，随着信息采集量的增加，也就是分析到网页有新的链接，就会把新的URL添加到URL列表，以便采集。 机器人搜寻引擎运用多线程并发搜寻技术，主要完成文档访问代理、路径选择引擎和访问限制引擎。基于机器人搜寻引擎的Web页搜寻模块主要由URL服务器、爬行器、存储器、URL解析器四大功能部件和资源库、锚库、链接库三大数据资源构成，另外还要借助标引器的一个协助功能。 详细过程是，URL服务器发送要去抓取的URL，爬行器依据URL抓取WEB页并送给存储器，存储器压缩Web页并存入数据资源库，然后由标引器分析每个W

5、EB页的全部链接并把相关的重要信息存储在锚库文件中。URL解析器读锚库文件并解析URL，然后依次转成docID。再把锚库中文本变成顺排索引，送入索引库。详细过程如图1所示。 元搜寻引擎 元搜寻引擎，也叫集搜寻引擎，是指在统一的的用户查询界面与信息反馈的形式下，共享多个搜寻引擎的资源库为用户供应信息服务的系统。元搜寻引擎是对搜寻引擎进行搜寻的搜寻引擎。 元搜寻与一般搜寻引擎的最大不同在于它可以没有自己的资源库和机器人，它充当一个中间代理的角色，接受用户的查询恳求，将恳求翻译成相应搜寻引擎的查询语法。在向各个搜寻引擎发送查询恳求并获得反馈之后，首先进行综合相关度排序，然后将整理抽取之后的查询结果返

6、回给用户。元搜寻引擎查全率高、搜寻范围更多更大，查准率也并不低。 元搜寻引擎包括Web服务器、结果数据库、检索式处理、Web处理接口、结果生成等几个部分，其中用户通过Web服务器访问元搜寻引擎，而元搜寻引擎则通过Web处理接口访问其它外部的搜寻引擎。其系统结构如图2所示。 用户通过WWW服务访问元搜寻引擎，向Web服务器提交检索式。当Web服务器收到查询恳求时，先访问结果数据库，查看近期是否有相同的检索，假如有则干脆返回保存的结果，完成查询；假如没有相同的检索，就分析检索式并转化成与所要查找各搜寻引擎相应的检索式格式，然后送至Web处理接口模块。 Web处理接口通过并行的方式同时查询多个搜寻引

7、擎，把全部的结果集中到一起。依据各搜寻引擎的重要性，以及所得结果的相关度，对结果进行抽取并排序，生成最终结果返回给用户。同时，把结果存到自己的数据库里，以备下次查询参考运用。 跨语言搜寻引擎 跨语言综合搜寻引擎是在一般的搜寻引擎基础上加了两个功能：不同语言提问之间的翻译和不同搜寻引擎检索结果的集成。跨语言搜寻引擎有两种状况，一种是架构在单一搜寻引擎的基础上，另一种是架构在多搜寻引擎的基础上。 目前探讨最多的是跨语言文本检索和跨语言语音检索。跨语言检索主要涉及信息检索和机器翻译两个领域的学问，但又不是这两种技术的简洁融合。跨语言检索系统的检索功能，可以利用现有的检索系统来实现，也可以重新构造新的

8、检索系统或检索功能模块来实现。 跨语言搜寻引擎的工作过程如下：用户向系统提交检索词，形成一个源语言的搜寻式，系统对搜寻式进行语言识别，识别出语种后，就对进行提问式的词法分析和结构分析，然后把这个分析过的搜寻式翻译成各种语言的搜寻式，最终把这一系列的搜寻式提交给系统进行检索就可以了。 检索结果是含有多个语种的页面。假如运用多搜寻引擎，转换成不同语言搜寻式时还须要留意各种搜寻引擎搜寻式表达方法的不同。例如，新浪网搜寻中文信息的结果比较好，那么就把提问词是中文的搜寻式转换成新浪网的搜寻式；雅虎对英文信息的搜寻结果比较好，那么就向雅虎提交提问词是英文的搜寻式。 关于多语种搜寻有这样几种状况：检索词为不同语种，检索结果也不同，这种状况是不经过翻译的，对搜寻引擎来讲是不区分的。比如在Google里输入“学问发觉 knowledge”，选择全部语种，那么只要网页里既有“学问发觉”又有“knowledge”就可以检索出来，不管该页面是中文的，还是英文或者是日文的，搜寻引擎并不识别检索词的语种，这不是真正的跨语言搜寻引擎。其次种状况是，检索词为同一语种，检索结果为不同语种。 （出处：