搜索引擎技术及研究.docx

《搜索引擎技术及研究.docx》由会员分享，可在线阅读，更多相关《搜索引擎技术及研究.docx（6页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、搜索引擎技术及研究搜索引擎技术及研究引言随着计算机网络技术的飞速发展，人们要在互联网的海量信息中查找本人所需的信息，就要使用搜索引擎，搜索引擎已经成为人们获取信息的重要手段。搜索引擎从广义的角度来讲，是指互联网上提供用户检索接口并且具有检索功能的网站，它能帮助人们在互联网中查找到所需要的信息;从狭义的角度来讲，搜索引擎是指根据某种策略、运用特定的计算机程序从网络上搜集要查找的信息，对信息进行组织和处理后，为用户提供检索服务，将用户检索的相关信息展现给用户的系统。1搜索引擎的发展历程搜索引擎是伴随互联网的发展而产生和发展的，互联网已成为人们学习、工作和生活中不可缺少的平台，几乎每个人上网都会使用

2、搜索引擎。搜索引擎大致经历了四代的发展。1.1第一代搜索引擎1994年第一代真正基于互联网的搜索引擎lycos诞生，它以人工分类目录为主，代表厂商是yahoo，特点是人工分类存放网站的各种目录，用户通太多种方式寻找网站，如今也还有这种方式存在。1.2第二代搜索引擎随着网络应用技术的发展，用户开场希望对内容进行查找，出现了第二代搜索引擎，也就是利用关键字来查询。最具代表性、最成功的是google，它建立在网页链接分析技术的基础上，使用关键字对网页搜索，能够覆盖互联网的大量网页内容，该技术能够分析网页的重要性后，将重要的结果呈现给用户。1.3第三代搜索引擎随着网络信息的迅速膨胀，用户希望能快速并且

3、准确的查找到本人所要的信息，因而出现了第三代搜索引擎。相比前两代，第三代搜索引擎愈加注重个性化、专业化、智能化，使用自动聚类、分类等人工智能技术，采用区域智能识别及内容分析技术，利用人工参与，实现技术和人工的完美结合，加强了搜索引擎的查询能力。第三代搜索引擎的代表是google，它以宽广的信息覆盖率和优秀的搜索性能为发展搜索引擎的技术创始了崭新的局面。1.4第四代搜索引擎随着信息多元化的快速发展，通用搜索引擎在目前的硬件条件下要得到互联网上比拟全面的信息是不太可能的，这时，用户就需要数据全面、更新及时、分类细致的面向主题搜索引擎，这种搜索引擎采用特征提取和文本智能化等策略，相比前三代搜索引擎更

4、准确有效，被称为第四代搜索引擎1。2搜索引擎的分类搜索引擎按工作方式分为三类：目录索引类搜索引擎、全文搜索引擎和元搜索引擎2。2.1目录索引类搜索引擎2.2全文搜索引擎目前全文搜索引擎是主流的搜索引擎，人们经常讲的搜索引擎一般都是指全文搜索引擎，典型的代表有google、百度、搜狗等。这类搜索引擎利用网络蜘蛛在网络中搜索，再抓取原始网页，存放于本地数据库并对原始网页进行加工，然后建立网页内容索引。系统在检索阶段，索引后台数据库并寻找和用户查询条件相匹配的网页，把这些网页根据相应规则排序后将结果按顺序返回给用户。在搜索引擎的界面上，用户输入要查询的关键字，就能够找到互联网中与之相关的网页。2.3

5、元搜索引擎元搜索引擎是将用户的搜索请求同时提交给多个独立搜索引擎，然后集中处理搜索结果，按统一格式返回给用户，故又被称为搜索引擎之上的搜索引擎。该搜索引擎的特点是本身不上一页下一页保存网页信息内容，假如有用户输入查询请求，它把请求转换成其它搜索引擎能够接受的命令格式，同时访问多个搜索引擎查询该关键词，最后将搜索引擎返回的结果处理后提交给用户。总之，目录索引类搜索引擎的缺点是信息覆盖量不大、更新慢，元搜索引擎要等待所有搜索引擎提交结果并进行处理，速度通常比拟慢，因而全文搜索引擎是人们研究的重点。3搜索引擎的工作原理搜索引擎通常由搜索器、索引器、检索器和用户接口四部分组成3。系统先由搜索器采集网页

6、内容，再通过索引器分析采集的内容并建立索引，然后由检索器响应用户的检索请求，当用户输入查询关键字后，搜索器用关键字与索引器进行匹配，作相关性排序后通过用户接口给用户返回结果。搜索引擎的工作流程能够简单的描绘为：网络蜘蛛定期在互联网上爬行，当发现新的页面时，将其取出并存放到本地数据库中，用户可通过查询本地数据库得到结果。大致可概括为抓取网页、加工整理、查询服务三个阶段。抓取网页阶段：每个独立的搜索引擎都有本人的网络蜘蛛，它每隔一定的时间自动启动，从数据库获得url列表，根据某种策略抓取列表指定的网站，并将抓到的网页存入数据库，然后把新的url存入数据库。理论上，从一定范围网页出发，就能够搜集到绝大多数网页。加工整理阶段：搜索引擎抓到网页后，再做大量的预处理工作，对网页文档建立倒排索引，将索引更新到索引数据库，并提取网页链接信息，存入链接数据库，为网页评级做准备。查询服务阶段：搜索引擎待用户输入关键词，从索引数据库找到匹配该关键词的网页，通过网页评级对结果进行排序处理，最后将结果反应给用户。上一页下一页