百度搜索引擎工作原理.pdf

《百度搜索引擎工作原理.pdf》由会员分享，可在线阅读，更多相关《百度搜索引擎工作原理.pdf（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、.工作原理编辑1、抓取网页。每个独立的搜索引擎都有自己的网页抓取程序爬虫 spider。爬虫 Spider顺着网页中的超链接，从这个网站爬到另一个网站，通过超链接分析连续访问抓取更多网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。2、处理网页。搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索效劳。其中，最重要的就是提取关键词，建立索引库和索引。其他还包括去除重复网页、分词中文、判断网页类型、分析超链接、计算网页的重要度/丰富度等。3、提供检索效劳。用户输入关键词进行检索，搜索引擎从索引数据库中找到匹配该关键词的

2、网页；为了用户便于判断，除了网页标题和URL 外，还会提供一段来自网页的摘要以及其他信息。搜索引擎根本工作原理搜索引擎编辑在搜索引擎分类局部我们提到过全文搜索引擎从网站提取信息建立网页数据库的概念。搜索引擎的自动信息搜集功能分两种。一种是定期搜索，即每隔一段时间 比方 Google一般是 28 天，搜索引擎主动派出“蜘蛛程序，对一定 IP 地址范围内的互联网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址参加自己的数据库。另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内 2天到数月不等定向向你的网站派出“蜘蛛程序，扫描你的网站并将有关信息存入数据库，以备用户查

3、询。由于搜索引擎索引规那么发生了很大变化，主动提交网址并不保证你的网站能进入搜索引擎数据库，因此目前最好的方法是多获得一些外部链接，让搜索引擎有更多时机找到你并自动将你的网站收录。当用户以关键词查找信息时，搜索引擎会在数据库中进行搜寻，如果找到与用户要求内容相符的网站，便采用特殊的算法通常根据网页中关键词的匹配程度，出现的位置、频次，链接质量等计算出各网页的相关度及排名等级，然后根据关联度上下，按顺序将这些网页链接返回给用户。目录索引编辑实用文档.与全文搜索引擎相比，目录索引有许多不同之处。首先，搜索引擎属于自动网站检索，而目录索引那么完全依赖手工操作。用户提交网站后，目录编辑人员会亲自浏览你

4、的网站，然后根据一套自定的评判标准甚至编辑人员的主观印象，决定是否接纳你的网站。其次，搜索引擎收录网站时，只要网站本身没有违反有关的规那么，一般都能登录成功。而目录索引对网站的要求那么高得多，有时即使登录屡次也不一定成功。尤其象 Yahoo!这样的超级索引，登录更是困难。此外，在登录搜索引擎时，我们一般不用考虑网站的分类问题，而登录目录索引时那么必须将网站放在一个最适宜的目录Directory。最后，搜索引擎中各网站的有关信息都是从用户网页中自动提取的，所以用户的角度看，我们拥有更多的自主权；而目录索引那么要求必须手工另外填写网站信息，而且还有各种各样的限制。更有甚者，如果工作人员认为你提交网

5、站的目录、网站信息不适宜，他可以随时对其进行调整，当然事先是不会和你商量的。目录索引，顾名思义就是将网站分门别类地存放在相应的目录中，因此用户在查询信息时，可选择关键词搜索，也可按分类目录逐层查找。如以关键词搜索，返回的结果跟搜索引擎一样，也是根据信息关联程度排列网站，只不过其中人为因素要多一些。如果按分层目录查找，某一目录中网站的排名那么是由标题字母的先后顺序决定也有例外。目前，搜索引擎与目录索引有相互融合渗透的趋势。原来一些纯粹的全文搜索引擎现在也提供目录搜索，如 Google 就借用 Open Directory目录提供分类查询。而象 Yahoo!这些老牌目录索引那么通过与Google

6、等搜索引擎合作扩大搜索范围注，在默认搜索模式下，一些目录类搜索引擎首先返回的是自己目录中匹配的网站，如国内搜狐、新浪、网易等；而另外一些那么默认的是网页搜索，如Yahoo。新竞争力通过对搜索引擎营销的规律深入研究认为：搜索引擎推广是基于网站内容的推广这就是搜索引擎营销的核心思想。这句话说起来很简单，如果仔细分析会发现，这句话确实包含了搜索引擎推广的一般规律。本文作者在“网站推广策略之内容推广思想漫谈一文中提出一个观点：“网站内容不仅是大型 ICP 网站的生命源泉，对于企业网站网络营销的效果同样是至关重要的。因为网站内容本身也是一种有效的网站推广手段，只是这种推广需要借助于搜索引擎这个信息检索工

7、具，因此网站内容推广策略实际上也就是搜索引擎推广策略的具体应用。百度谷歌编辑查询处理以及分词技术随着搜索经济的崛起，人们开始越加关注全球各大搜索引擎的性能、技术和日流量。作为企业，会根据搜索引擎的知名度以及日流量来选择是否要投放广告等；作为普通网民，会根据搜索引擎的性能和技术来选择自己喜欢的引擎查找资料；作为技术人员，会把有代表性的搜索引擎作为研究对象。搜索引擎经济的崛起，又一次向人们证明了网络所蕴藏的巨大商机。网络离开了搜索将只剩下空洞杂乱的数据，以及大量等待去费力挖掘的金矿。实用文档.但是，如何设计一个高效的搜索引擎？我们可以以百度所采取的技术手段来探讨如何设计一个实用的搜索引擎。搜索引擎

8、涉及到许多技术点，比方查询处理，排序算法，页面抓取算法，CACHE 机制，ANTI-SPAM 等等。这些技术细节，作为商业公司的搜索引擎效劳提供商比方百度，GOOGLE 等是不会公之于众的。我们可以将现有的搜索引擎看作一个黑盒，通过向黑盒提交输入，并根据黑盒返回的输出大致判断黑盒里面不为人知的技术细节。查询处理与分词是一个中文搜索引擎必不可少的工作，而百度作为一个典型的中文搜索引擎一直强调其“中文处理方面具有其它搜索引擎所不具有的关键技术和优势。那么我们就来看看百度到底采用了哪些所谓的核心技术。我们分两个局部来讲述：查询处理/中文分词。一、查询处理用户向搜索引擎提交查询，搜索引擎一般在接受到用

9、户查询后要做一些处理，然后在索引数据库里面提取相关的信息。那么百度在接受到用户查询后做了些什么工作呢？1、假设用户提交了不止一个查询串，比方“信息检索 理论 工具。那么搜索引擎首先做的是根据分隔符比方空格，标点符号，将查询串分割成假设干子查询串，比方上面的查询就会被解析为：三个子字符串；这个道理简单，我们接着往下看。2、假设提交的查询有重复的内容，搜索引擎怎么处理呢？比方查询“理论工具理论，百度是将重复的字符串当作只出现过一次，也就是处理成等价的“理论工具，而 GOOGLE显然是没有进行归并，而是将重复查询子串的权重增大进行处理。那么是如何得出这个结论的呢？我们可以将“理论工具提交给百度，返回

10、341,000 篇文档，大致看看第一页的返回内容。OK。继续，我们提交给GOOGLE 查询“理论工具理论，在看看返回结果，仍然是那么多返回文档，当然这个不能说明太多问题，那看看第一页返回结果的排序，看出来了吗？顺序完全没有变化，而 GOOGLE 那么排序有些变动，这说明百度是将重复的查询归并成一个处理的，而且字符串之间的先后出现顺序根本不予考虑GOOGLE 是考虑了这个顺序关系的。3、假设提交的中文查询包含英文单词，搜索引擎是怎么处理的？比方查询电影BT下载，百度的方法是将中文字符串中的英文当作一个整体保存，并以此为断点将中文切分开，这样上述的查询就切为，不管中间的英文是否一个字典里能查到的单

11、词也好，还是随机的字符也好，都会当作一个整体来对待。至于为什么，你用查询“电影 dfdfdf 下载看看结果就知道了。当然如果查询中包含数字，也是如此办理。优化核心编辑1、网站的程序架构要尽量保持简洁，去除花俏的代码，你可以尝试用JS 调用。此点甚为重要，搜索引擎优化本身就与用户体验互通互倚，相互结合，况且繁琐的代码不但会影响网站页面的加载速度，还会让用户感觉到压力山大，因此绝不是明智之举。2、做足站内 SEO 的细节功夫。从大范围上讲，是要对程序结构进行趋简洁化的修正，而细节来说，就是在URL 静态化，title、keyword、description 的写法，当然，keyword 已经不被搜

12、索引擎投以任何的重视。实用文档.3、做足站外 SEO 的方方面面。包括交换友情链接的注意和做普通外链时候应该如何操作、控制等。切勿想着走捷径，想着群发外链或者一次性购置大量高权重外链等，这些是SEO 的错误思维和策略。我们一般推荐大家做一般性传统SEO。4、每一个 SEOer 都应该认清楚搜索引擎优化的最根本目的就是为了获得用户，因此用户体验不能够无视。我们在搜索引擎上获得排名的原因也是因为我们为用户提供了有价值的内容。因此，在开展方向上，无论你是站长还是专业的SEOer，都应该朝着做用户、做产品、做效劳的方面去开展，而不应该局限于SEO，此点甚为重要。SEO 优化编辑网站 url网站创立具有

13、良好描述性、标准、简单的url，有利于用户更方便的记忆和判断网页的内容，也有利于搜索引擎更有效的抓取您的网站。网站设计之初，就应该有合理的 url 规划。处理方式：1.在系统中只使用正常形式url，不让用户接触到非正常形式的url。session id、统计代码等不必要的内容放在url 中。3.不同形式的 url，301 永久跳转到正常形式。域名，301 永久跳转到主域名。robots.txt 禁止 Baiduspider 抓取您不想向用户展现的形式。title 信息网页的 title 用于告诉用户和搜索引擎这个网页的主要内容是什么，而且当用户在百度网页搜索中搜索到你的网页时，title 会作

14、为最重要的内容显示在摘要中。搜索引擎在判断一个网页内容权重时，title 是主要参考信息之一。描述建议：1.首页：网站名称 或者 网站名称_提供效劳介绍 or 产品介绍。2.频道页：频道名称_网站名称。3.文章页：文章 title_频道名称_网站名称。需要注意：1.标题要主题明确，包含这个网页中最重要的内容。2.简明精练，不罗列与网页内容不相关的信息。3.用户浏览通常是从左到右的，重要的内容应该放到title 的靠前的位置。4.使用用户所熟知的语言描述。如果你有中、英文两种网站名称，尽量使用用户熟知的那一种做为标题描述。meta 信息meta description 是 meta 标签的一局部

15、，位于 html 代码的区。实用文档.meta description 是对网页内容的精练概括。如果description 描述与网页内容相符，百度会把 description 当做摘要的选择目标之 一，一个好的 description 会帮助用户更方便的从搜索结果中判断你的网页内容是否和需求相符。meta description不是权值计算的参考因素，这个标签存在与否不影响网页权值，只会用做搜索结果摘要的一个选择目标。推荐做法：1.网站首页、频道页、产品参数页等没有大段文字可以用做摘要的网页最适合使用description。2.为每个网页创立不同的 description，防止所有网页都使用

16、同样的描述。3.长度合理，不过长不过短。图片 alt建议为图片加 alt 说明。因为这样做可以在网速较慢图片不能显示时让用户明白图片要传达的信息，也能让搜索引擎了解图片的内容。同理，使用图片做导航时，也可以使用alt 注释，用 alt 告诉搜索引擎所指向的网页内容是什么。flash 信息Baiduspider 只能读懂文本内容，flash、图片等非文本内容暂时不能处理，放置在 flash、图片中的文字，百度无法识别。所以如果一定要使用 flash，建议给 object 标签添加注释信息。这些信息会被看作是对Flash 的描述信息。让搜索引擎更好的了解您flash 的内容。frame 框架不建议使用 frame 和 iframe 框架结构，通过 iframe 显示的内容可能会被百度丢弃。实用文档.