2022年网络爬虫设计 .pdf

UindexWeb 使用说明UindexWeb使用说明最新修订：2009-9-2名师资料总结-精品资料欢迎下载-名师精心整理-第 1 页，共 21 页 -UindexWeb 使用说明声明下文所描述UindexWeb具有的特性或功能，并未经过严格测试。因此请不要将此程序用于重要领域，比如金融，取证等对算法失败具有严格要求的场合。作者虽已向更加完善的方向努力，只是考虑到不能穷举所有场合；无法保证在某些环境下计算结果正确。UindexWeb是我在大学时期，大约是2006 年夏季开始编写的，一直以来也都是单独维护代码；因此由此所带来的局限性可想而知。目前通过共享代码的方式提供给大家使用，很少收到反馈，程序中的潜在Bug一定非常之多！最近一段时间我开始着手改善；也加入了错误报告功能；方便普通用户协助我查找问题。实验测试多天连续运行，较少出现Crash，内存占用保持在40M以内，暂停搜索后内存占用约 1.6M，可见也无明显内存泄露。UindexWeb遵守 LGPL 并附加一项条款：即如果您修改了UindexWeb本身的代码，您应将此部分修改的代码开放。名师资料总结-精品资料欢迎下载-名师精心整理-第 2 页，共 21 页 -UindexWeb 使用说明声明.21：读者.42：特性.53：功能简介.63.1 任务菜单.63.2 模式菜单.73.3 设置菜单.73.4 帮助菜单.84：配置 UindexWeb.94.1 综合设置.94.2 搜索策略.94.3 消息模式.104.4SQL Server2000.105：高级主题.115.1 编译 UindexWeb.115.2 信息片算法简介.125.3 搜索引擎简介.155.4Lucene.Net简介.176：常见问题.196.1FAQS.196.2 关于作者.20名师资料总结-精品资料欢迎下载-名师精心整理-第 3 页，共 21 页 -UindexWeb 使用说明1：读者本软件的主要目的是协助那些需要在自己的网站，或网站群加入搜索功能的人编写的；作为一个开放源代码的网络爬虫（WebSpider），他目前的性能测试如下：以每周更新一次，一台机器进行爬行算，采集到的数据量大约是100 万页，如果您需要进行更大规模的搜索；比如超过千万网页的网站，像百度谷歌那样的规模，那现在的存储体系需要略加修改，用以支持分布式存储，那个时候存储将是最重要的问题，如果你有这方面的想法，请别犹豫立刻就联系我！名师资料总结-精品资料欢迎下载-名师精心整理-第 4 页，共 21 页 -UindexWeb 使用说明2：特性1：源代码开放，您可以自由的修改以实现想要的特殊功能2：模块化设计，以组件的形式封装算法3：独到的信息片算法，最大限度的排除冗余资讯4：支持站点以XML 格式进行导入导出5：支持全局违禁关键字，指定站点关键字，特殊URL 进行检查，过滤6：多线程设计，即使全速运行，仍不会出现卡的现象7：支持搜索完成后退出，自动关机等自动操作8：内嵌错误报告机制，可以在用户操作过程中生成错误报告9：有内置的测试搜索功能，不需要建立索引即可快速体验搜索功能10：支持 DebugView 等外部调试信息查看工具，方便调试11：有专用网站跟踪错误报告，做到不遗漏每个Bug12：有专用QQ 群，目前2 个群均已满员，正考虑再建立新群名师资料总结-精品资料欢迎下载-名师精心整理-第 5 页，共 21 页 -UindexWeb 使用说明3：功能简介下图就是UindexWeb R4.5 版本的主界面，它一共有4 个主菜单和2 个左边栏菜单；贝贝和京京是作者为搜索线程取的较为友好的名字，他们是配置文件中指定的，细节可以参考UindexWeb.ini 配置文件。再往下则是算法进度指示条，日志记录框，和状态栏，其中状态栏中那个空白的一格是信息片饱和度，它表示了当前网站信息片重复的概率。图 1：UindexWeb 主界面3.1 任务菜单新建任务：用于创建新的搜索任务，即从站点管理器中指定的入口开始一次新的搜索旅程继续上次任务：用于恢复上次被暂停的任务暂停任务：用于打断正在运行的任务名师资料总结-精品资料欢迎下载-名师精心整理-第 6 页，共 21 页 -UindexWeb 使用说明添加新网站：向站点管理器中添加您自己的站点及其入口，这样做的好处是，即使不处于全互联网开放的搜索模式下，您所添加的网站也一定会被搜索到。站点管理器：用于显示目前已收录的所有站点站点导入导出：使用XML 格式的文本文件进行站点的导入导出输出违禁网页：打印含有违禁关键子的网页，需要开启违禁网页标记功能退出搜索：结束应用程序3.2 模式菜单其中的标准，多核和极速分别代表了需要使用的线程数量；针对不同的机器配置选用不同的线程数。减少 CPU 占用：在进行密集计算的过程中插入任务调度语句，避免其他程序因CPU 被 100%占用而导致卡住。自动清理消息：日志记录框的内容，有些可能需要一直保存用于分析问题，反选此项可以避免消息被冲掉。3.3 设置菜单测试 Web 搜索：这项功能的目的是测试一下，收录的网页内容，它不依赖IIS,Apache，会自己提供Web 服务，用于搜索，目前只提供标题搜索功能。数据库清理：该菜单会清除掉数据库中存储的所有待搜索的URL，已搜索到的网页、文件。重设站点状态：该菜单会将所有站点的状态设置为等待搜索。压缩数据库：在使用Access桌面数据库的情况下，该菜单用于压缩数据库。?仅在 R4.5Build4488 之前的版本中有此功能，后续版本将不再针对某特殊数据库增删功能。搜索完成后：目前支持完成后退出，注销登陆用户和关闭计算机。搜索选项：这个菜单牵涉到的内容太多，以至于需要单独的一章来说明，参考第4 章，配置 UindexWeb。名师资料总结-精品资料欢迎下载-名师精心整理-第 7 页，共 21 页 -UindexWeb 使用说明3.4 帮助菜单这个 菜 单 主 要 提 供 相 关 的 更 新，以 及 帮 助 文 件 和 版 权 信 息，网 站 的 地 址http:/ 8 页，共 21 页 -UindexWeb 使用说明4：配置 UindexWeb配置部分一共分为3 页，即综合设置，搜索策略和消息模式。4.1 综合设置如下是综合设置选项卡的内容；图 2：综合设置选项卡搜索类型：指明了在每次搜索之前是否删除前次搜索的结果，默认是不删除的；他的好处是在经过多次搜索以后，已收录而且从未更新的网页将会被保留下来，从而收录到更多的网页。蜘蛛家族：即UserAgent，该项指定访问网页时填写的UA，Uindex 目前的签名版本是4.0，如果您不愿意被收录，可以根据这个标志做特殊处理。默认收录：即一次搜索要尝试的页数，如果选中全互联网搜索，将把新发现的站点也收录进来；如果选中本站子级站点，将在搜索过程中把次级域名也作为站点收录。允许错误：即发生多少次访问错误后，放弃对该站点更加深入的搜索。自定义数据库：目前可以支持Access 和 SQL Server2000 这两种数据库，其余的类型均没有测试。名师资料总结-精品资料欢迎下载-名师精心整理-第 9 页，共 21 页 -UindexWeb 使用说明4.2 搜索策略记录嵌入的脚本和文件：即记录网页上出现的嵌入内容。在结果中标记违禁网页：即如果该网页被收录，并且该网页的内容含有违禁词汇，将在数据库中做出特殊标记。这一标记即UindexWeb_WebPage 数据表中的WPBadWord 字段，如果该字段为1 表示含有违禁内容。不收录含有违禁内容的网页：选中此项后上述违禁标记功能失效，将直接跳过对违禁网页的收录。URL 最大长度：目前规定为255 字符，多于255 字符将不被收录。网页最大处理时间：这个实际上是下载时间，目前默认最多10 秒信息片缓存个数：默认512 片网页最大长度：目前默认最大为300KB4.3 消息模式界面实时刷新：即使在高速运算的过程中，仍照顾用户界面看上去不是很忙，不是那么卡。启用 URL 屏蔽：对在UindexWeb_FobidenUrl 表中指定的所有URL 进行比较，含有禁止部分的 URL 会遭到屏蔽。建议启用输出调试信息：如果想使用DebugView 等后台调试工具，开启此开关用来观察程序的运行流程。显示连接和信息片：打印更加细节的计算步骤，不建议打开。保存参数的同时即生效：即将当前参数立即应用。对网页实施高精度分片：建议开启，可以大幅度降低信息冗余。正在运行时关闭程序不用提示：在运行的过程中，右上角的号是最小化到Icon 栏，在暂停或停止状态下，是关闭程序。这个选项的功能是如果直接点退出而不是点的情况下是否给予提示。当设置为自动关机时不用数秒：即搜索完成后，直接关机，不必再从60 秒数到 0 再关机。名师资料总结-精品资料欢迎下载-名师精心整理-第 10 页，共 21 页 -UindexWeb 使用说明4.4SQL Server2000参考根目录的UindexWeb.sql 脚本用于建立UindexWeb 数据库。名师资料总结-精品资料欢迎下载-名师精心整理-第 11 页，共 21 页 -UindexWeb 使用说明5：高级主题5.1 编译 UindexWebUindexWeb 是用 Delphi7 编写的，编译它除了需要安装Delphi7 之外还需要安装以下组件：1：JEDI Code Library v 1.104网址 http:/ http:/ v6网址 http:/www.overbyte.be4：FlatStyle网址 http:/ UindexWeb 源码附带，网址http:/ Delphi7 打开 UindexWeb.dpr 即可正常编译，需要注意的是，安装JEDI 的时候要选上 Debug Exception Hook 单元，默认是不选的，然后在 Delphi7 的 Project-Property-Linker选项中选中生成Detialed Map，这样调试功能即可使用。名师资料总结-精品资料欢迎下载-名师精心整理-第 12 页，共 21 页 -UindexWeb 使用说明5.2 信息片算法简介在编写网页搜索的过程中,网页冗余和内容冗余是个非常严重的问题,信息片算法就是为了解决这个问题而设计的算法。正文:传统的搜索引擎对网页原代码基本上都是完全保存的,网页的内容块存在很多重复,比如网页的导航条，页脚的版权信息，最新文章10 篇等等，假设有一种算法可以获得每张网页的新信息，抛弃臃余，这样不是很好吗？在描述算法实现之前思考以下问题:1:如何避免同一网站多个域名的问题?比如 完全抄袭 如何避免收录 的内容?2:还以 CSDN 为例，网站的每一频道都有个导航条，第2 书店,人才,外包等，如何避免收录这些内容?好，现在搜索蜘蛛来到CSDN,抓取首页,为首页拆分信息片，注意不是全文一股脑地去除 HTML 标签，而是首先分成信息片,大家都知道在html 中标签大多数是成对的,(不成对的如 跳过),这也为信息片算法提供了可能,比如当标签内的有效信息超过10 字符作为信息片,有效字符的判断完全取决于你的要求,比如为实现搜索,把算为有效信息片，以下是我的测试结果:第 1 片:CSDN.NET-中国最大的开发者网络，为开发人员和相关企业提供全面的信息服务和技术服务 第 2 片:这一行因为每个 的内容均不满10 个,所以取上级标签【登 录】/li>【免费注册】/a>同上第 3 片:首页新闻 社区 文档Blog知识库.NETJava 移动游戏 管 理 人才外 包 搜 索这样顺次对CSDN 的首页进行分片,比如得到150 片,拆分方式不同则片数有所不同,好了,暂时不要写入数据库，先临时存起来，下面开始第二页,例如 http:/ 1 片:CSDN新闻频道 2.0 Beta 第 2 片:【登录】/li>【免费注册】/a>第 3 片:首页新闻 社区 文档Blog知识库.NETJava 移动游戏 管 理 人才外 包 搜 索第 4 片:厂商专区 IBM专区 微软 ClubSUN专区 Intel专区 BEA专区 TelelogiciAnywhereIJS 专区 人邮出版 看出结论了吗?由于合理的实行分片,直接导致出现第2 片，第 3 片完全相同的现象,也就是说，http:/ 片和第 4 片，不需要纪录第2 片，第 3 片，将上名师资料总结-精品资料欢迎下载-名师精心整理-第 14 页，共 21 页 -UindexWeb 使用说明述一系列的过程在CSDN 进行完毕，就得到了所有的信息片，数据库中只需要纪录这些信息片的有效内容就可以了，然后将CSDN 的每个信息片指派给一个URL 地址，并为信息片建立索引，这样一来由于数据量的大大减小,速度自然提高。可能有人问,假设两个网页都包含信息片x，把它判给谁呢?答案是可以比较目录深度、参数等，再比如比较外部链接指向次数，比较default,index,home,main 顺序，比较文档名长度,比整理后参数的大小,如果跨站比较还可以比较网站权威值,比较连通时间连通概率等。好了，现在想一想，当初提出的两个问题解决了吗，还在为判断重复网页重复内容发愁吗？是不是有很大的改善？这里描述的算法还有很多问题没有考虑的，比如恶意制造的蜘蛛陷阱如何避免，在什么样的规模实施拆分信息片等等。名师资料总结-精品资料欢迎下载-名师精心整理-第 15 页，共 21 页 -UindexWeb 使用说明5.3 搜索引擎简介Uindex 的系统结构如下图所示，蜘蛛程序将抓取回来的每一个网页放于数据库中，数据库可以是由ADO 驱动的 Access(典型),SQL server 等等，直到搜索完成；然后全文索引建立程序会依据数据库建立全文检索目录，供网页程序使用，当用户使用搜索引擎时，他看到的是网页程序的搜索界面，在网页中键入检索关键字，然后网页程序开始在全文检索目录中搜索该关键字，并以网页的形式向用户返回搜索结果，这样一次搜索完成。搜索引擎并不真正搜索互联网，它搜索的实际上是预先整理好的网页,这些网页正是由蜘蛛程序抓取回来后整理出来的,抓取完成后分词程序将从这些结果中拆分关键词,然后索引程序依据关键词生成类似词典的数据文件,即索引文件。搜索引擎其实也不能真正理解搜索用户所输入关键词的意思，它要根据一定的算法去在词典的数据文件中查找最匹配的词,然后把这些网页按照一定顺序排列给用户,这些搜索引擎，通常收集了互联网上几千万到几十亿个网页,然后将网页中的字词生成索引文件。当用户查找某个关键词的时候,搜索引擎在索引文件中查找,结果所有内容中包含了该关键词的网页都将作为搜索结果被找出来。在经过排序后，将这些结果显示给搜索用户。上述搜索引擎的原理过程，可以看做三步：从互联网上抓取网页建立索引文件用户搜索索引文件,下面依次介绍这三步。从互联网上抓取网页:利用能够从互联网上自动收集网页的蜘蛛程序，自动访问互联网，他将从一个网页入口沿着网页中的所有有效URL 爬到其它网页，重复这过程，同时把爬过的所有网页收集到数据库中。建立索引文件:由索引建立程序对收集回来的网页进行分析，提取相关网页信息（包括网页所在URL、编码类型、页面内容包含的所有关键词、关键词位置、生成时间、大小、与其它网页的链接名师资料总结-精品资料欢迎下载-名师精心整理-第 16 页，共 21 页 -UindexWeb 使用说明关系等），根据一定的相关度算法进行计算，得到网页针对页面文字及超链中关键词的重要性(PR），然后用这些相关信息建立网页索引文件。用户搜索索引文件:当用户输入关键词搜索后，由搜索系统程序从网页索引文件中找到符合该关键词的所有相关网页。因为所有相关网页针对该关键词的相关度早已算好，所以只需按照现成的相关度数值排序，相关度越高，排名越靠前，然后由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户,这样搜索任务全部完成。搜索引擎的蜘蛛一般要定期重新访问所有网页（各搜索引擎的周期不同，可能是几天、几周或几月，也可能对不同重要性的网页有不同的更新频率），更新网页索引文件，以反映出网页文字的更新情况，增加新的网页信息，去除死链接，并根据网页文字和链接关系的变化重新排序。这样，网页的具体文字变化情况就会反映到用户查询的结果中。互联网虽然只有一个，但各搜索引擎的能力和偏好不同，所以抓取的网页各不相同，排序算法也各不相同。大型搜索引擎的数据库储存了互联网上几千万至几十亿的网页索引，数据量达到几千G 甚至几万G。但即使最大的搜索引擎建立超过百亿网页的索引文件，也只能占到互联网上普通网页的不到25%，不同搜索引擎之间的网页数据重叠率一般在65%以下。我们使用不同搜索引擎的重要原因，就是因为它们能分别搜索到不同的网页。而互联网上有更大量的网页，是搜索引擎无法抓取索引的，也是我们无法用搜索引擎搜索到的。现在你心里应该有这个概念：搜索引擎搜索的其实是它的网页索引文件里早已储存的网页文字信息。名师资料总结-精品资料欢迎下载-名师精心整理-第 17 页，共 21 页 -UindexWeb 使用说明5.4Lucene.Net简介Lucene.Net 是一个高性能的C#全文检索工具包，它使用的是倒排文件索引结构,该结构及相应的生成算法如下：0）设有两篇文章1和 2文章 1 的内容为：Tom lives in Guangzhou,I live in Guangzhou too.文章 2 的内容为：He once lived in Shanghai.1)由于 Lucene.Net 是基于关键词索引和查询的，首先我们要取得这两篇文章的关键词，通常我们需要如下处理措施a.我们现在有的是文章内容，即一个字符串，我们先要找出字符串中的所有单词，即分词。英文单词由于用空格分隔，比较好处理。中文单词间是连在一起的需要特殊的分词处理。b.文章中的”in”,“once”“too”等词没有什么实际意义，中文中的“的”“是”等字通常也无具体含义，这些不代表概念的词可以过滤掉c.用户通常希望查“He”时能把含“he”，“HE”的文章也找出来，所以所有单词需要统一大小写。d.用户通常希望查“live”时能把含“lives”，“lived”的文章也找出来，所以需要把“lives”，“lived”还原成“live”e.文章中的标点符号通常不表示某种概念，也可以过滤掉在 Lucene.Net 中以上措施由Analyzer 类完成，经过上面处理后文章 1 的所有关键词为：tom live guangzhou i live guangzhou文章 2 的所有关键词为：he live shanghai2)有了关键词后，我们就可以建立倒排索引了。上面的对应关系是：“文章号”对“文章中所有关键词”。倒排索引把这个关系倒过来，变成：“关键词”对“拥有该关键词的所有文章号”。文章 1，2 经过倒排后变成关键词文章号guangzhou1he2i1live1,2shanghai2tom1通常仅知道关键词在哪些文章中出现还不够，我们还需要知道关键词在文章中出现次数和出现的位置，通常有两种位置：a)字符位置，即记录该词是文章中第几个字符（优点是关键词亮显时定位快）；b)关键词位置，即记录该词是文章中第几个关键词（优点是节约索引空间、词组（phase）查询快），Lucene.Net 中记录的就是这种位置。名师资料总结-精品资料欢迎下载-名师精心整理-第 18 页，共 21 页 -UindexWeb 使用说明加上“出现频率”和“出现位置”信息后，我们的索引结构变为：关键词文章号 出现频率 出现位置guangzhou123，6he211i114live12,212，5，2shanghai213tom111以 live 这行为例我们说明一下该结构：live 在文章 1 中出现了 2 次，文章 2 中出现了一次，它的出现位置为“2,5,2”这表示什么呢？我们需要结合文章号和出现频率来分析，文章1 中出现了 2 次，那么“2,5”就表示 live 在文章 1 中出现的两个位置，文章 2 中出现了一次，剩下的“2”就表示live 是文章 2 中第2 个关键字。以上就是Lucene.Net 索引结构中最核心的部分。我们注意到关键字是按字符顺序排列的（Lucene.Net 没有使用 B 树结构），因此Lucene.Net 可以用二元搜索算法快速定位关键词。实现时Lucene.Net 将上面 三 列 分别 作 为 词典 文 件（Term Dictionary）、频率 文 件(frequencies)、位置文件(positions)保存。其中词典文件不仅保存有每个关键词，还保留了指向频率文件和位置文件的指针，通过指针可以找到该关键字的频率信息和位置信息。Lucene.Net 中使用了field 的概念，用于表达信息所在位置（如标题中，文章中，url 中），在建索引中，该field 信息也记录在词典文件中，每个关键词都有一个field 信息(因为每个关键字一定属于一个或多个field)。为了减小索引文件的大小，Lucene.Net 对索引还使用了压缩技术。首先，对词典文件中的关键词进行了压缩，关键词压缩为，例如：当前词为“阿拉伯语”，上一个词为“阿拉伯”，那么“阿拉伯语”压缩为。其次大量用到的是对数字的压缩，数字只保存与上一个值的差值（这样可以减小数字的长度，进而减少保存该数字需要的字节数）。例如当前文章号是16389（不压缩要用3 个字节保存），上一文章号是16382，压缩后保存 7（只用一个字节）。下面我们可以通过对该索引的查询来解释一下为什么要建立索引。假设要查询单词“live”，Lucene.Net 先对词典二元查找、找到该词，通过指向频率文件的指针读出所有文章号，然后返回结果。词典通常非常小，因而，整个过程的时间是毫秒级的。而用普通的顺序匹配算法，不建索引，而是对所有文章的内容进行字符串匹配，这个过程将会相当缓慢，当文章数目很大时，时间往往是无法忍受的。名师资料总结-精品资料欢迎下载-名师精心整理-第 19 页，共 21 页 -UindexWeb 使用说明6：常见问题6.1FAQSQ：为何网页http:/xxx 被收录了但是没有标题?A：看一下相似地址的网页就知道了，很可能100 个网页都叫那个名字，所以这个名字反而成了冗余信息。Q：我的网页明明是http:/xxxx/xx.php为什么会被放在FileList 那张表呢?A：最有可能的是，链接语法有误，比如被写成了javascript src=.或者 embed src 等非法的网页形式。Q：我设置了默认收录256 张网页，可是站点完成后实际才收录207(255)张网页？A：目前的默认收录是指所做尝试的次数，而不是实际收录的张数，即尝试收录256 张网页，但是在这总计256 张中存在被算法拒绝收录的页面，比如页面字符过少，页面内容超过上限，总之并不是精确能收录到多少张。名师资料总结-精品资料欢迎下载-名师精心整理-第 20 页，共 21 页 -UindexWeb 使用说明6.2 关于作者真实姓名：曾俊以前编写并发到网上的软件主要有PowerDOS，SafeUSB，UindexWeb 等；喜欢的计算机语言 C/Pascal；已从事两年嵌入式软件开发工作，因此对ARM 略有了解。欢迎联系：ZengJunOpenCPU.ComQQ：6501202名师资料总结-精品资料欢迎下载-名师精心整理-第 21 页，共 21 页 -