2022年网络数据爬虫调查结果 .pdf

《2022年网络数据爬虫调查结果 .pdf》由会员分享，可在线阅读，更多相关《2022年网络数据爬虫调查结果 .pdf（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、对网页爬虫的调查结果调查人：王杨斌对于爬虫工具以及代码的调查，主要调查的内容是关于PHP 和 Java 的工具代码。1. Java类爬虫1.1. JAVA 爬虫WebCollector 爬虫简介：WebCollector 1 是一个无须配置、 便于二次开发的JAVA爬虫框架 （内核） ，它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。爬虫内核：WebCollector 致力于维护一个稳定、 可扩的爬虫内核， 便于开发者进行灵活的二次开发。内核具有很强劲。1.2. Web-Harvest Web-Harvest 2 是一个用 Java语言编写的是网络爬虫工具，应用比较广泛。其可以收

2、集指定的页面并从这些页面中提取有用的数据。Web-Harvest 是一个 Java开源 Web 数据抽取工具。它能够收集指定的Web 页面并从这些页面中提取有用的数据。Web-Harvest 主要是运用了像XSLT,XQuery,正则表达式等这些技术来实现对text/xml 的操作。1.3. Java 网页爬虫JSpider JSpider 3 是一个用 Java 实现的 WebSpider。JSpider 的行为是由配置文件具体配置的，比如采用什么插件，结果存储方式等等都在目录下设置。 JSpider默认的配置种类很少，用途也不大。但是JSpider非常容易扩展，可以利用它开发强大的网页抓取

3、与数据分析工具。要做到这些， 需要对 JSpider的原理有深入的了解，然后根据自己的需求开发插件，撰写配置文件。1.4. web爬虫Heritrix Heritrix 4 是一个开源，可扩展的web 爬虫项目。用户可以使用它来从网上抓取想要的资源。 Heritrix 设计成严格按照robots.txt 文件的排除指示和META robots 标签。其最出色之处在于它良好的可扩展性,方便用户实现自己的抓取逻辑。Heritrix 是一个爬虫框架，其组织结构包含了整个组件和抓取流程。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名

4、师精心整理 - - - - - - - 第 1 页，共 5 页 - - - - - - - - - 1.5. webmagic logo 垂直爬虫webmagic Webmagic 5 的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。webmagic 采用完全模块化的设计，功能覆盖整个爬虫的生命周期 (链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie 等功能。1.6. Java 多线程 Web 爬虫Crawler4j Crawler4j 6 是一个开源的Java类库提供一个用于抓取Web

5、 页面的简单接口。可以利用它来构建一个多线程的Web 爬虫。1.7. Java 网络蜘蛛 / 网络爬虫Spiderman Spiderman 7 是一个基于微内核+插件式架构的网络蜘蛛，它的目标是通过简单的方法就能将复杂的目标网页信息抓取并解析为自己所需要的业务数据。2. C/C+ 类爬虫2.1. 网站爬虫Grub Next Generation Grub Next Generation 8是一个分布式的网页爬虫系统，包含客户端和服务器可以用来维护网页的索引。其开发语言：C/C+ Perl C# 。2.2. 网页爬虫Methanol Methanol 9 是一个模块化的可定制的网页爬虫软件，主

6、要的优点是速度快。2.3. 网络爬虫 / 网络蜘蛛larbin Larbin 10 是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人S bastien Ailleret 独立开发。 larbin 目的是能够跟踪页面的url 进行扩展的抓取，最后为搜索引擎提供广泛的数据来源。 Larbin 只是一个爬虫，也就是说 larbin 只抓取网页，至于如何parse 的事情则由用户自己完成。 另外，如何存储到数据库以及建立索引的事情larbin 也不提供。一个简单的larbin的爬虫可以每天获取万的网页。利用 larbin ，我们可以轻易的获取/确定单个网站的所有链接，甚至可以镜像一个网站；也可以用它建立

7、url 列表群，例如针对所有的网页进行url retrive 后，进行xml 的联结的获取。或者是mp3，或者定制larbin，可以作为搜索引擎的信息的来源。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 5 页 - - - - - - - - - 2.4. 死链接检查软件Xenu Xenu Link Sleuth 11 也许是你所见过的最小但功能最强大的检查网站死链接的软件了。你可以打开一个本地网页文件来检查它的链接，也可以输入任何网址来检查。它可以分别列出网站的活链接

8、以及死链接，连转向链接它都分析得一清二楚；支持多线程，可以把检查结果存储成文本文件或网页文件。3. PHP 类爬虫3.1. sphider Sphider（）是一个用PHP语言编写，使用MySql 作为其后端的爬虫工具，目前版本更新到Sphider 1.3.6 ,其发布日期是04-06-2013。将下载文件解压放在apache 目录下就可以运行。运行之后因为配置的问题还不能爬取，之后会再做调试。OpenWebSpider 12 是一个开源多线程Web Spider（robot ：机器人， crawler：爬虫 )和包含许多有趣功能的搜索引擎。3.2. TSpider TSpider是一个可执行

9、图形界面程序，但是爬取的过程太过缓慢，不太适合使用。PHPCrawl也是一个使用php 语言的爬虫工具，可扩展性较好，可以根据自己的需求改变代码来完成不同的功能。3.3. PHP 的 Web 爬虫和搜索引擎PhpDig PhpDig 13 是一个采用PHP开发的 Web 爬虫和搜索引擎。通过对动态和静态页面进行索引建立一个词汇表。当搜索查询时，它将按一定的排序规则显示包含关键字的搜索结果页面。 PhpDig 包含一个模板系统并能够索引PDF,Word,Excel, 和 PowerPoint 文档。 PHPdig 适用于专业化更强、层次更深的个性化搜索引擎，利用它打造针对某一领域的垂直搜索引擎是

10、最好的选择。3.4. 网站内容采集器Snoopy Snoopy 14 是一个强大的网站内容采集器（爬虫）。提供获取网页内容，提交表单等功能。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 5 页 - - - - - - - - - 4. dot.Net 类爬虫4.1. 网站数据采集软件网络矿工采集器 （原 soukey 采摘）Soukey 15 采摘网站数据采集软件是一款基于.Net 平台的开源软件，也是网站数据采集软件类型中唯一一款开源软件。尽管Soukey 采摘开源，

11、但并不会影响软件功能的提供，甚至要比一些商用软件的功能还要丰富。4.2. 网络爬虫程序NWebCrawler NWebCrawler 16 是一款开源的C#网络爬虫程序。4.3. 爬虫小新Sinawler 国内第一个针对微博数据的爬虫程序！原名“新浪微博爬虫”17 。登录后，可以指定用户为起点， 以该用户的关注人、 粉丝为线索， 延人脉关系搜集用户基本信息、微博数据、评论数据。该应用获取的数据可作为科研、与新浪微博相关的研发等的数据支持，但请勿用于商业用途。该应用基于.NET2.0框架，需SQL SERVER 作为后台数据库，并提供了针对SQL Server的数据库脚本文件。另外，由于新浪微博

12、API的限制，爬取的数据可能不够完整（如获取粉丝数量的限制、获取微博数量的限制等）。本程序版权归作者所有。你可以免费 : 拷贝、 分发、呈现和表演当前作品,制作派生作品。你不可将当前作品用于商业目的。5. 其他语言类爬虫5.1. Web爬虫框架Scrapy Scrapy 是一套基于基于Twisted 的异步处理框架，纯python 实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。其开发语言为Python。5.2. 网页抓取信息提取软件MetaSeeker 网页抓取 /信息提取 /数据抽取软件工具包MetaSeeker (GooSee

13、ker) V4.11.2 18 正式发布，在线版免费下载和使用，源代码可阅读。自推出以来，深受喜爱，主要应用领域：垂直搜索（ Vertical Search） ：也称为专业搜索，高速、海量和精确抓取是定题网络名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 5 页 - - - - - - - - - 爬虫 DataScraper 的强项，每天 24 小时每周 7 天无人值守自主调度的周期性批量采集，加上断点续传和软件看门狗(Watch Dog)，确保您高枕无忧移动互联网：手

14、机搜索、手机混搭(mashup)、移动社交网络、移动电子商务都离不开结构化的数据内容，DataScraper 实时高效地采集内容，输出富含语义元数据的XML 格式的抓取结果文件，确保自动化的数据集成和加工，跨越小尺寸屏幕展现和高精准信息检索的障碍。手机互联网不是Web 的子集而是全部，由MetaSeeker架设桥梁企业竞争情报采集/数据挖掘：俗称商业智能（Business Intelligence ） ，噪音信息滤除、结构化转换，确保数据的准确性和时效性，独有的广域分布式架构，赋予DataScraper 无与伦比的情报采集渗透能力， AJAX/Javascript 动态页面、服务器动态网页、静

15、态页面、各种鉴权认证机制，一视同仁。在微博网站数据采集和舆情监测领域远远领先其它产品。另外的一些工具phpdig 由于长时间不更新，旧的工具代码已经不能使用。基于 python 编码的 spiderpy 和基于 C+ 编码的 larbin 则没有做深入的调查了解，若有需求，会再做深入调查。参考资料：1 http:/ 2 http:/ 3 http:/ 4 http:/ 5 http:/ 6 http:/ 7 http:/ 8 http:/ 9 http:/ 10 http:/ 11 http:/ 12 http:/ 13 http:/ 14 http:/ 15 http:/ 16 http:/ 17 http:/ 18 http:/ 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 5 页 - - - - - - - - -