网络数据采集技术概述.ppt

《网络数据采集技术概述.ppt》由会员分享，可在线阅读，更多相关《网络数据采集技术概述.ppt（12页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、网网络络爬虫爬虫简简介介爬虫与反爬技爬虫与反爬技术术目目录录前言前言 robots.txt:robots.txt:RobotsRobots协议协议被称被称为为爬虫爬虫协议协议，或机器人，或机器人协议协议。是国。是国际际互互联联网界通行的道德网界通行的道德规规范。范。User-agent:User-agent:用于描述搜索引擎用于描述搜索引擎robotrobot的名字的名字;Disallow:Disallow:禁止禁止robotrobot访问该访问该网站的目网站的目录录或文件或文件;Allow:Allow:允允许许robotrobot访问该访问该网站的目网站的目录录或文件或文件;sitemap.

2、xml/txt/html/.:Sitemapssitemap.xml/txt/html/.:Sitemaps协议协议使网站能使网站能够够告知搜索引擎网站中可供抓取的网址。告知搜索引擎网站中可供抓取的网址。自自动动生成生成:更方便地了解一个网站的内容、布局、架构。更方便地了解一个网站的内容、布局、架构。主主动动提交提交:向百度、向百度、GoogleGoogle、雅虎、和微、雅虎、和微软软等提交，被搜索引擎收等提交，被搜索引擎收录录。数据采集流程数据采集流程 需求分析：需求分析：业务类业务类型型/方向决定抓取策略和抓取方向决定抓取策略和抓取频频率。（干什么用）率。（干什么用）抓取内容：具体需要什么

3、数据抓取内容：具体需要什么数据/字段。（怎么用）字段。（怎么用）数据来源：数据来源于具体网站或其他。数据来源：数据来源于具体网站或其他。抓取方式：抓取方式：获获取数据的方式、网取数据的方式、网页结页结构分析、构分析、APIAPI等。等。代代码实现码实现：自定：自定义义或开源爬虫框架。或开源爬虫框架。数据清洗：根据数据清洗：根据业务业务具体情况具体情况转换转换数据格式、数据格式、类类型，型，进进行数据行数据计计算等。数据清洗分算等。数据清洗分为为入入库库前点清洗和入前点清洗和入库库后点清洗。后点清洗。数据存数据存储储：写文件或入：写文件或入库库方式，方式，远远程数据入程数据入库库，数据加密等。，

4、数据加密等。爬虫任爬虫任务务分分发发：分布式爬虫、多：分布式爬虫、多线线程爬虫。程爬虫。反爬策略、日志管理、反爬策略、日志管理、监监控控报报警等。警等。网网页页分析分析 数据抓取方式数据抓取方式 网网页页 移移动动网网页页 移移动动客客户户端端 APIAPI 网网页页解析解析 正正则则 XpathXpath Beautiful SoupBeautiful Soup JsonJson格式解析格式解析 网网页编码页编码动态页动态页面抓取面抓取 JSJS渲染渲染页页面面 Web kitWeb kit RenderRender类类 AjaxAjax请请求求 IframeIframe SeleniumS

5、elenium库库 重定向重定向 Status_codeStatus_code HtmlHtml meta meta 的的refreshrefresh jsjs可可视视化爬虫化爬虫 Import.ioImport.io PortiaPortia 八爪八爪鱼鱼 集搜客集搜客 造数造数 BBDBBD爬虫框架爬虫框架 ScrapyScrapy框架：框架：案例案例1：58同城同城-简历简历中心中心 urlurl：E7%AE%80%E5%8E%86%E4%B8%AD%E5%BF%83E7%AE%80%E5%8E%86%E4%B8%AD%E5%BF%83案例案例2：阿里巴巴：阿里巴巴-搜索搜索 urlur

6、l：httpcee4baeec7f8.htmlhttpcee4baeec7f8.html Set-CookieSet-Cookie _csrf_csrf反爬技反爬技术术 User_agentUser_agent判断来源判断来源 根据根据IPIP访问频访问频率判断，封率判断，封锁锁IPIP或者或者账账号号 验证码识别验证码识别 PillowPillow库库 TesseractTesseract库库 NumpyNumpy 机器学机器学习习 根据根据实际实际成本制定策略成本制定策略 频频繁繁变变更网更网页结页结构构 非正常非正常请请求提供虚假信息（求提供虚假信息（隐隐含含输输入字段或缺失参数）入字段或缺失参数）谢谢谢谢!