Python3网络爬虫数据采集.pdf

《Python3网络爬虫数据采集.pdf》由会员分享，可在线阅读，更多相关《Python3网络爬虫数据采集.pdf（222页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 图灵社区的电子书没有采用专有客 户端，您可以在任意设备上，用自 己喜欢的浏览器和PDF阅读器进行 阅读。 但您购买的电子书仅供您个人使用， 未经授权，不得进行传播。 我们愿意相信读者具有这样的良知 和觉悟，与我们共同保护知识产权。 如果购买者有侵权行为，我们可能 对该用户实施包括但不限于关闭该 帐号等维权措施，并可能追究法律 责任。 ? 图 灵 程 序 设 计 丛 书 人 民 邮 电 出 版 社 北 京 Web Scraping with Python Collecting Data from the Modern Web 美Ryan Mitchell 著 陶俊杰 陈小莉 译 Python网

2、络数据采集 Beijing Cambridge Farnham Kln Sebastopol Tokyo OReilly Media, Inc.授权人民邮电出版社出版 内 容 提 要 本书采用简洁强大的 Python 语言，介绍了网络数据采集，并为采集新式网络中的各种数据类 型提供了全面的指导。第一部分重点介绍网络数据采集的基本原理： 如何用 Python 从网络服务器 请求信息，如何对服务器的响应进行基本处理，以及如何以自动化手段与网站进行交互。第二部 分介绍如何用网络爬虫测试网站，自动化处理，以及如何通过更多的方式接入网络。 本书适合需要采集 Web 数据的相关软件开发人员和研究人员阅读。

3、 定价：59.00元 读者服务热线：(010)51095186转600 印装质量热线：(010)81055316 反盗版热线：(010)81055315 广告经营许可证：京东工商广字第 8052 号 著 美 Ryan Mitchell 译 陶俊杰 陈小莉 责任编辑 岳新欣 执行编辑 李 敏 责任印制 杨林杰 人民邮电出版社出版发行 北京市丰台区成寿寺路11号 邮编 100164 电子邮件 315 网址 北京 印刷 开本：8001000 1/16 印张：13.5 字数：280千字 2016年 3 月第 1 版 印数：12 001 14 500册 2016年 10 月北京第 4 次印刷 著作权合同

4、登记号 图字：01-2015-8108号 （2016.10重印） 欢迎加入非盈利Py t h o n 编程学习交流QQ群783462347，群里免费提供500+本Py t h o n 书籍！ iii 版权声明 2015 by Ryan Mitchell. Simplifi ed Chinese Edition, jointly published by OReilly Media, Inc. and Posts 因为每个 MySQL 实例可以有多个数据库，所以使用某个数据库之前需要指定数据库的 名称： USE scraping; 从现在开始（直到关闭 MySQL 链接或切换到另一个数据库之前）

5、 ，所有的命令都运行在这 个新的“scraping”数据库里面。 所有操作看着都非常简单。那么，在数据库里创建数据表的方法应该也类似吧？让我们在 数据库里创建一个表来存储采集的网页： CREATE TABLE pages; 结果显示错误： ERROR 1113 (42000): A table must have at least 1 column 和数据库不同，MySQL 数据表必须至少有一列，否则不能创建。为了在 MySQL 里定义字 段（数据列） ，你必须在CREATE TABLE 语句后面，把字段的定义放进一个带括 号的、内部由逗号分隔的列表中： CREATE TABLE pages

6、(id BIGINT(7) NOT NULL AUTO_INCREMENT, title VARCHAR(200), content VARCHAR(10000), created TIMESTAMP DEFAULT CURRENT_TIMESTAMP, PRIMARY KEY (id); 每个字段定义由三部分组成： 名称（id、title、created等） 数据类型（BIGINT(7)、VARCHAR、TIMESTAMP） 其他可选属性（NOT NULL AUTO_INCREMENT） 在字段定义列表的最后，还要定义一个“主键” （key） 。MySQL 用这个主键来组织表的内 容，便于后

7、面快速查询。在本章后面的内容里，我将介绍如何调整这些主键以提高数据库 的查询速度，但是现在，用表的id列作为主键就可以。 语句执行之后，你可以用DESCRIBE查看数据表的结构： DESCRIBE pages; +-+-+-+-+-+-+ | Field | Type | Null | Key | Default | Extra | +-+-+-+-+-+-+ | id | bigint(7) | NO | PRI | NULL | auto_increment | | title | varchar(200) | YES | | NULL | | 70 第 5 章 | content | v

8、archar(10000) | YES | | NULL | | | created | timestamp | NO | | CURRENT_TIMESTAMP | | +-+-+-+-+-+-+ 4 rows in set (0.00 sec) 当然，这还是一个空表。你可以在 pages 表里插入一些测试数据，如下所示： INSERT INTO pages (title, content) VALUES (Test page title, This is some te st page content. It can be up to 10,000 characters long.); 需

9、要注意的是，虽然 pages 表里有四个字段（id、title、content、created） ，但实际上 你只需要插入两个字段（title和content）的数据即可。因为id字段是自动递增的（每 次新插入数据行时 MySQL 自动增加 1） ，通常不用处理。另外，created字段的类型是 timestamp，默认就是数据加入时的时间戳。 当然，我们也可以自定义四个字段的内容： INSERT INTO pages (id, title, content, created) VALUES (3, Test page title, This is some test page content

10、. It can be up to 10,000 characters long., 2014- 09-21 10:25:32); 只要你定义的整数在数据表的id字段里没有，它就可以顺利插入数据表。但是，这么做 非常不好；除非万不得已（比如程序中断漏了一行数据） ，否则让 MySQL 自己处理id和 timestamp字段。 现在表里有一些数据了，你可以用很多方法来选择这些数据。下面是几个SELECT语句的 示例： SELECT * FROM pages WHERE id = 2; 这条语句告诉 MySQL， “从 pages 表中把id字段中等于 2 的整行数据全挑选出来” 。这个 星号（*

11、）是通配符，表示所有字段，这行语句会把满足条件（WHERE id = 2）的所有字段 都显示出来。如果id字段里没有任何一行等于 2，就会返回一个空集。例如，下面这个不 区分大小写的查询，会返回title字段里包含“test”的所有行（%符号表示 MySQL 字符 串通配符）的所有字段： SELECT * FROM pages WHERE title LIKE %test%; 但是，如果你的表有很多字段，而你只想返回部分字段怎么办？你可以不用星号，而用下 面的方式： SELECT id, title FROM pages WHERE content LIKE %page content%; 这

12、样就只会返回title字段包含“page content”的所有行的id和title两个字段了。 DELETE语句语法与SELECT语句类似： 存储数据 71 DELETE FROM pages WHERE id = 1; 由于数据库的数据删除后不能恢复，所以在执行DELETE语句之前，建议用SELECT确认 一下要删除的数据（本例中，就是用SELECT * FROM pages WHERE id = 1查看） ，然后把 SELECT *换成DELETE就可以了，这会是一个好习惯。很多程序员都有过一些DELETE误操 作的伤心往事，还有一些恐怖故事就是有人慌乱中忘了在语句中放WHERE，结果把

13、所有客 户数据都删除了。别让这种事发生在你身上！ 还有一个需要介绍的语句是UPDATE： UPDATE pages SET title=A new title, content=Some new content WHERE id=2; 结合本书的主题，后面我们就只用这些基本的 MySQL 语句，做一些简单的数据查询、创 建和更新工作。如果你对这个强大数据库的命令和技术感兴趣，推荐你去看 Paul DuBois 的 MySQL Cookbook（ 。 5.3.3 与Python整合 Python 没有内置的 MySQL 支持工具。不过，有很多开源的库可以用来与 MySQL 做交互， Python

14、 2.x 和 Python 3.x 版本都支持。最有名的一个库就是 PyMySQL（ PyMySQL/PyMySQL） 。 写到这里的时候，PyMySQL 的版本是 0.6.2，你可以用下面的命令下载并安装它： $ curl -L | tar xz $ cd PyMySQL-PyMySQL-f953785/ $ python setup.py install 如果需要更新，请检查最新版的 PyMySQL，并修改第一行下载链接中的版本号进行更新。 安装完成之后，你就可以使用 PyMySQL 包了。如果你的 MySQL 服务器处于运行状态， 应该就可以成功地执行下面的命令（记得把 root 账户密

15、码加进去） ： import pymysql conn = pymysql.connect(host=127.0.0.1, unix_socket=/tmp/mysql.sock, user=root, passwd=None, db=mysql) cur = conn.cursor() cur.execute(USE scraping) cur.execute(SELECT * FROM pages WHERE id=1) print(cur.fetchone() cur.close() conn.close() 这段程序有两个对象：连接对象（conn）和光标对象（cur） 。 72 第 5

16、 章 连接 / 光标模式是数据库编程中常用的模式，不过刚刚接触数据库的时候，有些用户很难 区分两种模式的不同。连接模式除了要连接数据库之外，还要发送数据库信息，处理回滚 操作（当一个查询或一组查询被中断时，数据库需要回到初始状态，一般用事务控制手段 实现状态回滚） ，创建新的光标对象，等等。 而一个连接可以有很多个光标。一个光标跟踪一种状态（state）信息，比如跟踪数据库的 使用状态。如果你有多个数据库，且需要向所有数据库写内容，就需要多个光标来处理。 光标还会包含最后一次查询执行的结果。通过调用光标函数，比如cur.fetchone()，可以 获取查询结果。 用完光标和连接之后，千万记得把

17、它们关闭。如果不关闭就会导致连接泄漏（connection leak） ，造成一种未关闭连接现象，即连接已经不再使用，但是数据库却不能关闭，因为数 据库不能确定你还要不要继续使用它。这种现象会一直耗费数据库的资源，所以用完数据 库之后记得关闭连接！ 刚开始的时候，你最想做的事情可能就是把采集的结果保存到数据库里。让我们用前面维 基百科爬虫的例子来演示一下如何实现数据存储。 在进行网络数据采集时，处理 Unicode 字符串是很痛苦的事情。默认情况下，MySQL 也 不支持 Unicode 字符处理。不过你可以设置这个功能（这么做会增加数据库的占用空间） 。 因为在维基百科上我们难免会遇到各种各

18、样的字符，所以最好一开始就让你的数据库支持 Unicode： ALTER DATABASE scraping CHARACTER SET = utf8mb4 COLLATE = utf8mb4_unicode_ci; ALTER TABLE pages CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci; ALTER TABLE pages CHANGE title title VARCHAR(200) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci; ALTER TABLE

19、pages CHANGE content content VARCHAR(10000) CHARACTER SET utf8mb4 CO LLATE utf8mb4_unicode_ci; 这四行语句改变的内容有：数据库、数据表，以及两个字段的默认编码都从utf8mb4 （严格说来也属于 Unicode，但是对大多数 Unicode 字符的支持都非常不好）转变成了 utf8mb4_unicode_ci。 你可以在title或content字段中插入一些德语变音符（umlauts）或汉语字符，如果没有 错误就表示转换成功了。 现在数据库已经准备好接收维基百科的各种信息了，你可以用下面的程序来存储

20、数据： from urllib.request import urlopen from bs4 import BeautifulSoup import re import datetime import random 存储数据 73 import pymysql conn = pymysql.connect(host=127.0.0.1, unix_socket=/tmp/mysql.sock, user=root, passwd=None, db=mysql, charset=utf8) cur = conn.cursor() cur.execute(USE scraping) random

21、.seed(datetime.datetime.now() def store(title, content): cur.execute(INSERT INTO pages (title, content) VALUES (%s, %s), (title, content) mit() def getLinks(articleUrl): html = urlopen(http:/en.wikipedia.org+articleUrl) bsObj = BeautifulSoup(html) title = bsObj.find(h1).get_text() content = bsObj.fi

22、nd(div, id:mw-content-text).find(p).get_text() store(title, content) return bsObj.find(div, id:bodyContent).findAll(a, href=pile(/wiki/)(?!:).)*$) links = getLinks(/wiki/Kevin_Bacon) try: while len(links) 0: newArticle = linksrandom.randint(0, len(links)-1).attrshref print(newArticle) links = getLin

23、ks(newArticle) finally: cur.close() conn.close() 这里有几点需要注意：首先，charset=utf8要增加到连接字符串里。这是让连接conn把 所有发送到数据库的信息都当成 UTF-8 编码格式（当然，前提是数据库默认编码已经设置 成 UTF-8） 。 然后要注意的是store函数。它有两个参数：title和content，并把这两个参数加到了一 个INSERT语句中并用光标执行，然后用光标进行连接确认。这是一个让光标与连接操作分 离的好例子；当光标里存储了一些数据库与数据库上下文（context）的信息时，需要通过 连接的确认操作先将信息传进数

24、据库，再将信息插入数据库。 最后要注意的是，finally语句是在程序主循环的外面，代码的最底下。这样做可以保证， 无论程序执行过程中如何发生中断或抛出异常（当然，因为网络很复杂，你得随时准备遭 遇异常） ，光标和连接都会在程序结束前立即关闭。无论你是在采集网络，还是处理一个 打开连接的数据库，用try.finally都是一个好主意。 虽然 PyMySQL 规模并不大，但是里面有一些非常实用的函数本书并没有介绍。具体请参 考 Python 的 DBAPI 标准文档（http:/legacy.python.org/dev/peps/pep-0249/） 。 74 第 5 章 5.3.4 数据库技

25、术与最佳实践 有些人的整个职业生涯都在学习、优化和创造数据库。我不是这类人，这本书也不是那类 书。但是，和计算机科学的很多主题一样，有一些技巧你其实可以很快地学会，它们可以 让你的数据库变得更高效，让应用的运行速度更快。 首先，给每个数据表都增加一个id字段，不会出什么问题。MySQL 里所有的表都至少有 一个主键（就是 MySQL 用来排序的字段） ，因此 MySQL 知道怎么组织主键，通常数据库 很难智能地选择主键。究竟是用人造的id字段作为主键，还是用那些具有唯一性属性的 字段作为主键，比如username字段，数据科学家和软件工程师已经争论了很多年，但我更 倾向于主动创建一个id字段。

26、这样做的原因一两句话难以说清，不过对于一些非企业级 系统的数据库，你还是应该用自增的id字段作为主键。 其次，用智能索引。字典（指的是常用的工具书，不是指 Python 的字典对象）是按照字母 顺序排列的单词表。这样做让你在任何时候都能快速地找到一个单词，只要你知道这个单 词是如何拼写的就行。你还可以把字典想象成另一种形式，将单词按照单词含义的字母顺 序进行排列。如果你没玩过一些奇怪的游戏，比如危险边缘（Jeopardy）智力游戏，就不 能理解游戏的含义，这样的字典就没法用了。但是在数据库查询的工作里，这种按照字段 含义进行排序的情况时有发生。比如，你的数据库里可能有一个字段经常要查询： SE

27、LECT * FROM dictionary WHERE definition=A small furry animal that says meow; +-+-+-+ | id | word | definition | +-+-+-+ | 200 | cat | A small furry animal that says meow | +-+-+-+ 1 row in set (0.00 sec) 你可能非常想给这个表增加一个额外的键（除了已经存在的主键id之外） ，让查询变得更 快。但是，增加额外的索引需要占用更多的空间，而且插入新行的时候也需要花费更多的 时间。为了让事情简单点儿，你

28、可以让 MySQL 只检索查询列的一部分字符。比如下面的 命令创建了一个查询 defi nition字段前 16 个字符的智能索引： CREATE INDEX definition ON dictionary (id, definition(16); 这个索引比全文查询的速度要快很多，而且不需要占用过多的空间和处理时间。 最后一点是关于数据查询时间和数据库空间的问题。一个常见的误区就是在数据库中存储 大量重复数据，尤其是在做大量自然语言数据的网络数据采集任务时。举个例子，假如你 想统计网站突然出现的一些词组的频率。这些词组也许可以从一个现成的列表里获得，也 许可以通过文本分析算法自动提取。最终

29、你可能会把词组储存成下表的形式： +-+-+-+-+-+-+ | Field | Type | Null | Key | Default | Extra | 存储数据 75 +-+-+-+-+-+-+ | id | int(11) | NO | PRI | NULL | auto_increment | | url | varchar(200) | YES | | NULL | | | phrase | varchar(200) | YES | | NULL | | +-+-+-+-+-+-+ 每当你发现一个词组就在数据库中增加一行，同时把 URL 记录下来。但是，如果把这些 数据分成三个表，

30、你就可以看到数据库占用的空间会大大降低： DESCRIBE phrases +-+-+-+-+-+-+ | Field | Type | Null | Key | Default | Extra | +-+-+-+-+-+-+ | id | int(11) | NO | PRI | NULL | auto_increment | | phrase | varchar(200) | YES | | NULL | | +-+-+-+-+-+-+ DESCRIBE urls +-+-+-+-+-+-+ | Field | Type | Null | Key | Default | Extra | +

31、-+-+-+-+-+-+ | id | int(11) | NO | PRI | NULL | auto_increment | | url | varchar(200) | YES | | NULL | | +-+-+-+-+-+-+ DESCRIBE foundInstances +-+-+-+-+-+-+ | Field | Type | Null | Key | Default | Extra | +-+-+-+-+-+-+ | id | int(11) | NO | PRI | NULL | auto_increment | | urlId | int(11) | YES | | N

32、ULL | | | phraseId | int(11) | YES | | NULL | | | occurrences | int(11) | YES | | NULL | | +-+-+-+-+-+-+ 虽然表定义的结构变复杂了，但是新增的字段就是id字段。它们是整数，不会占用很多 空间。另外，每个 URL 和词组都只会储存一次。 除非你安装了第三方包或保存详细的数据库日志，否则你无法掌握数据库里数据增加、更 新或删除的具体时间。因此，如果需要对数据可用的空间、变更的频率和变更的重要性进 行分析，你应该考虑在数据新增、更新或删除时加一个时间戳。 5.3.5 MySQL里的“六度空间游戏”

33、 在第 3 章，我们介绍过“维基百科六度分隔”问题，其目标是通过一些词条链接寻找两个 词条间的联系（即找出一条链接路径，只要点击链接就可以从一个维基词条到另一个维基 词条） 。 为了解决这个问题，我们不仅需要建立网络爬虫采集网页（之前我们已经做过） ，还要把 76 第 5 章 采集的信息以某种形式存储起来，以便后续进行数据分析。 前面介绍过的自增的id字段、时间戳以及多份数据表在这里都要用到。为了确定最合理 的信息存储方式，你需要先想想游戏规则。一个链接可以轻易地把页面 A 连接到页面 B。 同样也可以轻易地把页面 B 连接到页面 A，不过这可能是另一条链接。我们可以这样识 别一个链接，即“页

34、面 A 存在一个链接，可以连接到页面 B” 。也就是INSERT INTO links (fromPageId, toPageId) VALUES (A, B);（其中， “A”和“B”分别表示页面的 ID 号） 。 因此需要设计一个带有两张数据表的数据库来分别存储页面和链接，两张表都带有创建时 间和独立的 ID 号，代码如下所示： CREATE TABLE wikipedia.pages ( id INT NOT NULL AUTO_INCREMENT, url VARCHAR(255) NOT NULL, created TIMESTAMP NOT NULL DEFAULT CURRENT

35、_TIMESTAMP, PRIMARY KEY (id); CREATE TABLE wikipedia.links ( id INT NOT NULL AUTO_INCREMENT, fromPageId INT NULL, toPageId INT NULL, created TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP, PRIMARY KEY (id); 注意，这里和前面打印页面标题的爬虫不同，我没有在页面数据表里使用页面标题字段， 为什么这么做呢？其实是因为页面标题要在你进入页面后读取内容才能抓到。那么，如果 我们想创建一个高效的爬虫来填充

36、这些数据表，那么只存储页面的链接就可以保存词条页 面了，甚至不需要访问词条页面。 当然并不是所有网站都具有这个特点，但是维基百科的词条链接和对应的页面标题是可以 通过简单的操作进行转换的。例如，http:/en.wikipedia.org/wiki/Monty_Python 的后面就是 页面标题“Monty Python” 。 下面的代码会把“贝肯数” （一个页面与凯文 贝肯词条页面的链接数）不超过 6 的维基 百科页面存储起来： from urllib.request import urlopen from bs4 import BeautifulSoup import re import

37、pymysql conn = pymysql.connect(host=127.0.0.1, unix_socket=/tmp/mysql.sock,user= root, passwd=None, db=mysql, charset=utf8) cur = conn.cursor() cur.execute(USE wikipedia) def insertPageIfNotExists(url): cur.execute(SELECT * FROM pages WHERE url = %s, (url) 存储数据 77 if cur.rowcount = 0: cur.execute(IN

38、SERT INTO pages (url) VALUES (%s), (url) mit() return cur.lastrowid else: return cur.fetchone()0 def insertLink(fromPageId, toPageId): cur.execute(SELECT * FROM links WHERE fromPageId = %s AND toPageId = %s, (int(fromPageId), int(toPageId) if cur.rowcount = 0: cur.execute(INSERT INTO links (fromPage

39、Id, toPageId) VALUES (%s, %s), (int(fromPageId), int(toPageId) mit() pages = set() def getLinks(pageUrl, recursionLevel): global pages if recursionLevel 4: return; pageId = insertPageIfNotExists(pageUrl) html = urlopen(http:/en.wikipedia.org+pageUrl) bsObj = BeautifulSoup(html) for link in bsObj.fin

40、dAll(a, href=pile(/wiki/)(?!:).)*$): insertLink(pageId, insertPageIfNotExists(link.attrshref) if link.attrshref not in pages: # 遇到一个新页面， 加入集合并搜索里面的词条链接 newPage = link.attrshref pages.add(newPage) getLinks(newPage, recursionLevel+1) getLinks(/wiki/Kevin_Bacon, 0) cur.close() conn.close() 用递归实现那些需要运行很

41、长时间的代码，通常是一件复杂的事情。在本例中，变量 recursionLevel被传递到getLinks函数里，用来跟踪函数递归的次数（每完成一次递归， recursionLevel就加 1） 。当recursionLevel值到 5 的时候，函数会自动返回，不会继续递 归。这个限制可以防止数据太大导致内存堆栈溢出。 需要注意的是，这个程序可能要运行好几天才会结束。虽然我自己运行过它，但是我的数 据库里只保持了一点点贝肯数不超过 6 的词条，因为维基百科服务器会拒绝程序的请求。 但是，这些数据对后面分析维基百科词条的链接路径问题已经足够了。 关于这个问题的补充和最终答案，将在第 8 章关于有向

42、图的问题里介绍。 5.4 Email 与网页通过 HTTP 协议传输一样，邮件是通过 SMTP（Simple Mail Transfer Protocol，简 78 第 5 章 单邮件传输协议）传输的。而且，和你用网络服务器的客户端（浏览器）处理那些通过 HTTP 协议传输的网页一样，Email 服务器也有客户端，像 Sendmail、Postfi x 和 Mailman 等，都可以收发邮件。 虽然用 Python 发邮件很容易，但是需要你连接那些正在运行 SMTP 协议的服务器。在服 务器或本地机器上设置 SMTP 客户端有点儿复杂，也超出了本书的介绍范围，但是有很多 资料可以帮你解决问题，

43、如果你用的是 Linux 或 Mac OS X 系统，参考资料会更丰富。 下面的代码运行的前提是你的电脑已经可以正常地运行一个 SMTP 客户端。 （如果要调整 代码用于远程 SMTP 客户端，请把localhost改成远程服务器地址。 ） 用 Python 发一封邮件只要 9 行代码： import smtplib from email.mime.text import MIMEText msg = MIMEText(The body of the email is here) msgSubject = An Email Alert msgFrom = ryan msgTo = webmaster s = smtplib.SMTP(localhost) s.send_message(msg) s.quit() Python 有两个包可以发送邮件：smtplib和email。 Python 的email模块里包含了许多实用的邮件格式设置函数，可以用来创建邮件“包 裹” 。下面的示例中使用的MIMEText对象，为底层的 MIME（Multipurpose Internet Mail Extensions，多用途互联网邮件扩展类型）协议传输创建了一封空邮件，最后通过高层的 SMTP 协议发送出去。MIMEText对象msg包括收发邮箱地址、邮件正文和主题，Python 通 过