广州市二手房价数据分析 带实证数据.docx

《广州市二手房价数据分析 带实证数据.docx》由会员分享，可在线阅读，更多相关《广州市二手房价数据分析 带实证数据.docx（40页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 本科毕业设计（论文） 广州市二手房价数据分析 Data Analysis of Second-hand Housing Prices in Guangzhou院 （系） 专 业 班 级 学 号 学生姓名 指导教师 提交日期 年 月 日 毕业设计（论文）原创性声明本人郑重声明：所呈交的毕业设计（论文），是本人在指导老师的指导下，独立进行的设计（研究）工作及取得的成果，论文中引用他人的文献、数据、图件、资料均已明确标注出，论文中的结论和结果为本人独立完成，不包含他人已经发表或撰写的作品及成果。对本文的研究作出贡献的个人和集体，均已在论文中作了明确的说明。本人完全意识到本声明的法律结果由本人承担。

2、 毕业论文作者（签字）： 签字日期： 年 月 日指导教师评分： 评阅教师评分： 答辩小组评分： 总评成绩： 系主任签字（盖章）： 年 月 日广州市二手房价数据分析内容摘要随着随着新中国的繁荣昌盛，国民的生活水平大大提高，人民购房的需求愈来愈多，各个领域当中的数据在不断增加，从而使当前社会进入到大数据时代，这些数据可以为各个领域的发展提供良好的帮助。这种情况下，为了能让人民更好地选择适合他们心仪的房子，就要更好的对这些数据进行获取。因此，加强对房价网使用爬虫技术获取数据的研究具有重要意义，促进我国房价市场更好的发展。本选题的意义是设计并实现对广州市二手房价的数据分析，利用大数据爬虫房价网去分析每

3、个地域的房价趋势，为用户提供一个可以最直观了解到广州市房价的具体信息。采用python的scrapy爬虫框架对链家网数据进行爬取，并将爬取到的数据输出为csv格式文件，再使用tableau对数据进行分析与可视化。 关键词 scrapy框架 房价 数据可视化Abstract With the prosperity of New China, the standard of living of the people has been greatly improved, the demand for housing is increasing, and the data in various fie

4、lds are increasing, so that the current society can enter the era of big data, which can provide good help for the development of various fields. In this case, in order for people to better choose the right house for them, it is necessary to better access these data. Therefore, it is of great signif

5、icance to strengthen the research on house price net using crawler technology to obtain data, and to promote the better development of house price market in China. The significance of this topic is to design and realize the data analysis of second-hand house prices in Guangzhou Using the big data cr

6、awler house price net to analyze the housing price trend of each region, to provide users with a most intuitive understanding of the housing prices in Guangzhou specific information. The python scrapy crawler frame is used to crawl the data of Lianjia net, and the crawling data is output into csv fo

7、rmat file, and then the data is analyzed and visualized by tableau.Key words： scrapy Housing Data Visualization目 录第一章 前言11.1 选题背景及意义11.2 论文工作内容1第二章 相关技术概述22.1 爬虫技术22.2 scrapy框架介绍22.3 常见抓取策略62.4 Robot协议72.5 Tableau简介72.6 常见反爬虫手段82.7 xpath92.8 Cookie92.9 scrapy的扩展工具102.10 Selenium与WebDriver102.11 prox

8、y代理11第三章 爬虫总体设计123.1 Scrapy的安装与使用123.2爬取对象简介133.3总体架构设计133.4反爬机制13第四章 爬虫具体实现154.1 爬虫目录结构154.2 预设模块154.3 抓取模块164.4 cookie池174.5 代理池194.6 数据展示19第五章 数据分析与可视化215.1房屋特征词云215.2二手房型和关注人数分布215.3各区房价分布图215.4 房区受欢迎程度22结论24参考文献25第一章 前言1.1 选题背景及意义随着信息技术的迅速进步发展,现在的国际网络行业信息已经出现出了爆炸式的快速增长,互联网上的用户通过使用搜索引擎后就可以轻易地在国际

9、互联网上进行搜索并得到大量的行业数据与技术信息。所以,如何建立连接和获取信息已经不再是困扰用户的难题了。众多互联网用户在网上找房子，房价越来越透明，由此产生了大量的数据与信息，本文将以链家网为爬取对象，使用scrapy爬虫框架爬取互联网房价情况，由此对现今房价情况进行分析。被称为胶水语言的Python, 具有丰富和强大的库, 如requests、urllib、scrapy和pyquery等, 其中scrapy库应用最为广泛。Scrapy是Python语言开发, 为爬取网站数据而设计的开源应用型框架, 可以广泛用在网站数据爬取,信息处理等诸多方面。使用Scrapy, 可以方便快速地按照自己的需求

10、, 保存网页数据为任意数据格式。1.2 论文工作内容本文根据scrapy框架使用pycharm编写python程序，从链家网爬取到数据以后输出csv文件，再用tableau根据不同地区、坏境，地铁等条件对房价进行分析，并将分析的数据可视化展现出来。第二章 相关技术概述2.1 爬虫技术网络搜索爬虫(曾被称为万维网络爬虫蜘蛛或简称网络爬虫机器人)通常是根据一定定义自动生成捕获万维网相关信息的程序和应用脚本。它们目前广泛应用于国际互联网上的搜索引擎和其他类似搜索网站。爬虫可以收集访问的所有页面内容，以获取和更新这些网站的内容。就功能而言，爬虫一般分为三个部分：数据采集、处理和存储。爬虫引擎在爬取某个

11、网站的数据时,会经常发生爬虫在短时间内就会发出大量访问的请求,但是所有的请求ip都是相同的一种情况。因此,网站管理人员会使用它来设置爬虫访问的延迟阈值,针对异常IP, 网站可以禁止其访问。但是由于大量用户公网IP相同,这种方法容易误伤普通用户, 所以, 一般采取禁止一段时间访问。还有一些网站通过浏览器请求信息中的cookies信息来判断该请求是否有权限访问核心数据, 一般网站直接输入用户的账号和密码即可成功登陆并获取cookies信息。这一操作爬虫可通过分析网页Html源码, 模拟发送请求, 就能正常获取cookies信息。于是部分网站设置了验证码等验证方式, 只有成功输入验证码, 才能获取c

12、ookies信息。同时, 部分网站还会设置Session方式进行账号认证, 只有获取服务器对用户的唯一标识ID, 才能得到cookies信息。2.2 scrapy框架介绍2.2.1 scrapy简介scrapy是一个网站程序抓取框架,用于抓取一个网站内的数据和用于提取网站结构化的数据或非结构化的数据。它目前可以广泛用于企业数据挖掘、数据处理和历史数据分析存储等一系列应用中。它最初是为进行页面上的抓取(确切地点来说,是专为网页数据抓取)而进行设计的,可以广泛应用于网页服务接口(就比如说amazon associates web抓取服务)或获取爬虫引擎返回的网页数据。python是一种高度相互集成

13、的计算机软件编程语言,具有丰富的源和开源库。scrapy框架使得爬虫的设计和工作更加快速、简单，具有很高的健壮性和可扩展性。因此，scrapy在爬虫设计中得到了广泛的应用，符合本文所设计爬虫的特点。因此，我用scrapy来完成这项研究。2.2.2 scrapy框架组件图2-1 scrapy框架组件如所示图2-1是基于scrapy组件框架的结构图,包括各种组件和系统中发生的各种数据流的概述。图中涉及的组件主要包括：程序执行器和引擎（scrapbyengine）、调度器、下载器、spider、item、pipeline、下载前中间件middleware。下面是对每个应用程序组件的简要介绍。1 引擎

14、（Scrapy Engine） scarpy的所有数据处理过程都由scarpy引擎控制。控制系统所有组件中的数据流，并在发生相应操作时控制事件。2调度器（Scheduler） 爬网和执行任务的优先级序列通常由任务调度器用于维护。调度器自动从引擎接收请求对象，并将这些请求对象直接插入到引擎队列中，以便在以后使用scarpy引擎从引擎发送请求时直接向引擎提供请求对象。每个动态爬虫可以维护自己的动态内存中心队列，一个内存中的队列不能在多个爬虫之间直接共享内存中的队列。由于requset对象的主体结构是由result组成的，所以调度模块中的请求对象比较紧凑。3下载器（Downloader） 下载器主要

15、负责实时获取每个页面的数据，并将这些获取者获得的网页数据实时提供给搜索引擎。下载器导出和下载页面后，将自动生成下载页面的文件，并通过下载器的中间件将响应发送到scrapy引擎。之后，由响应引擎处理。4爬虫（Spider） 爬网程序是一个由用户编写的组件，用于从响应中提取要爬网的项和请求对象。一个网站项目通常可以对应于多个爬虫程序，每个爬虫程序通常负责自动处理一个或多个新网站。scrapy用item来保存从非静态结构化对象数据中通过爬行获取到的所有结构型对象数据。 5数据管道（Item Pipeline） 数据抓取管道是一个负责数据处理的item。数据对应的每个函数request都可能会自动产生

16、多个新的item处理对象,数据处理管道对每个新的item处理对象可以进行三种处理,比较典型的三种处理方式有爬虫数据管道清理、权限等级验证及数据管理持久化。 6下载器中间件（Downloader middlewares） 下载器中间件通常是位于加扰器引擎和下载器之间的一个特定挂钩，称为下载器中间件，用于直接处理下载器并传输链接到搜索引擎的文件响应。下载器上的中间件还提供了一个简单方便的下载机制，通过插入自定义代码来扩展Scrapy功能。7Spider 中间件（Spider middlewares） spider上的中间件是位于scrapy engine及爬虫(spider)之间的特定两个钩子(s

17、pecific hook),用来分别处理爬虫的responser和一堆item对象中的requestsm的输出。spider这为中间件扩展提供了一种简单方便的扩展机制,同时用户可以通过直接插入一个自定义的程序代码来快速扩展所有scrapy的功能。2.2.3 scrapy工作原理scrapy的框架是由执行它的引擎驱动的控制程序操作的数据流。第一步，当引擎打开一个网站时，它可以找到一个正在处理该网站的爬虫程序，并自动从该网站爬虫程序请求不需要爬虫的网站请求。在第二步中，引擎自动从爬虫程序获取不需要爬网的第一个网站任务的数据，并在数据调度器中以爬网任务文件的形式调度数据。然后向调度程序发送不需要爬网

18、的下一个文件任务的请求。再次，该schedul将不需要爬网的下一个文件任务的请求返回给爬网引擎，该引擎通过该爬网引擎的中间件将爬网任务内容转发给下载引擎；步骤四，下载程序自动执行下载处理任务。一旦下载程序下载了页面上的内容，下载程序会自动生成一个已经属于下载页面的响应，并通过下载程序上的中间件向爬虫引擎发送一个响应任务；第五步，引擎从旧的下载程序中间件接收并获得一个响应，然后将其发送给新的爬虫引擎通过新的爬虫引擎中间件进行下载处理。在spider处理响应之后，引擎然后返回通过爬网到引擎获得的项新数据任务。步骤六，引擎将任务转发到数据处理管道，对从爬网程序库获得的项进行爬网，并将从生成的任务转发

19、给调度程序；第七步,重复第二步,直到这个调度器中没收了有待引擎处理的一个任务,引擎才会关闭该任务网站。在scrapy框架中实现的url子类的重复数据消除方法是通过类的RFPDupeFilter来实现的，具体来说，调用子类中的request_fingerprint类型的重复数据消除方法，直接达到重复数据消除的目的。程序代码的基本结构格式如下。可以看出，在上述两段代码中，被删除和重用的指纹信息块和指纹函数分别使用了4个组件，通过sha1算法组合得到了一个sha1 (method+URL+body+head)。scrapy框架本身提供的动态重复数据删除方法非常好。这种重复数据删除方法唯一能做的就是确

20、定一个地址请求需要指向的动态资源。在某些情况下，例如，需要请求一些新的动态资源web页面。url资源地址的后半部分通常分别有多个参数。如果参数中这些值的顺序稍微颠倒一下，就可能变成不同的资源web地址。 但是scrapy框架自己的重复数据消除方法有很多缺点，它使用sha1算法来消除160位信息的重复，例如指纹，或者20字节的信息。如果一个模块包含100万个页面，爬在一个单一页面的网站上，只需直接爬行来衡量这个模块就不需要占用20米的内存，如果还需要爬300个这样的单一页面的网站，直接爬模块就会占用6G的内存，这样的话，用一个垃圾网站自己的网址到这个模块，将会耗费大量的内存。2.2.4 scra

21、py的安装与使用在windows系统中，使用的是Anaconda，它是基于科学计算包的开发库的集合。包括许多使用python的开发库，包括scrapy所依赖的许多开发库。在使用anaconda的命令行窗口中，数据库使用命令conda install scrapy，然后开始安装scrapy框架。在开始爬网之前，我们需要做的第一件事是创建一个名为scrapy的项目，并将该项目传输到需要存储代码的文件目录。正在运行的命令是scrapy start project。执行项目命令后，将自动创建项目的文件夹。图2-2 scrapy安装在开始进行字典数据抓取的工作前,我们通常需要先编写好item.py这个文

22、件,因为这里的item.py就是我们用来保存通过爬取得到的文件和数据的一个容器,其和我们在python这个框架中的对字典拼写使用的方法非常类似,并且为了有效避免由于字典拼写错误导致的未正确定义字段的错误,还提供了额外的字典错误保护机制。如果我们已经学习过了django这个框架的话,会对于item.py感觉到很熟悉,因为我们觉得item有点像是类似django这个框架里的两个对象之间关系映射(orm)。定义一个好容器(item)后,就表示我们可以开始创建需要抓取spider的文件了,spider文件夹中需要分别定义三个文件属性,name这个属性的文件夹是可以用来说明如何区别抓取spider的。因

23、为同一个文件夹下可以存在那么多个需要抓取spider的文件。start_urls包含了需要抓取spider的列表和在重新启动的网页时候需要进行网页数据爬取的初始url列表。因此,第一个被完成获取下载到的页面将被认为是其中之一。后续的url是在获取初始url后，从下载的网页数据中提取的。Parse()是spider中的一种数据提取方法。当一个函数调用该方法时，在初始url对象获得下载后重新生成的每个spider响应对象都会将该函数作为惟一参数在下载后传递给该对象的函数。然后我们需要从初始spider需要抓取的网页中提取下载所需的网页数据。从初始网页中提取所需数据有许多步骤和方法。Scrapy是一

24、个设计好的框架，部分原因是它要求用户使用xpath实现和基于css的自动web样式选择器(selector, selector)。例如，我们现在可能需要手动重新选择电子web页面的名称标题，这就是简单的/HTML /title/text()提取方法。我们可以选择lt;Headgt;保存在标签中的文档。Titlegt;元素。我们所能做的就是从存储在web页面上的文档中提取文档和数据，例如beautifulsoup。Scrapy的提取方法选择器有四个基本的提取方法:xpath()传入一个xpath正则表达式，该表达式为正则表达式所对应的所有节点返回一个选择器列表字符串列表。文档中传递一个CSS正则

25、表达式，它返回正则表达式所对应的所有节点的selectorlist列表。Extract():将表达式的节点序列化为unicode字符串并返回它。Re()根据在文档中传递的正则表达式提取序列化的数据节点，并返回一个unicode字符串列表。2.3 常见抓取策略2.3.1广度优先搜索算法BFS分析算法也许是所有图搜索算法中最重要、最基本的分析算法之一,它是许多国际经典的图搜索算法策略分析算法的原始实验例子。例如,数据库生成领域著名的通用单源最短路径生成算法和常用的最小路径生成器的树路径算法都用的是基于BFS的算法。如前文所述,BFS的实现相对简单。其操作目的也就是从初始化的节点开始,尽可能地不断搜

26、索其他几个节点是否作为初始化的节点,然后不断探索其他节点的是否存在,同时不能忽略其他节点的具体操作细节,这样就是一种盲目性的搜索。BFS现在被广泛应用于一般的网页搜索引擎中,旨在为尽可能多的搜索内容编制一个索引。当然,也有人开始尝试在一些焦点搜索爬虫中尝试使用类似的比如BFS等算法。BFS的搜索爬虫策略的主要出发点是，相对接近初始URL的搜索链接的搜索网页往往具有较高的搜索主题和相关性，因此它们通常能够优先接受爬虫。虽然这种安全策略被广泛使用，但有时可能会出现一些不可避免的安全问题。随着各种索引页面的逐渐增多，许多无关的索引页面往往被大量下载，这往往需要一些后续的应用程序或脚本进行搜索和过滤，

27、严重降低了工作效率。2.3.2深度优先搜索算法深度节点优先搜索的策略同时也被我们称为一个DFS节点优先搜索,与被统称为广度优先搜索的策略刚好完全相反,在一个DFS中,对于一个未发现节点存在新的搜索节点,如果有一个子节点未被检测到，它将继续沿着该子节点进行探索，直到没有更深的子节点。2.4 Robot协议robots访问协议规范又称互联网爬虫访问规则、爬虫访问协议和互联网机器人访问协议,是适用于互联网服务器行业的一种新型网站访问协议规范。robots访问协议的内容和目的主要是访问和保护所有网站的内容、用户的个人信息、网站收录数据等。规则主要规定了是否允许网站能够搜索引擎访问和抓取所有网站的内容,

28、包括搜索引擎是否能够允许网站访问和抓取与搜索引擎相关的网站,以及搜索引擎是否允许搜索引擎抓取所有网站内容,根据这些协议内容,网络搜索引擎爬虫程序可以自动处理一些结合自己的站点抓取规则。 robot的协议通常是爬虫与网站的所有者、搜索引擎或其他爬虫程序实现自动、简单交互的一种协议方式。robot这个协议的具体定义和实现方法就是在一个站点访问服务器的一个根目录中存储一个大小为txt格式的文件,名为robots.txt。例如当一个web爬虫程序访问一个站点时,它首先需要检查root.txt文件是否正确地存在于访问该站点的某个根目录中。如果这个文件存在,搜索引擎爬网的程序将自动读取一个文件在该目录中的

29、访问配置相关信息,该目录中的文件可以用来确定搜索引擎爬网的程序在这个站点根目录中的访问权限。如果这个文件不确定是否存在,搜索引擎爬虫将沿着站点中的所有链接爬行。本协议不是一个强制和严格的国际网络安全法律关系协议。如果一个网页搜索结果引擎或者一个爬虫引擎应用程序不完全同意遵循此管理协议,则其自己自行设计的源源代码可以完全自由地对这个站点内容进行管理中的资源进行爬网。同时，网站管理员还可以使用其他方式限制网站中的网络爬虫的操作。因此，爬虫和网站之间的关系是非常复杂的。在设计过程中，为了提高爬虫的可行性，必须考虑到这些局限性。2.5 Tableau简介tabeau是目前市面上一款基于大数据进行可视化

30、的数据管理工具,致力于能够帮助人们快速查看、理解自己的数据。与大部分传统的BI数据管理软件不同,tableau是一种不同的bi数据管理工具。它使用户可以轻松地使用tableau的拖放操作界面。它用来管理和可视化任何类型的数据,探索不同的数据库和视图,并轻松地组合多个类型的数据库。它不需要使用任何复杂的数据库和脚本。新的分析工具以tableau为代表：实现简单，注重用户体验；创造实时价值，低成本，高生产率，界面美观。使用tableau，我们可以在很快的时间内对数据进行一个分析以及可视化，其拥有很智能的操作性，用户只需要简单的拖动，就可以生成一幅幅高品质的分析图，在现今社会中有很多企业与个人使用它

31、。图2-3 tableau工作界面2.7 xpathxpath是一种基于一个xml的软件路径知识标记编程语言,用于用来确定一个路径中的标识标记节点在一个xml(一种通用标准软件文档和一种通用软件路径知识标记编程语言的一个分布式子集)标准文档中的数据系统中的特定标识节点中的位置。xpath数据结构程序是一种基于xml的自动分布式树数据结构。由于爬虫程序通常都是对所有的html页面的数据进行爬网的,html和xml也都是一个树状的结构,因此xpath也支持了html。数据采集和匹配是爬虫的主要目的。一般来说,所需的采集数据并不是所有的同一个页面。爬虫程序需要使用数据采集和匹配方法来才能获取一个指定

32、的表达式数据。python中也包含了所有正则表达式类库,但是这些正则采集和匹配表达式方法不能很好地保证与一个指定数据节点的表达式匹配,而且表达式的编写也很复杂。xpath语言大大简化了对匹配表达式的分析和编写,具有较高的数据匹配可靠性和成功率。python对于xpath语言有很好的数据匹配支持。scrapy和xpath的相互结合使得爬虫程序变得高效而且可靠。2.8 Cookiecookie是一小段文本信息,它绑定在用户的请求和登录页面上,随着请求与网络信息在一个服务器和浏览器之间进行传递。当一个用户单击网页链接时,web服务器可以接收用户的网页登录请求,也就是用户可以通过读取浏览器存储在此页上

33、的cooike网页记录服务器中的一小段文本信息进行记录。http协议这是一种无连接的internet协议。在请求页面之前,服务器很难知道是否收到用户的请求和行为,这种程度上阻碍了我们传统交互式web的工作效率,但它简单易实现。自动登录一个网站通常是我们使用cookie网络应用程序的典型场景。许多网站可能要求我们输入用户名和密码，通常服务器会为我们的下一个自动登录应用程序设置一个简单的选择框。如果这次检查我们的登录，服务器可能会将用户名和密码的加密密文发送到本页上的浏览器cookie，并将其数据保存到本地硬盘上。在后续的登录中，在进入登录界面时，浏览器将服务器cookie从本地硬盘调用到web页

34、面记录服务器进行用户身份验证，实现自动登录。因此，站点的输入用户名和加密密码通常保存在这个页面的cookie中。图2-4 cookie架构当然，cookie也有缺陷。首先，每个http请求必须包含当前页面的cookie，从而增加了整个网络数据传输的安全性和流量。其次，cookie在任何http请求中都不受明文保护，将以明文方式传输，因此很容易被拦截和恶意篡改。在https中，它通常是完全加密的，并且具有一定的数据安全性。Https协议对网络中cookie的数据文本大小有严格的数据结构限制，将每个cookie文本的长度限制在最少4096字节，因此很难同时承载稍微复杂的数据结构。目前很多爬虫需要使

35、用登录名和密码登录来访问我们网站的内容。在我们使用爬虫登录之前，我们没有访问权限，自然我们无法通过登录获得网站内容。因此，我们现在可以使用urlib2库的爬虫登录工具自动保存爬虫登录cookie。爬虫程序登录并运行后，它可以自动爬行。2.9 Selenium与WebDriverselenium软件是一款基于开源且完全免费自动化的框架,它主要被微软公司用来对web的应用程序和浏览器进行自动化的测试,利用它们就可以很好的用来控制和操纵浏览器以便于执行一些特定的动态渲染操作,例如点击事件、下拉事件等等,与此同时,它还可以帮助用户快速获取到当前网站在移动浏览器中已经显示的某个页面的源码,考虑到当前多数

36、基于移动互联网的网站或多或少都已经采用了这种进行动态渲染的自动化技术。因此,使用微软的selenium软件来进行模拟此类的操作,就有点像是模拟真实网站中用户的操作,在百度爬虫中被广泛的使用。selenium在发展的整个过程中要经历三个主要版本的迭代, selenium1.0诞生于2004年左右,那时候的selenium已经具有了远程控制以及其他selenium功能的基础,此外还可以支持多种软件开发编程语言。不过由于谷歌浏览器不断推出新版本，浏览器之间的功能和特性也不尽相同,selenium也因此出现了越来越多的软件使用限制。于是到了2006年左右,第二代selenium2.0出现,来自于谷歌的

37、浏览器开发团队的工程师为了更好的解决此前在开发中遇到的诸多问题,开始基于此项目进行新的浏览器开发,该浏览器项目被重新的称之为谷歌的web driver,随后被重新的合并入谷歌的selenium开发项目中。Web driver通过软件对浏览器的支持或者浏览器的扩展功能来直接让用户控制自己的浏览器,能够同时支持多款新版本的浏览器,性能基本上相比1.0版本也是有了很大的提升。在2016年左右,用来分布式浏览器测试和用于集群浏览器测试的软件selenium grid发布了,它使得用户可以对浏览器进行多个并行测试,运行于不同的环境上,加快了测试的速度。总的来说,作为一个强大的测试工具呢,Selenium

38、 具有如下几个特性:浏览器兼容类型较多,Selenium支持多款浏览器,包括主流的PC浏览器Chrome、Edge、 FireFox以及安卓、黑莓等手机浏览器。跨平台,对于诸如windows、linux、android、ios等目前市场上多款非常流行的大型跨行业平台操作系统,Selenium都能做到跨平台支持,便于程序移植。支持的语言多，Selenium支持 Java，C#, Python, Ruby和PHP等多种语言,这给开发者增加了便利性。图2-5 selenium2.10 proxy代理代理服务器技术，全称又叫Proxy Server。如果形象地比喻的话，可以把它理解为网络信息的中转站。

39、在正常情况下，当客户端或者浏览器发起请求到一个网站时，是直接将请求发送到Web的服务器端，随后Web服务器再将响应内容传回;浏览器端或者客户端。但是如果设置了代理服务器，它相当于在主机和服务器之间搭起了一个桥梁，在这个过程中，本地的主机并不是直接向远端的Web服务器发起请求，而是将请求直接发给代理服务器。当代理服务器收到请求报文后，它会将其再转发给远端的Web服务器。服务器接收到请求后，随即做出响应，将响应信息发给代理服务器，代理服务器接收到信息后随即转发给本地主机。这样仍然可以正常访问页面。图2-6 代理池架构第三章 爬虫总体设计3.1爬取对象简介本文实现的爬虫将以“链家网”为爬虫对象，爬虫

40、房屋面积、小区名称、总价、房型、面积、单价、有没有电梯、产权类型、类型以及日期。选择“首页链家网”作为爬行对象，可以使我接触和学习到许多互联网技术和内容，如网页结构元素的分析、登录验证管理机制、好友交互网络的设计与实现等许多细节，图 图3-1 链家网3.2总体架构设计爬虫测试程序主要分为三个数据存储模块:网页规则预置模块、捕获数据模块和数据存储模块。网页规则的预置模块主要负责设置爬虫程序从网页中获取的信息和数据存储格式,替换多个用户的代理,替换cookie。网页的抓取数据模块主要负责从程序定义的初始url中抓取发送到网页的信息,进行初步的网页信息提取和返回,并根据预先返回抓取结果的网页信息分别

41、调用不同的回调处理函数。后续的抓取数据模块进一步的分析了网页抓取数据模块的结果,确定其是否是合法的网页抓取结果,并将其存储在数据库中或将此URL传输给调度器以等待调度抓取。3.3反爬机制反爬是许多网站采取的一项保护措施。不同的网站采用不同的防爬策略，因此本系统实现了常见的防爬策略，充分保证了系统运行不受防爬机制的影响。反爬升策略如下。3.3.1 设置DOWNLOAD_DELAY该转换文件的跳转参数为：scrapy在同一个跳转网站两个不同的跳转页面之间的每进行一个跳转可能都会需要等待很长的一段时间。我们通常可以在setting.py文件里面对它进行如下设置:download_delay=3s;3

42、.3.2 使用cookies池可以有效率的防止爬虫，防止被屏蔽。在项目目录下创建cookie目录，并在目录下创建项目代码。部分核心代码展示如下：for username in accounts_usernames: if not username in cookies_usernames: password = self.accounts_db.get(username) print(正在生成Cookies, 账号, username, 密码, password) result = self.new_cookies(username, password) # 成功获取 if result.ge

43、t(status) = 1: cookies = self.process_cookies(result.get(content) print(成功获取到Cookies, cookies) if self.cookies_db.set(username, json.dumps(cookies): print(成功保存Cookies) # 密码错误，移除账号 elif result.get(status) = 2: print(result.get(content) if self.accounts_db.delete(username): print(成功删除账号) else: print(r

44、esult.get(content)else: print(所有账号都已经成功获取Cookies)class WeiboCookiesGenerator(CookiesGenerator): def _init_(self, website=weibo): 初始化操作 :param website: 站点名称 :param browser: 使用的浏览器 CookiesGenerator._init_(self, website) self.website = website def new_cookies(self, username, password): 生成Cookies :param

45、 username: 用户名 :param password: 密码 :return: 用户名和Cookies return WeiboCookies(username, password, self.browser).main()由于cookies我们选择存储在redis内，所以在conf文件中有如下配置：# Redis数据库地址REDIS_HOST = localhost# Redis端口REDIS_PORT = 6379# Redis密码，如无填NoneREDIS_PASSWORD = None# 产生器使用的浏览器BROWSER_TYPE = Chrome# 产生器和验证器循环周期CY

46、CLE = 120# API地址和端口API_HOST = 0.0.0.0API_PORT = 5000# 产生器开关，模拟登录添加CookiesGENERATOR_PROCESS = True# 验证器开关，循环检测数据库中Cookies是否可用，不可用删除VALID_PROCESS = False# API接口服务API_PROCESS = True第四章 爬虫具体实现4.1 爬虫目录结构图4-1 代码结构图4.2 预设模块首先我们对那些需要通过爬虫爬取的数据类型需要进行规定。在item.py文件中,根据要求定义字段和数据类型。以下为定义爬取数据的字段代码：class LianjiaItem(Item): title = Field() community = Field() model = Field() area = Field() price = Field()