超级干货：一文读懂网络爬虫

nykek5i · 发表于 2024-8-25 13:25:08

前言

在当前数据爆发的时代，数据分析行业势头强劲，越来越多的人涉足数据分析行业。进入行业最想要的便是获取海量的数据来为自己的分析供给支持，然则怎样获取互联网中的有效信息？这就促进了“爬虫”技术的飞速发展。

网络爬虫（又被叫作为网页蜘蛛，网络设备人，在FOAF社区中间，更经常的叫作为网页追逐者），是一种根据一定的规则，自动地抓取万维网信息的程序或脚本。

传统爬虫从一个或若干初始网页的URL起始，得到初始网页上的URL，在抓取网页的过程中，持续从当前页面上抽取新的URL放入队列,直到满足系统的必定停止要求。聚焦爬虫的工作流程较为繁杂，需要按照必定的网页分析算法过滤与主题无关的链接，保存有用的链接并将其放入等待抓取的URL队列。而后，它将按照必定的搜索策略从队列中选取下一步要抓取的网页URL，并重复以上过程，直到达到系统的某一要求时停止。

另一，所有被爬虫抓取的网页将会被系统存贮，进行必定的分析、过滤，并创立索引，以便之后的查找和检索；针对聚焦爬虫来讲，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指点。

笔者是爬虫初学者，经过这篇综述来记录一下自己的心得体会。

以下为文案重点内容：

1. 初见爬虫

运用Python中的Requests第三方库。在Requests的7个重点办法中，最常运用的便是get()办法，经过该办法构造一个向服务器请求资源的Request对象，结果返回一个包括服务器资源的额Response对象。经过Response对象则能够获取请求的返回状态、HTTP响应的字符串即URL对应的页面内容、页面的编码方式以及页面内容的二进制形式。

在认识get()办法之前咱们先认识一下HTTP协议，经过对HTTP协议来理解咱们拜访网页这个过程到底都进行了那些工作。

1.1 浅析HTTP协议

超文本传输协议（HTTP，HyperText Transfer Protocol）是互联网上应用最为广泛的一种网络协议。所有的www文件都必须遵守这个标准。HTTP协议重点有几个特点：

支持客户/服务器模式

简单快捷：客服向服务器发出请求，只需要传送请求办法和路径。请求办法常用的有GET, HEAD, POST。每种办法规定了客户与服务器联系的类型区别。因为HTTP协议简单，使得HTTP服务器的程序规模小，因而通信速度快。

灵活：HTTP准许传输任意类型的数据对象。

无连接：无连接的含义是限制每次连接请求只处理一个请求。服务器处理完客户的请求，收到客户的应答后即断开连接，这种方式能够节省传输时间。

无状态：HTTP协议是无状态协议。无状态指的是协议针对事物处理无记忆能力。缺少状态寓意着倘若后续处理需要前面的信息，则它必须重传，这般可能引起每次连接传送的数据量增大，另一方面，在服务器不需要先前信息时它的应答就较快。

下面经过一张图咱们来认识一下拜访网页的过程都出现了什么：

1. 首要浏览器拿到网址之后先将主机名解析出来。如http://www.baidu.com/index.html 则会将主机名 www.baidu.com 解析出来。

2. 查询ip，按照主机名，会首要查询ip，首要查找hosts文件，成功则返回对应的ip位置，倘若无查找到，则去DNS服务器查找，成功就返回ip，否则会报告连接错误。

3. 发送http请求，浏览器会把自己关联信息与请求关联信息封装成HTTP请求信息发送给服务器。

4. 服务器处理请求，服务器读取HTTP请求中的内容，在经过解析主机，解析站点名叫作，解析拜访资源后，会查询关联资源，倘若查询成功，则返回状态码200，失败就会返回大名鼎鼎的404了，在服务器监测到请求不在的资源后，能够根据程序员设置的转到别的页面。因此有各样有个性的404错误页面。

5. 服务器返回HTTP响应，浏览器得到返回数据后就能够提取数据，而后调用解析内核进行翻译，最后表示出页面。之后浏览器会对其引用的文件例如照片，css，js等文件持续进行以上过程，直到所有文件都被下载下来之后，网页就会表示出来。

HTTP请求，http请求由三部分构成，分别是：请求行、信息报头、请求正文。请求办法（所有办法全为大写）有多种，各个办法的解释如下：

GET 请求获取Request-URI所标识的资源

POST 在Request-URI所标识的资源后附加新的数据

HEAD 请求获取由Request-URI所标识的资源的响应信息报头

PUT 请求服务器存储一个资源，并用Request-URI做为其标识

DELETE 请求服务器删除Request-URI所标识的资源

TRACE 请求服务器回送收到的请求信息，重点用于测试或诊断

CONNECT 保存将来运用

OPTIONS

请求查找服务器的性能，或查找与资源关联的选项和需要

GET办法应用举例：在浏览器的位置栏中输入网址的方式拜访网页时，浏览器采用GET办法向服务器获取资源，eg:GET /form.html HTTP/1.1 (CRLF)

HTTP响应亦是由于三个部分构成，分别是：状态行、信息报头、响应正文。

状态行格式如下：HTTP-Version Status-Code Reason-Phrase CRLF,其中，HTTP-Version暗示服务器HTTP协议的版本；Status-Code暗示服务器发回的响应状态代码；Reason-Phrase暗示状态代码的文本描述。

状态代码有三位数字构成，第1个数字定义了响应的类别，且有五种可能取值：

1xx：指示信息--暗示请求已接收，继续处理

2xx：成功--暗示请求已被成功接收、理解、接受

3xx：重定向--要完成请求必须进行更进一步的操作

4xx：客户端错误--请求有语法错误或请求没法实现

5xx：服务器端错误--服务器未能实现合法的请求

平常状态代码、状态描述、说明：

200 OK //客户端请求成功

400 Bad Request //客户端请求有语法错误，不可被服务器所理解

401 Unauthorized //请求未经授权，这个状态代码必须和WWW-Authenticate报头域一块运用

403 Forbidden //服务器收到请求，然则拒绝供给服务

404 Not Found //请求资源不存在，eg：输入了错误的URL

500 Internal Server Error //服务器出现不可预期的错误

503 Server Unavailable //服务器当前不可处理客户端的请求，一段时间后可能恢复正常。

eg：HTTP/1.1 200 OK （CRLF）

仔细的HTTP协议能够参考这篇文案：

http://www.cnblogs.com/li0803/archive/2008/11/03/1324746.html

前面咱们认识了HTTP协议，那样咱们拜访网页的过程，那样网页在是什么样子的。爬虫眼中的网页又是什么样子的。

网是静态的，但爬虫是动态的，因此爬虫的基本思想便是沿着网页（蜘蛛网的节点）上的链接的爬取有效信息。当然网页亦有动态（通常用PHP或ASP等写成，例如用户登陆界面便是动态网页）的，但倘若一张蛛网摇摇欲坠，蜘蛛会感到不那样安稳，因此动态网页的优先级通常会被搜索引擎排在静态网页的后面。

晓得了爬虫的基本思想，那样详细怎样操作呢？这得从网页的基本概念说起。一个网页有三大形成要素，分别是html文件、css文件和JavaScript文件。倘若把一个网页看做一栋房子，那样html相当于房子外壳；css相当于地砖涂料，美化房子外观内饰；JavaScript则相当于家具电器浴池等，增多房子的功能。从以上比喻能够看出，html才是网页的基本，毕竟地砖颜料在市场上亦有，家具电器都能够露天安排，而房子外壳才是独一无二的。

下面便是一个简单网页的例子：

而在爬虫眼里，这个网页是这般的：

因此呢网页实质上便是超文本（hypertext），网页上的所有内容都是在形如“<>...</>”这般的标签之内的。倘若咱们要搜集网页上的所有超链接，只需寻找所有标签中前面是"href="的字符串，并查看提取出来的字符串是不是以"http"（超文本转换协议，https暗示安全的http协议）开头就可。倘若超链接不以"http"开头，那样该链接很可能是网页所在的本地文件或ftp或smtp（文件或邮件转换协议），应该过滤掉。

在Python中咱们运用Requests库中的办法来帮忙咱们实现对网页的请求，从而达到实现爬虫的过程。

1.2 Requests库的7个重点办法：

最常用的办法get用来实现一个简单的小爬虫，经过示例代码展示：

2. Robots协议

Robots协议（亦叫作为爬虫协议、设备人协议等）的全叫作是“网络爬虫排除标准”（Robots Exclusion Protocol），网站经过Robots协议告诉搜索引擎那些页面能够抓取，那些页面不可抓取。经过几个小例子来解读一下robots.txt中的内容，robots.txt默认安置于网站的根目录小，针对一个无robots.txt文件的网站，默认是准许所有爬虫获取其网站内容的。

咱们针对robots协议的理解，倘若是商场利益咱们是必须要遵守robots协议内容，否则会承担相应的法律责任。当只是个人玩转网页、练习则是意见遵守，加强自己编写爬虫的友好程度。

3. 网页解析

BeautifulSoup尝试化平淡为神奇，经过定位HTML标签来格式化和组织繁杂的网络信息，用简单易用的Python对象为咱们展示XML结构信息。

BeautifulSoup是解析、遍历、守护“标签树”的功能库。

3.1 BeautifulSoup的解析器

BeautifulSoup经过以上四种解析器来对咱们获取的网页内容进行解析。运用官网的例子来看一下解析结果：

首要获取以上的一段HTML内容，咱们经过BeautifulSoup解析之后，并且输出解析后的结果来对比一下：

经过解析的网页内容，咱们就能够运用BeautifulSoup中的办法来轻而易举的得到网页中的重点信息：

3.2 BeautifulSoup类的基本元素

3.3 BeautifulSoup的遍历功能

遍历分为上行遍历、下行遍历、平行遍历三种。

下行遍历：

上行遍历：

平行遍历：

4. 正则表达式

正则表达式，又叫作规则表达式。（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表一般被用来检索、替换哪些符合某个模式(规则)的文本。

笔者亦是初学正则表达式，感觉自己不可简洁清晰的讲述正则表达式，意见参考网上的教程（ http://deerchao.net/tutorials/regex/regex.htm#mission ）图文并茂，仔细讲解了正则表达式。

经过把握正则暗示亦能够帮忙咱们获取网页中的重点信息。

5. 爬虫框架Scrapy

Scrapy是Python研发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，能够用于数据挖掘、监测和自动化测试。

Scrapy吸引人的地区在于它是一个框架，任何人都能够按照需要方便的修改。它亦供给了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又供给了web2.0爬虫的支持。

5.1 Scrapy爬虫框架结构

Engine： 掌控所有模块之间的数据流、按照要求触发事件。

Downloader： 按照请求下载网页

Scheduler： 对所有爬去请求进行调度管理

Spider： 解析Downloader返回的响应、产生爬取项、产生额外的爬去请求。

Item Pipelines： 以流水线方式处理Spider产生的爬取项、可能包含清理、检验和查重爬取项中的HTML数据、将数据存储到数据库。

5.2 数据流

1. 引擎打开一个网站(open a domain)，找到处理该网站的Spider并向该spider请求第1个要爬取的URL(s)。

2. 引擎从Spider中获取到第1个要爬取的URL并在调度器(Scheduler)以Request调度。

3. 引擎向调度器请求下一个要爬取的URL。

4. 调度器返回下一个要爬取的URL给引擎，引擎将URL经过下载中间件(请求(request)方向)转发给下载器(Downloader)。

5. 一旦页面下载完毕，下载器生成一个该页面的Response，并将其经过下载中间件(返回(response)方向)发送给引擎。

6. 引擎从下载器中接收到Response并经过Spider中间件(输入方向)发送给Spider处理。

7. Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。

8. 引擎将(Spider返回的)爬取到的Item给Item Pipeline，将(Spider返回的)Request给调度器。

9. (从第二步)重复直到调度器中无更加多地request，引擎关闭该网站。

6. 分布式爬虫

6.1 多线程爬虫

在爬取数据量小的状况下，咱们运用的都是串行下载网页的，仅有前一次下载完成之后才会起步新的下载。数据量小的状况下尚可应对。但面对大型网站就会显出性能不足，倘若咱们能够同期下载多个网页，那样下载时间将会得到明显改善。

咱们将串行下载爬虫扩展成并行下载。需要重视的是倘若乱用这一功能，多线程爬虫请求内容过快，可能会导致服务器过载，或是IP位置被封禁。为了避免这一问题，咱们的爬虫就要设置一个delay标识，用于设定请求同一域名时的最小时间间隔。

在Python中实现多线程是比较简单的，Python中的thread模块是比较底层的模块，Python的threading模块是对thread做了有些封装，能够更加方便的被运用。

简要的看一下thread模块中含函数和常量：

Thread中常用的函数和对象：

通常来讲，运用线程有两种模式, 一种是创建线程要执行的函数, 把这个函数传递进Thread对象里，让它来执行. 另一种是直接从Thread继承，创建一个新的class，把线程执行的代码放到这个新的class里。

实现多进程的代码和例子参考：

http://www.jianshu.com/p/86b8e78c418a

6.2 多进程爬虫

Python中的多线程其实并不是真正的多线程，并不可做到充分利用多核CPU资源。

倘若想要充分利用，在python中大部分情况需要运用多进程，那样这个包就叫做 multiprocessing。

借助它，能够容易完成从单进程到并发执行的转换。multiprocessing支持子进程、通信和共享数据、执行区别形式的同步，供给了Process、Queue、Pipe、Lock等组件。

Process基本运用：

在multiprocessing中，每一个进程都用一个Process类来暗示。首要看下它的API：

target 暗示调用对象，你能够传入办法的名字

args 暗示被调用对象的位置参数元组，例如target是函数a，他有两个参数m，n，那样args就传入(m, n)就可

kwargs 暗示调用对象的字典

name 是别名，相当于给这个进程取一个名字

group 分组，实质上不运用

咱们先用一个实例来感受一下：

最简单的创建Process的过程如上所示，target传入函数名，args是函数的参数，是元组的形式，倘若仅有一个参数，那便是长度为1的元组。

而后调用start()办法就可起步多个进程了。

另一你还能够经过 cpu_count() 办法还有 active_children() 办法获取当前设备的 CPU 核心数量以及得到日前所有的运行的进程。

经过一个实例来感受一下：

运行结果：

经过开启多个进程实现爬虫，会大大缩减爬取信息的速度。仔细介绍请参考：

http://cuiqingcai.com/3335.html

7. 异步网站数据采集

在收集网页信息时咱们会遇到，网页的加载模型为瀑布流形式，页面URL无改变，但依然能够加载出内容。此时候就需要咱们分析网页中JavaScript中的有些代码，从中获取咱们所需要的数据。

面对运用JS渲染的页面举荐运用PhantomJS，无界面，可脚本编程的WebKit浏览器。参考： http://cuiqingcai.com/2577.html

Selenium一种自动化测试工具。能够方便实现Web界面测试。运用PhantomJS渲染解析JS，Selenium用来驱动以及写与Python的对接，而后Python进行后期处理。参考： http://cuiqingcai.com/2599.html

8. 爬虫的存储

在刚起始接触爬虫的时候，咱们习惯将小的爬虫结果输出在命令行中，看着命令行中一行行的数据显出颇有成就感，然则随着数据的增加，并且需要进行数据分析时，将数据打印到命令行就不是办法了。为了能够远程运用大部分网络爬虫，咱们还是需要将收集的数据存储起来。

8.1 媒介文件

媒介文件平常的有两种存储方式：只获取URL链接，或直接把源文件下载下来。然则举荐运用第1种方式。优点如下：

爬虫运行的更快，耗费的流量更少，由于只存储链接，不需要下载文件。

节省存储空间，由于不需要存储媒介文件。

存储URL的代码更易写，亦不需要实现文件下载代码

不下载文件能够降低目的主机服务器的负载。

当然这般做亦存在有些缺点：

内嵌在咱们网页中的外站链接被叫作为盗链，运用这种链接会让咱们麻烦持续，每一个网站都会实施防盗链办法。

由于你的链接文件在别人的服务器，因此咱们的应用就要跟着别人的节奏运行了。

盗链很容易改变，倘若把盗链放在博客等地，被对方发掘很可能被恶搞。或是把URL存贮存用，等到用的时候发掘链接已然过期了。

在现实中网络浏览器不仅能够拜访HTML页面并切换页面，它们亦会下载拜访页面上的所有资源。下载文件会让咱们的爬虫看起来更像人在浏览页面。

8.2 把数据存储到CSV

CSV是存储表格数据的常用文件格式。每行都用一个换行符分隔，列与列之间用逗号分隔。Python中的CSV库能够非常简单的修改CSV文件，亦能够从零起始创建一个CSV文件：

咱们能够运用csv模块供给的功能将爬虫获取的信息存入csv文件中。

8.3 MySQL

针对海量的爬虫数据，并且在之后咱们需要反复用来筛选分析的数据，咱们选取存储在数据库中。

MySQL是日前最受欢迎的开源关系型数据库管理系统，它是一种非常灵活、稳定、功能齐全的DBMS，许多顶级网站都在用它，YouTube、Twitter、Facebook等。

Python中无内置的MySQL支持工具，不外，有非常多开源的库能够用来与MySQL做交互，最为出名的便是PyMySQL。

结合以上过程将爬虫获取到的数据存入数据库中。

9. 爬虫的平常技巧

9.1 模拟登录

日前的网站大都是采用cookie跟踪用户是不是已然登录的信息。一旦网站验证了你的登录权证，它就会保留在你浏览器的cookie中，里面一般包括一个服务器生成的命令牌、登录有效时限和状态跟踪信息。网站会把这个cookie当作信息验证的证据，在咱们浏览网站的每一个页面时出示给服务器。

经过Chrome等浏览器自带的研发者工具，咱们从Network中获取请求网页的头部和表单，在Header中咱们就能够查看cookie中存储的登录信息，咱们能够经过Scrapy设置请求网页的头部信息，并将cookie存储在本地，来实现模拟登陆的效果。仔细的操作能够查看博客：http://www.jianshu.com /p/b7f41df6202d

9.2 网页验证码

简单的说，验证码便是一张照片，照片上有字符串。网站是怎样实现的呢？有WEB基本的人可能会晓得，每一个浏览器基本都有cookie，做为这次回话的独一标示。每次拜访网站，浏览器都会把这个cookie发送给服务器。验证码便是和这个cookie绑定到一块的。怎样理解呢？举个例子，此刻有网站W，有A和B两个人，同期拜访W，W给A返回的验证码是X,给B返回的验证码是Y，这两个验证码都是正确的，然则倘若A输入了B的验证码，肯定验证不经过。那服务器是怎么区分A和B呢，便是用到的cookie。再举个例子，有些网站你登录一次之后，下次继续拜访可能就自动登陆了，亦是用cookie来标示独一身份的，倘若清除了cookie亦就没法自动登陆了。

针对有些简单的验证码咱们能够经过设备识别，然则针对有些人眼都很难识别的验证码就只能寻找更加繁杂的技术了。简单的验证码识别过程便是对验证码照片的一个处理过程。

灰度图转换，能够结合opencv中的imread办法。

图像去噪（均值滤波器、高斯滤波器等等）。

图像二值化（这个过程中验证码中的字符串已经作为黑色的，底色为白色）。

运用图像识别方式，识别图中的字符串达到识别验证码的目的。

举荐阅读：

http://www.jianshu.com/p/dd699561671b

http://www.cnblogs.com/hearzeus/p/5166299.html（上篇）

http://www.cnblogs.com/hearzeus/p/5226546.html（下篇）

9.3 爬虫代理池

因为笔者是个爬虫初学者亦无用到过这么繁杂的技术，不外笔者在爬虫的过程中的确是体会了被封IP位置的痛苦。因此举荐大众有精力的能够来学习并完成一个。

举荐阅读：

https://www.zhihu.com/question/47464143

10. 防爬虫

因为暴力爬虫会对网站的服务器产生很大的压力，因此各个网站对爬虫都有限制，大都数网站会定义robots.txt.文件能够让爬虫认识该网站的限制。限制是做为意见给出。然则爬虫前检测该文件能够最小化咱们的爬虫被封禁的可能。

一篇关于反爬虫的文案： https://segmentfault.com/a/ 1190000005840672(来自携程技术中心)

11. 学习资料

举荐书籍：

《Python网络数据采集》陶俊杰、陈小莉译

《用Python写网络爬虫》李斌译

举荐博客：

崔庆才得个人博客，有海量关于爬虫的文案，况且讲解的比较细致。

http://cuiqingcai.com/

数据挖掘与入门实战微X公众号分享的一篇文案，《Python开源爬虫项目代码：抓取淘宝、京东、QQ、知网数据》，有十九个开源的爬虫项目，能够给大众供给参考。https://github.com/hlpassion/blog/issues/6

举荐视频：

网易云课堂，例子清晰，能够跟做。

http://study.163.com/course/introduction.htm?courseId=1002794001#/courseDetail

Python网络爬虫与信息提取

http://www.icourse163.org/course/BIT-1001870001

作者：朱海龙，杭州师范大学计算机研究生一枚，常用Python，爱好它的简洁！兴趣徒步、爬山，爱好东野圭吾带感情的推理小说。日前从事智慧医疗健康数据分析，致力于在智慧医疗行业有所做为！期盼跟大众一块学习新知识，探索数据的世界！

本文转载：数据派THU 公众号；

END

举荐：

优秀人才不缺工作机会，只缺适合自己的好机会。然则她们常常无精力从海量机会中找到最适合的那个。100offer 会对平台上的人才和企业进行严格筛选，让「最好的人才」和「最好的机构」相遇。

扫描下方二维码或点击“ 阅读原文 ”，注册 100offer，谈谈你对下一份工作的期待。1星期内，收到 5-10 个满足你需求的好机会！

		自动登录	找回密码
密码			立即注册

超级干货 ：一文读懂网络爬虫

Python网络爬虫与信息提取

相关阅读

超级干货：一文读懂网络爬虫