33 款可用来抓数据的开源爬虫软件工具

u1jodi1q

（给数据分析与研发加星标，提高数据技能）

源自：visiontry

www.jianshu.com/p/956de3ca0578

要玩大数据，无数据怎么玩？这儿举荐有些33款开源爬虫软件给大众。

爬虫，即网络爬虫，是一种自动获取网页内容的程序。是搜索引擎的重要构成部分，因此呢搜索引擎优化很大程度上便是针对爬虫而做出的优化。

网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要构成。传统爬虫从一个或若干初始网页的URL起始，得到初始网页上的URL，在抓取网页的过程中，持续从当前页面上抽取新的URL放入队列,直到满足系统的必定停止要求。聚焦爬虫的工作流程较为繁杂，需要按照必定的网页分析算法过滤与主题无关的链接，保存有用的链接并将其放入等待抓取的URL队列。而后，它将按照必定的搜索策略从队列中选取下一步要抓取的网页URL，并重复以上过程，直到达到系统的某一要求时停止。另一，所有被爬虫抓取的网页将会被系统存贮，进行必定的分析、过滤，并创立索引，以便之后的查找和检索；针对聚焦爬虫来讲，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指点。

世界上已然成型的爬虫软件多达上百种，本文对较为知名及平常的开源爬虫软件进行梳理，按研发语言进行汇总。虽然搜索引擎亦有爬虫，但这次我汇总的只是爬虫软件，而非大型、繁杂的搜索引擎，由于非常多兄弟只是想爬取数据，而非运营一个搜索引擎。

Java爬虫

1、Arachnid

Arachnid是一个基于Java的web spider框架.它包括一个简单的HTML剖析器能够分析包括HTML内容的输入流.经过实现Arachnid的子类就能够研发一个简单的Web spiders并能够在Web站上的每一个页面被解析之后增多几行代码调用。 Arachnid的下载包中包括两个spider应用程序例子用于演示怎样运用该框架。

特点：微型爬虫框架，含有一个小型HTML解析器

许可证：GPL

2、crawlzilla

crawlzilla 是一个帮你容易创立搜索引擎的自由软件，有了它，你就不消依靠商场机构的搜索引擎，亦不消再懊恼机构內部网站资料索引的问题。

由 nutch 专案为核心，并整合更加多关联套件，并卡发设计安装与管理UI，让运用者更方便上手。

crawlzilla 除了爬取基本的 html 外，还能分析网页上的文件，如（ doc、pdf、ppt、ooo、rss ）等多种文件格式，让你的搜索引擎不只是网页搜索引擎，而是网站的完整资料索引库。

持有中文分词能力，让你的搜索更精细。

crawlzilla的特殊与目的，最重点便是供给运用者一个方便好用易安裝的搜索平台。

授权协议： Apache License 2

研发语言： Java JavaScript SHELL

操作系统： Linux

项目主页：https://github.com/shunfa/crawlzilla

下载位置：http://sourceforge.net/projects/crawlzilla/

特点：安装简易，持有中文分词功能

3、Ex-Crawler

Ex-Crawler 是一个网页爬虫，采用 Java 研发，该项目分成两部分，一个是保护进程，另一一个是灵活可配置的 Web 爬虫。运用数据库存储网页信息。

授权协议： GPLv3

研发语言： Java

操作系统： 跨平台

特点：由保护进程执行，运用数据库存储网页信息

4、Heritrix

Heritrix 是一个由 java 研发的、开源的网络爬虫，用户能够运用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性，方便用户实现自己的抓取规律。

Heritrix采用的是模块化的设计，各个模块由一个掌控器类（CrawlController类）来协调，掌控器是整体的核心。

代码托管：https://github.com/internetarchive/heritrix3

授权协议： Apache

研发语言： Java

操作系统：跨平台

特点：严格按照robots文件的排除指示和META robots标签

5、heyDr

heyDr是一款基于java的轻量级开源多线程垂直检索爬虫框架，遵循GNU GPL V3协议。

用户能够经过heyDr构建自己的垂直资源爬虫，用于搭建垂直搜索引擎前期的数据准备。

授权协议： GPLv3

研发语言： Java

操作系统： 跨平台

特点：轻量级开源多线程垂直检索爬虫框架

6、ItSucks

ItSucks是一个java web spider（web设备人，爬虫）开源项目。支持经过下载模板和正则表达式来定义下载规则。供给一个swing GUI操作界面。

特点：供给swing GUI操作界面

7、jcrawl

jcrawl是一款小巧性能优良的的web爬虫,它能够从网页抓取各样类型的文件,基于用户定义的符号，例如email、qq。

授权协议： Apache

研发语言： Java

操作系统： 跨平台

特点：轻量、性能优良，能够从网页抓取各样类型的文件

8、JSpider

JSpider是一个用Java实现的WebSpider，JSpider的执行格式如下：

jspider [URL] [ConfigName]

URL必定要加上协议名叫作，如：http://，否则会报错。倘若省掉ConfigName，则采用默认配置。

JSpider 的行径是由于配置文件详细配置的，例如采用什么插件，结果存储方式等等都在conf\[ConfigName]\目录下设置。JSpider默认的配置种类 很少，用途亦不大。然则JSpider非常容易扩展，能够利用它研发强大的网页抓取与数据分析工具。要做到这些，需要对JSpider的原理有深入的了 解，而后按照自己的需要研发插件，撰写配置文件。

授权协议： LGPL

研发语言： Java

操作系统： 跨平台

特点：功能强大，容易扩展

9、Leopdo

用JAVA编写的web 搜索和爬虫，包含全文和归类垂直搜索，以及分词系统

授权协议： Apache

研发语言： Java

操作系统： 跨平台

特点：包含全文和归类垂直搜索，以及分词系统

十、MetaSeeker

是一套完整的网页内容抓取、格式化、数据集成、存储管理和搜索处理方法。

网络爬虫有多种实现方法，倘若根据安排在哪里分，能够分成：

（1）服务器侧：通常是一个多线程程序，同期下载多个目的HTML，能够用PHP， Java, Python(当前很流行）等做，能够速度做得火速，通常综合搜索引擎的爬虫这般做。然则，倘若对方讨厌爬虫，很可能封掉你的IP，服务器IP又不易 改，另一耗用的带宽亦是挺贵的。意见看一下Beautiful soap。

（2）客户端：通常实现定题爬虫，或是聚焦爬虫，做综合搜索引擎不易成功，而垂直搜诉或比价服务或举荐引擎，相对容易非常多，这类爬虫不是什么页面都 取的，而是只取你关系的页面，况且只取页面上关心的内容，例如提取黄页信息，商品价格信息，还有提取竞争对手宣传信息的，搜一下Spyfu，特别有趣。这类 爬虫能够安排非常多，况且能够特别有侵略性，对方很难封锁。

MetaSeeker中的网络爬虫就属于后者。

MetaSeeker工具包利用Mozilla平台的能力，只要是Firefox看到的东西，它都能提取。

MetaSeeker工具包是免费运用的，下载位置：www.gooseeker.com/cn/node/download/front

特点：网页抓取、信息提取、数据抽取工具包，操作简单

11、Playfish

playfish是一个采用java技术，综合应用多个开源java组件实现的网页抓取工具，经过XML配置文件实现高度可定制性与可扩展性的网页抓取工具

应用开源jar包包含httpclient(内容读取),dom4j（配置文件解析）,jericho（html解析），已然在 war包的lib下。

这个项目日前还很不成熟，然则功能基本都完成为了。需求运用者熟练XML，熟练正则表达式。日前经过这个工具能够抓取各类论坛，贴吧，以及各类CMS系统。像Discuz!,phpbb,论坛跟博客的文案，经过本工具都能够容易抓取。抓取定义完全采用XML，适合Java研发人员运用。

运用办法：1.下载右边的.war包导入到eclipse中， 2.运用WebContent/sql下的wcc.sql文件创立一个范例数据库， 3.修改src包下wcc.core的dbConfig.txt，将用户名与秘码设置成你自己的mysql用户名秘码。 4.而后运行SystemCore,运行时候会在掌控台，无参数会执行默认的example.xml的配置文件，带参数时候名叫作为配置文件名。

系统自带了3个例子，分别为baidu.xml抓取百度晓得，example.xml抓取我的javaeye的博客，bbs.xml抓取一个采用 discuz论坛的内容。

授权协议： MIT

研发语言： Java

操作系统： 跨平台

特点：经过XML配置文件实现高度可定制性与可扩展性

12、Spiderman

Spiderman 是一个基于微内核+插件式架构的网络蜘蛛，它的目的是经过简单的办法就能将繁杂的目的网页信息抓取并解析为自己所需要的业务数据。

怎么运用？

首要，确定好你的目的网站以及目的网页（即某一类你想要获取数据的网页，例如网易资讯的资讯页面）

而后，打开目的页面，分析页面的HTML结构，得到你想要数据的XPath，详细XPath怎么获取请看下文。

最后，在一个xml配置文件里填写好参数，运行Spiderman吧！

授权协议： Apache

研发语言： Java

操作系统： 跨平台

特点：灵活、扩展性强，微内核+插件式架构，经过简单的配置就能够完成数据抓取，无需编写一句代码

13、webmagic

webmagic的是一个无须配置、便于二次研发的爬虫框架，它供给简单灵活的API，只需少量代码就可实现一个爬虫。

webmagic采用完全模块化的设计，功能覆盖全部爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie等功能。

webmagic包括强大的页面抽取功能，研发者能够方便的运用css selector、xpath和正则表达式进行链接和内容的提取，支持多个选取器链式调用。

webmagic的运用文档：

http://webmagic.io/docs/

查看源代码：

http://git.oschina.net/flashsword20/webmagic

授权协议： Apache

研发语言： Java

操作系统： 跨平台

特点：功能覆盖全部爬虫生命周期，运用Xpath和正则表达式进行链接和内容的提取。

备注：这是一款国产开源软件，由 黄亿华贡献

14、Web-Harvest

Web-Harvest是一个Java开源Web数据抽取工具。它能够收集指定的Web页面并从这些页面中提取有用的数据。Web-Harvest重点是运用了像XSLT,XQuery,正则表达式等这些技术来实现对text/xml的操作。

其实现原理是，按照预先定义的配置文件用httpclient获取页面的所有内容（关于httpclient的内容，本博有些文案已介绍），而后运用XPath、XQuery、正则表达式等这些技术来实现对text/xml的内容筛选操作，选择精确的数据。前两年比较火的垂直搜索（例如：酷讯等）亦是采用类似的原理实现的。Web-Harvest应用，关键便是理解和定义配置文件，其他的便是思虑怎么处理数据的Java代码。当然在爬虫起始前，亦能够把Java变量填充到配置文件中，实现动态的配置。

授权协议： BSD

研发语言： Java

特点：运用XSLT、XQuery、正则表达式等技术来实现对Text或XML的操作，拥有可视化的界面

15、WebSPHINX

WebSPHINX是一个Java类包和Web爬虫的交互式研发环境。Web爬虫(亦叫作设备人或蜘蛛)是能够自动浏览与处理Web页面的程序。WebSPHINX由两部分构成：爬虫工作平台和WebSPHINX类包。

授权协议：Apache

研发语言：Java

特点：由两部分构成：爬虫工作平台和WebSPHINX类包

16、YaCy

YaCy基于p2p的分布式Web搜索引擎.同期亦是一个Http缓存代理服务器.这个项目是构建基于p2p Web索引网络的一个新办法.它能够搜索你自己的或全局的索引,亦能够Crawl自己的网页或起步分布式Crawling等.

授权协议： GPL

研发语言： Java Perl

操作系统： 跨平台

特点：基于P2P的分布式Web搜索引擎

Python爬虫

17、QuickRecon

QuickRecon是一个简单的信息收集工具,它能够帮忙你查询子域名名叫作、perform zone transfe、收集电子邮件位置和运用microformats寻找人际关系等。QuickRecon运用python编写，支持linux和 windows操作系统。

授权协议： GPLv3

研发语言： Python

操作系统： Windows Linux

特点：拥有查询子域名名叫作、收集电子邮件位置并寻找人际关系等功能

18、PyRailgun

这是一个非常简单易用的抓取工具。支持抓取javascript渲染的页面的简单实用有效的python网页爬虫抓取模块

授权协议： MIT

研发语言： Python

操作系统： 跨平台 Windows Linux OS X

特点：简洁、轻量、有效的网页抓取框架

备注：此软件亦是由于国人开放

github下载：

https://github.com/princehaku/pyrailgun#readme

19、Scrapy

Scrapy 是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只需要定制研发几个模块就能够容易的实现一个爬虫，用来抓取网页内容以及各样照片，非常之方便～

授权协议： BSD

研发语言： Python

操作系统： 跨平台

github源代码：https://github.com/scrapy/scrapy

特点：基于Twisted的异步处理框架，文档齐全

C++爬虫

20、hispider

HiSpider is a fast and high performance spider with high speed

严格说只能是一个spider系统的框架, 无细化需要, 日前只是能提取URL, URL排重, 异步DNS解析, 队列化任务, 支持N机分布式下载, 支持网站定向下载(需要配置hispiderd.ini whitelist).

特征和用法:

基于unix/linux系统的研发

异步DNS解析

URL排重

支持HTTP 压缩编码传输 gzip/deflate

字符集判断自动转换成UTF-8编码

文档压缩存储

支持多下载节点分布式下载

支持网站定向下载(需要配置 hispiderd.ini whitelist )

可经过 http://127.0.0.1:3721/ 查看下载状况统计,下载任务掌控(可停止和恢复任务)

依赖基本通信库libevbase 和 libsbase (安装的时候需要先安装这个两个库).

工作流程:

从中心节点取URL(包含URL对应的任务号, IP和port,亦可能需要自己解析)

连接服务器发送请求

等待数据头判断是不是需要的数据(日前重点取text类型的数据)

等待完成数据(有length头的直接等待说明长度的数据否则等待比很强的数字而后设置超时)

数据完成或超时, zlib压缩数据返回给中心服务器,数据可能包含自己解析DNS信息, 压缩后数据长度+压缩后数据, 倘若出错就直接返回任务号以及关联信息

中心服务器收到带有任务号的数据, 查看是不是包含数据, 倘若无数据直接置任务号对应的状态为错误, 倘若有数据提取数据种link 而后存储数据到文档文件.

完成后返回一个新的任务.

授权协议： BSD

研发语言： C/C++

操作系统： Linux

特点：支持多机分布式下载, 支持网站定向下载

21、larbin

larbin是一种开源的网络爬虫/网络蜘蛛，由法国的青年人 Sébastien Ailleret独立研发。larbin目的是能够跟踪页面的url进行扩展的抓取，最后为搜索引擎供给广泛的数据源自。Larbin只是一个爬虫，亦就 是说larbin只抓取网页，至于怎样parse的事情则由用户自己完成。另一，怎样存储到数据库以及创立索引的事情 larbin亦不供给。一个简单的larbin的爬虫能够每日获取５００万的网页。

利用larbin，咱们能够轻易的获取/确定单个网站的所有链接，乃至能够镜像一个网站；亦能够用它创立url 列表群，例如针对所有的网页进行 url retrive后，进行xml的联结的获取。或是 mp3，或定制larbin，能够做为搜索引擎的信息的源自。

授权协议： GPL

研发语言： C/C++

操作系统： Linux

特点：高性能的爬虫软件，只负责抓取不负责解析

22、Methabot

Methabot 是一个经过速度优化的高可配置的 WEB、FTP、本地文件系统的爬虫软件。

授权协议： 未知

研发语言： C/C++

操作系统： Windows Linux

特点：过速度优化、可抓取WEB、FTP及本地文件系统

源代码：

http://www.oschina.net/code/tag/methabot

C#爬虫

23、NWebCrawler

NWebCrawler是一款开源，C#研发网络爬虫程序。

特性：

可配置：线程数，等待时间，连接超时，准许MIME类型和优先级，下载文件夹。

统计信息：URL数量，总下载文件，总下载字节数，CPU利用率和可用内存。

Preferential crawler：用户能够设置优先级的MIME类型。

Robust: 10+ URL normalization rules, crawler trap avoiding rules.

授权协议： GPLv2

研发语言： C#

操作系统： Windows

项目主页：http://www.open-open.com/lib/view/home/1350117470448

特点：统计信息、执行过程可视化

24、Sinawler

国内第1个针对博客数据的爬虫程序！原名“外链博客爬虫”。

登录后，能够指定用户为起点，以该用户的关注人、粉丝为线索，延人脉关系搜集用户基本信息、博客数据、评论数据。

该应用获取的数据可做为研究、与外链博客关联的开发等的数据支持，但请勿用于商场用途。该应用基于.NET2.0框架，需SQL SERVER做为后台数据库，并供给了针对SQL Server的数据库脚本文件。

另一，因为外链博客API的限制，爬取的数据可能不足完整（如获取粉丝数量的限制、获取博客数量的限制等）

本程序版权归作者所有。你可以避免费: 拷贝、分发、呈现和表演当前作品,制作派生作品。 你不可将当前作品用于商场目的。

5.x版本已然发布！ 该版本共有6个后台工作线程：爬取用户基本信息的设备人、爬取用户关系的设备人、爬取用户标签的设备人、爬取微博内容的设备人、爬取博客评论的设备人，以及调节请求频率的设备人。更高的性能！最大限度挖掘爬虫潜能！ 以此刻测试的结果看，已然能够满足自用。

本程序的特点：

6个后台工作线程，最大限度挖掘爬虫性能潜能！

界面上供给参数设置，灵活方便

抛弃app.config配置文件，自己实现配置信息的加密存储，守护数据库帐号信息

自动调节请求频率，防止超限，亦避免过慢，降低效率

任意对爬虫掌控，可随时暂停、继续、停止爬虫

良好的用户体验

授权协议： GPLv3

研发语言： C# .NET

操作系统： Windows

25、spidernet

spidernet是一个以递归树为模型的多线程web爬虫程序, 支持text/html资源的获取. 能够设定爬行深度, 最大下载字节数限制, 支持gzip解码, 支持以gbk(gb2312)和utf8编码的资源; 存储于sqlite数据文件.

源码中TODO:标记描述了未完成功能, 期盼提交你的代码.

授权协议： MIT

研发语言： C#

操作系统： Windows

github源代码：https://github.com/nsnail/spidernet

特点：以递归树为模型的多线程web爬虫程序，支持以GBK (gb2312)和utf8编码的资源，运用sqlite存储数据

26、Web Crawler

mart and Simple Web Crawler是一个Web爬虫框架。集成Lucene支持。该爬虫能够从单个链接或一个链接数组起始，供给两种遍历模式：最大迭代和最大深度。能够设置 过滤器限制爬回来的链接，默认供给三个过滤器ServerFilter、BeginningPathFilter和 RegularExpressionFilter，这三个过滤器可用AND、OR和NOT联合。在解析过程或页面加载前后都能够加监听器。介绍内容来自Open-Open

研发语言： Java

操作系统： 跨平台

授权协议： LGPL

特点：多线程，支持抓取PDF/DOC/EXCEL等文档源自

27、网络矿工

网站数据采集软件 网络矿工采集器（原soukey采摘）

Soukey采摘网站数据采集软件是一款基于.Net平台的开源软件，亦是网站数据采集软件类型中独一一款开源软件。尽管Soukey采摘开源，但并不会影响软件功能的供给，乃至要比有些商用软件的功能还要丰富。

授权协议： BSD

研发语言： C# .NET

操作系统： Windows

特点：功能丰富，毫不逊色于商场软件

PHP爬虫

28、OpenWebSpider

OpenWebSpider是一个开源多线程Web Spider（robot：设备人，crawler：爬虫)和包括许多有趣功能的搜索引擎。

授权协议： 未知

研发语言： PHP

操作系统： 跨平台

特点：开源多线程网络爬虫，有许多有趣的功能

29、PhpDig

PhpDig是一个采用PHP研发的Web爬虫和搜索引擎。经过对动态和静态页面进行索引创立一个词汇表。当搜索查找时，它将按必定的排序规则表示包括关 键字的搜索结果页面。PhpDig包括一个模板系统并能够索引PDF,Word,Excel,和PowerPoint文档。PHPdig适用于专业化更 强、层次更深的个性化搜索引擎，利用它打造针对某一行业的垂直搜索引擎是最好的选取。

演示：http://www.phpdig.net/navigation.php?action=demo

授权协议： GPL

研发语言： PHP

操作系统： 跨平台

特点：拥有采集网页内容、提交表单功能

30、ThinkUp

ThinkUp 是一个能够采集推特，facebook等社交网络数据的社会媒介视角引擎。经过采集个人的社交网络账号中的数据，对其存档以及处理的交互分析工具，并将数据图形化以便更直观的查看。

授权协议： GPL

研发语言： PHP

操作系统： 跨平台

github源码：https://github.com/ThinkUpLLC/ThinkUp

特点：采集推特、脸谱等社交网络数据的社会媒介视角引擎，可进行交互分析并将结果以可视化形式展现

31、微购

微购社会化购物系统是一款基于ThinkPHP框架研发的开源的购物分享系统，同期它亦是一套针对站长、开源的的淘宝客网站程序，它整合了淘宝、天猫、淘宝客等300多家商品数据采集接口，为广大的淘宝客站长供给傻瓜式淘客建站服务，会HTML就会做程序模板，免费开放下载，是广大淘客站长的首选。

演示网址：http://tlx.wego360.com

授权协议： GPL

研发语言： PHP

操作系统： 跨平台

ErLang爬虫

32、Ebot

Ebot 是一个用 ErLang 语言研发的可伸缩的分布式网页爬虫，URLs 被保留在数据库中可经过 RESTful 的 HTTP 请求来查找。

授权协议： GPLv3

研发语言： ErLang

操作系统： 跨平台

github源代码：https://github.com/matteoredaelli/ebot

项目主页：http://www.redaelli.org/matteo/blog/projects/ebot

特点：可伸缩的分布式网页爬虫

Ruby爬虫

33、Spidr

Spidr 是一个Ruby 的网页爬虫库，能够将全部网站、多个网站、某个链接完全抓取到本地。

研发语言： Ruby

授权协议：MIT

特点：可将一个或多个网站、某个链接完全抓取到本地

举荐阅读

（点击标题可转阅读）

Python 爬虫实践：《战狼2》豆瓣影评分析

看完本文有收获？请转发分享给更加多人

关注「数据分析与研发」加星标，提高数据技能

7wu1wm0

交流如星光璀璨，点亮思想夜空。

1fy07h

论坛外链网  http://www.fok120.com/

m5k1umn

论坛外链网  http://www.fok120.com/