|
经过前面Python基本内容的学习，相信好多小伙伴都感觉一身本事，然则无用武之地吧，哈哈哈。。。
不要着急，如你们的愿，在爬虫周期，咱们就大胆的把基本部分的内容应用一下吧~~~
此时此刻，你准备好了吗？咱们要起始爬虫的学习之路喽！
初识爬虫
一. 爬虫简介
模拟浏览器，发送请求，获取响应
网络爬虫，英文名为Spider,又叫作为网页蜘蛛，网络设备人，在数据分析应用中，更加多的将爬虫叫作为数据采集程序，是一种根据必定的规则，自动地抓取网络信息的程序或脚本。
原则上,只要是客户端(浏览器)能做的事情，爬虫都能够做
爬虫亦只能获取客户端(浏览器)所展示出来的数据
网络中的数据能够是由于web服务器【Nginx/Apache】，数据库服务【MySQL/Redis/MongoDB】，索引库，大数据，视频/照片库，云存储【阿里云的OSS】等供给的，最重点的源自是Web服务器。
不外，大众必定要重视哦，可爬取的数据必须是公开的，非盈利的，如：倘若侵入人家非公开的网络，人家会经过ip定位到你，属于违法行径的哦，再或，有些理财的网站，倘若爬取数据，肯定是不能够的，倘若小伙伴们不听话，非要去爬取，那任何人都是守护不了你的哦，狗头保命~~~
有名的爬虫案件：简历大数据机构“巧达科技”被一锅端、“车来了”涉嫌偷数据被警方立案等
二. 爬虫归类
通用爬虫：
通用网络爬虫从互联网中搜集网页，采集信息，这些网页信息决定着全部引擎系统的内容是不是丰富，信息是不是即时，因此呢其性能的优劣直接影响着搜索引擎的效果
大众要重视哦，通用爬虫虽然简单，方便，然则缺点亦是显而易见的，宋宋给大众列举了几点，大众能够认识一下：
a. 通用搜索引擎所返回的结果都是网页，而大多状况下，网页里90%的内容对用户来讲都是无用的。
b. 区别行业、区别背景的用户常常拥有区别的检索目的和需要，搜索引擎没法供给针对详细某个用户的搜索结果。
c. 万维网数据形式的丰富和网络技术的持续发展，照片、数据库、音频、视频多媒介等区别数据海量显现，通用搜索引擎对这些文件无能为力，不可很好地发掘和获取。
d. 通用搜索引擎大多供给基于关键字的检索，难以支持按照语义信息提出的查找，没法准确理解用户的详细需要。
聚焦爬虫：
聚焦爬虫，是"面向特定主题需要"的一种网络爬虫程序，它与通用搜索引擎爬虫的区别在于：聚焦爬虫在实施网页抓取时会对内容进行处理筛选，尽可能保准只抓取与需要关联的网页信息，如12306抢票，或专门抓取某一个（某一类）网站数据。
1.按照是不是以获取数据为目的，能够分为：
功能性爬虫，给你爱好的明星投票、点赞
数据增量爬虫，例如招聘信息
2.按照url位置和对应的页面内容是不是改变，数据增量爬虫能够分为：
基于url位置变化、内容亦随之变化的数据增量爬虫
url位置不变、内容变化的数据增量爬虫
看到这儿，大众是不是发掘通用爬虫简单，然则不实用，聚焦爬虫应用比较广泛，况且实用，然则实现起来难度较大，不外没事的哈，有宋宋的帮忙，咱们都能学会的，奥利给！！！
三. 爬虫的功效
爬虫在互联网世界中有非常多的功效，例如：
1. 数据采集，例如：
抓取博客评论(设备学习舆情监控)
抓取招聘网站的招聘信息(数据分析、挖掘)
外链滚动资讯
百度资讯网站
2. 软件测试
爬虫之自动化测试
自动化测试所必需的selenium . selenium是一个用于Web应用程序测试的工具，selenium 测试直接运行在浏览器中，就像真正的用户在操作同样。支持的浏览器包含IE，chrome和Firefox等。其实便是借助于selenium做爬虫的事情。
3. 抢票和投票
12306抢票
投票网
4. 网络安全
短信轰炸
web漏洞扫描
四. 技术过程
第1步：爬取数据，实质上便是按照一个网址向服务器发起网络请求，获取到服务器返回的数据
第二步：解析数据，将服务器返回的数据转换为人容易理解的样式
第三步：筛选数据，从海量的数据中筛选出需要的数据
第四步：存储数据，将筛选出来的有用的数据存储起来，如：数据库，CSV文件，Excel文件，JSON文件等
只要小伙伴们根据这四个过程操作，实现一个爬虫任务还是很简单的。
好了，咱们本节内容就到此结束啦，经过本节课的学习，咱们对爬虫有了大概的认识，并大概认识了爬虫关联的有些关联技术，有了这些概念的加持，对咱们学习后面的内容会有很大的帮忙。
期待大众学习完爬虫的所有课程之后，能有一个不错的收获~~~，Good Luck！！！
| 
发表于 2024-8-25 19:45:03
