零基础教学，用python爬虫框架“Scrapy”来解锁一个小成就

嘿~大家好，我是小编4U：

作为一个爬虫的老手了，不知道大家有没有一种感觉：要写出一个完整的爬虫程序需要做很多琐碎的工作。比如，要针对不同的网站制定不同的解析方式；要导入不同功能的模块；还要编写各种爬取流程的代码。我们在日常工作中会使用PPT模板来制作PPT。那么有没有一个现成的爬虫模板，让我们能够改之即用，也就是说对这个模板进行适当的修改，就能完成一个爬虫项目的开发呢？

那就让我们来一起学习一下Scrapy这个nb的框架

(只要认真学，绝对能拿下)

一

什么是Scrapy

在学习python的过程中，我们用到了许多的模块，他们有不同的功能，比如：

• 1. requests模块：进行请求
• 2. csv模块：储存数据

而在Scrapy框架里面，我们不需要做怎么多，因为在这个框架里面都能自动实现，下面，我们就来了解Scrapy的基础知识，包括Scrapy的结构及其工作原理；

上面的这张图是Scrapy的整个结构。你可以把整个Scrapy框架当成是你所在的部门。最中心位置的Scrapy Engine(引擎）就是你所在部门的大boss，负责统筹规划你这个部门的四大职能。

• Scheduler(调度器) 主要负责处理引擎发送过来的requests对象（即网页请求的相关信息集合，包括params，data，cookies，request headers…等），会把请求的url以有序的方式排列成队，并等待引擎来提取（功能上类似于gevent库的queue模块）。
• Downloader（下载器） 则是负责处理引擎发送过来的requests，进行网页爬取，并将返回的response（爬取到的内容）交给引擎。它对应的是爬虫流程【获取数据】这一步。
• Spiders(爬虫) 主要任务是创建requests对象和接受引擎发送过来的response（Downloader部门爬取到的内容），从中解析并提取出有用的数据。它对应的是爬虫流程【解析数据】和【提取数据】这两步。
• Item Pipeline（数据管道） 负责存储和处理Spiders提取到的有用数据。这个对应的是爬虫流程【存储数据】这一步。
• Downloader Middlewares（下载中间件） 它的工作相当于下载器的助手，比如会提前对引擎发送的诸多requests做出处理。
• Spider Middlewares（爬虫中间件） 它的工作则相当于爬虫的助手，比如会提前接收并处理引擎发送来的response，过滤掉一些重复无用的东西。

二

Scrapy的工作原理

在Scrapy爬虫部门里，每个成员都各司其职，互相配合，这套运行流程的逻辑很简单，其实就是：引擎大boss说的话就是最高需求！看下面的对话：

• ScrapyEngine: 伙计们，今天咱们要爬什么呢？
• Spiders: 爬取一个url：htpps://…，我已经分装成requests了
• ScrapyEngine: 调度器，配合Spiders的工作。把requests都放进队列
• 调度器: 收到!
• ScrapyEngine: 下载器，把这些requests爬下来，爬取结果发给我
• 下载器: 下载器:收到，现在开始处理
• 下载器: 已完成，现在把response发给你。
• ScrapyEngine: Spiders， 我已经把response发给你，请尽快解析和处理
• Spiders: 收到。已完成，提取出来的Item已经发送给你了。
• ScrapyEngine: 数据管道，把Spider这些Otem处理一下。
• 数据管道: 收到，现在开始处理。

从上面的对话可以看出Scrapy框架的工作原理。也有许多的优势和好处：

• 在使用 Scrapy 的时候。我们不需要去关心爬虫的每个流程。
• 并且Scrapy中的网络请求都是默认异步模式，请求和返回都会由引擎去自动分配处理。
• 如果某个请求出现异常，框架也会帮我们做异常处理，跳过这个异常的请求，继续去执行后面的程序。
• 所以说，我们使用 Scrapy 可以省掉很多的时间和工作

三

Scrapy的用法

初学的小伙伴在没搞懂原理之前，先别急着看下面的内容，试着把原理搞懂再来做项目。

我们在了解完Scrapy的结构和工作原理后，我们就来试着爬一爬——豆瓣Top250的图书。

01

明确目标：

先来查看一下即将要爬取的网址 :https://book.douban.com/top250

豆瓣Top250图书一共有10页，每页有25本书籍。我们的初步目标是：先只爬取前三页书籍的信息，总共是 25 x 3 = 75 本，包含书名、出版信息、书籍评分。

02

分析目标：

接下来就是要分析爬取网站的网页结构， 首先得判断这些信息被存在了哪里，为了防止出错，大家最好跟着操作，按F12打开快乐爬虫模式，点开Network

• 刷新页面，然后点击第0个请求top250，看Response.
• 我们能在里面找到书名、出版信息，说明我们想要的书籍信息就藏在这个网址的HTML里。
• 我们能在里面找到书名、出版信息，说明我们想要的书籍信息就藏在这个网址的HTML里。

• 接着，我们就来具体观察一下这个网站，因为它是带分页的。
• 所以点击翻到豆瓣Top250图书的第2页。
• https://book.douban.com/top250?start=25

• 我们可以看到，网址发生了变化，后面多了 ?start=25。现在的你，应该就能猜到后面的数字应该是代表一页的25本书籍吧？我们还可以看一下第三页，来验证一下

事实证明，我们猜对了。每翻一页，网址后面的数字都会增加25，说明这个start的参数就是代表每页的25本书籍。

也就是表达只要改变 ?start=后面的数字（翻一页加25），我们就能得到每一页的网址。

网页我们已经得到，接下来就是如何去得到所要爬取的内容了

还是是右击打开“检查”工具，点击 Elements，再点击光标，把鼠标依次移到书名、出版信息、评分处，就能在HTML里找到这些书籍信息。如下图，《红楼梦》的书籍信息就全部放在 table width="100%"标签里

但是问题出现了：

• 其实每一页的25本书籍信息都分别藏在了一个 table width="100%"标签里。不过这个标签没有 class属性，也没有id属性，不方便我们提取信息。

• 那怎么办呢？我们得继续再找一个既方便我们提取，又能包含所有书籍信息的标签。

• 我们可以看看 table width="100%"标签下的 tr class="item"元素，好像刚好都能满足我们的要求，既有 class属性，又包含了书籍的信息。

最后来总结一下：

我们只要取出 <tr class="item"> 元素下 <a> 元素的title属性的值、<p class="pl">元素，<span class="rating_nums">元素，就能得到书名、出版信息和评分的数据。

03

代码实现

接下来会涉及到很多Scrapy的用法，如果想学会的话，请你一定要认真地看！

（1）.Scrapy的安装和文件生成

使用 conda 安装 Scrapy,运行：

conda install -c conda-forge scrapy

或者，可以从pypi安装scrappy及其依赖项

pip install Scrapy

安装完成后，要在本地电脑打开一个你要保存的文件

再框内输入cmd，然后回车

就能跳转到对于文件的终端；

然后，再输入一行能帮我们创建Scrapy项目的命令：

scrapy startproject douban，douban 就是Scrapy项目的名字。回车，一个Scrapy项目就创建成功了，只要一步一步来，肯定不会出错的

下载完成后，可以看到有这些文件

Scrapy项目里每个文件都有它对应的具体功能。例如：

• settings.py 是scrapy里的各种设置、
• items.py 是用来定义数据的、
• pipelines.py 是用来处理数据的，

它们对应的就是Scrapy的结构中的Item Pipeline（数据管道）。

其中最重要的是spiders是放置爬虫的目录。我们可以在spiders这个文件夹里创建爬虫文件。我们来把这个文件，命名为Book_douban_Top250。后面的大部分代码都需要在这个Book_douban_Top250.py文件里编写。

（2）.Scrapy核心代码

注意！前方高能部分了，请系好安全带！勿跟丢了！

导入BeautifulSoup用于解析和提取数据; 导入scrapy是待会我们要用创建类的方式写这个爬虫，我们所创建的类将直接继承scrapy中的scrapy.Spider类。这样，有许多好用属性和方法，就能够直接使用。

接着我们开始编写爬虫的核心代码。

在Scrapy中，每个爬虫的代码结构基本都如下所示：

• import scrapy
• 
  
• import bs4
• 
  
• 
  
• class DoubanSpider(scrapy.Spider):
• # 定义一个爬虫类DoubanSpider
• name = 'book_douban'
• # name是定义爬虫的名字，这个名字是爬虫的唯一标识。
• # name = 'book_douban'意思是定义爬虫的名字为book_douban。
• # 等会我们启动爬虫的时候，要用到这个名字。
• 
  
• allowed_domains = ['book.douban.com']
• # allowed_domains是定义允许爬虫爬取的网址域名（不需要加https://）。
• # 如果网址的域名不在这个列表里，就会被过滤掉。
• 
  
• start_urls = ['https://book.douban.com/top250?start=0']
• # start_urls是定义起始网址，就是爬虫从哪个网址开始抓取。
• # 并且allowed_domains的设定对start_urls里的网址不会有影响。
• 
  
• def parse(self, response):
• # parse是Scrapy里默认处理response的一个方法。
• print(response.text)
• 
  

是不是觉得和之前自己动手写爬虫的完全不一样了呢？怎么连

requests.get()

都没有了呢？其实在框架里，我们并不需要写这一句。scrapy框架会为我们做这件事，写好请求后，接下来你就可以直接写对 response

如何做处理，我会在后面做出示例。

在上面我们已经找到了网站的规律，我们直接用for循环得到每个网址：

https://book.douban.com/top250?start=(页数-1)*25 ，代码如下：

• 
  
• for x in range(3):
• # 获取网址，添加到start_urls
• url = f'https://book.douban.com/top250?start={x * 25}'
• start_urls.append(url)
• 
  
• 
  

我们只先爬取豆瓣Top250前3页的书籍信息，接下来，只要再借助DoubanSpider(scrapy.Spider)中的 parse 方法处理 response，借助 BeautifulSoup 来取出我们想要的书籍信息的数据。Let`s go

• def parse(self, response):
• #parse是默认处理response的方法。
• bs = bs4.BeautifulSoup(response.text,'html.parser')
• #用BeautifulSoup解析response。
• datas = bs.find_all('tr',class_="item")
• #用find_all提取<tr class="item">元素，这个元素里含有书籍信息。

按照流程，接下来就应该保存数据了，但是在Scrapy里面有点不一样哈。

spiders（如Book_douban_Top250.py）只干 spiders 应该做的事。对数据的后续处理，另有其他“部门”负责。在 scrapy中，我们会专门定义一个用于记录数据的类。定义这些数据类的python文件，正是items.py。

接下来让我们在 items.py 中编写这部分的代码：

• import scrapy
• 
  
• 
  
• # 导入scrapy
• class BookDoubanItem(scrapy.Item):
• # 定义一个类BookDoubanItem，它继承自scrapy.Item
• title = scrapy.Field()
• # 定义书名的数据属性
• publish = scrapy.Field()
• # 定义出版信息的数据属性
• score = scrapy.Field()
• # 定义评分的数据属性

scrapy.Field()这行代码实现的是，让数据能以类似字典的形式记录。但它却并不是dict，它的数据类型是我们定义的DoubanItem，属于“自定义的Python字典”。

• def parse(self, response):
• # parse是默认处理response的方法
• 
  
• bs = bs4.BeautifulSoup(response.text, 'html.parser')
• 
  
• # 用BeautifulSoup解析response
• 
  
• datas = bs.find_all('tr', class_="item")
• 
  
• # 用find_all提取<tr class="item">元素，这个元素里含有书籍信息
• for data in datas:
• 
  
• # 遍历data
• 
  
• item = BookDoubanItem()
• 
  
• # 实例化DoubanItem这个类
• 
  
• item['title'] = data.find_all('a')[1]['title']
• 
  
• # 提取出书名，并把这个数据放回DoubanItem类的title属性里
• 
  
• item['publish'] = data.find('p', class_='pl').text
• 
  
• # 提取出出版信息，并把这个数据放回DoubanItem类的publish里
• 
  
• item['score'] = data.find('span', class_='rating_nums').text
• 
  
• # 提取出评分，并把这个数据放回DoubanItem类的score属性里。
• 
  
• print(item['title'])
• 
  
• # 打印书名
• 
  
• yield item
• 
  
• # yield item是把获得的item传递给引擎

当我们需要记录一次数据的时候，比如前面在每一个最小循环里，都要记录“书名”，“出版信息”，“评分”。我们会实例化一个item对象，利用这个对象来记录数据。一个对象对应一次数据

在Scrapy框架里，每一次当数据完成记录，它会离开spiders，来到Scrapy

Engine（引擎），引擎将它送入Item Pipeline（数据管道）处理。这里，要用到yield语句。

yield语句你可能还不太了解，这里你可以简单理解为：它有点类似return，不过它和return不同的点在于，它不会结束函数，且能多次返回信息。

（3）.Scrapy思路整理

让我们理一下思路：

• 爬虫（Spiders）会把豆瓣的10个网址封装成requests对象，引擎会从爬虫（Spiders）里提取出requests对象，再交给调度器（Scheduler），让调度器把这些requests对象排序处理。
• 然后引擎再把经过调度器处理的requests对象发给下载器（Downloader），下载器会立马按照引擎的命令爬取，并把response返回给引擎。
• 紧接着引擎就会把response发回给爬虫（Spiders），这时爬虫会启动默认的处理response的parse方法，解析和提取出书籍信息的数据，使用item做记录，返回给引擎。引擎将它送入Item Pipeline（数据管道）处理。
• 
  

如果现在运行还是会报错，原因在于Scrapy里的默认设置没被修改。比如我们需要修改请求头（User-Agent需要设置）。点击settings.py文件，你能在里面找到如下的默认设置代码：

在这里我们把USER _AGENT的注释取消（删除#），然后替换掉user-agent的内容，就是修改了请求头。

又因为Scrapy是遵守robots协议的，如果是robots协议禁止爬取的内容，Scrapy也会默认不去爬取，所以我们还得修改Scrapy中的默认设置

把ROBOTSTXT_OBEY=True改成ROBOTSTXT_OBEY=False，就是把遵守robots协议换成无需遵从robots协议，这样Scrapy就能不受限制地运行。

最后来看一下Book_douban_Top250.py的完整代码：

• import scrapy
• import bs4
• from ..items import BookDoubanItem
• 
  
• 
  
• class DoubanSpider(scrapy.Spider):
• # 定义一个爬虫类DoubanSpider
• name = 'book_douban'
• # name是定义爬虫的名字，这个名字是爬虫的唯一标识。
• # name = 'book_douban'意思是定义爬虫的名字为book_douban。
• # 等会我们启动爬虫的时候，要用到这个名字。
• 
  
• allowed_domains = ['book.douban.com']
• # allowed_domains是定义允许爬虫爬取的网址域名（不需要加https://）。
• # 如果网址的域名不在这个列表里，就会被过滤掉。
• 
  
• start_urls = ['https://book.douban.com/top250?start=0']
• # start_urls是定义起始网址，就是爬虫从哪个网址开始抓取。
• # 并且allowed_domains的设定对start_urls里的网址不会有影响。
• 
  
• for x in range(3):
• url = f'https://book.douban.com/top250?start={x * 25}'
• start_urls.append(url)
• 
  
• def parse(self, response):
• # parse是默认处理response的方法
• 
  
• bs = bs4.BeautifulSoup(response.text, 'html.parser')
• 
  
• # 用BeautifulSoup解析response
• 
  
• datas = bs.find_all('tr', class_="item")
• 
  
• # 用find_all提取<tr class="item">元素，这个元素里含有书籍信息
• for data in datas:
• 
  
• # 遍历data
• 
  
• item = BookDoubanItem()
• 
  
• # 实例化DoubanItem这个类
• 
  
• item['title'] = data.find_all('a')[1]['title']
• 
  
• # 提取出书名，并把这个数据放回DoubanItem类的title属性里
• 
  
• item['publish'] = data.find('p', class_='pl').text
• 
  
• # 提取出出版信息，并把这个数据放回DoubanItem类的publish里
• 
  
• item['score'] = data.find('span', class_='rating_nums').text
• 
  
• # 提取出评分，并把这个数据放回DoubanItem类的score属性里。
• 
  
• print(item['title'])
• 
  
• # 打印书名
• 
  
• yield item
• 
  
• # yield item是把获得的item传递给引擎
• 
  

（4）.Scrapy运行

想要运行Scrapy有两种方法：

• 一种是在本地电脑的终端跳转到scrapy项目的文件夹，然后输入命令行：scrapy crawl book_douban（book_douban就是我们爬虫的名字）。
• 另一种运行方式需要我们在最外层的大文件夹里新建一个main.py文件（与scrapy.cfg同级）。

代码：

• from scrapy import cmdline
• 
  
• #导入cmdline模块,可以实现控制终端命令行
• 
  
• cmdline.execute(['scrapy','crawl','book_douban'])
• 
  
• #用execute（）方法，输入运行scrapy的命令

大功告成，来运行一下看看效果。

在终端可以看到所爬取的数据，Nice！！

在这里是没有保存数据，因为存储数据需要修改pipelines.py文件。

因为内容过多~所以呢，等过几天再继续更新，教大家如何保存数据。

Scarpy好用归好用，但是对于小白来说学习起来还是有一定难度滴~

但是我相信你是最棒的，特别是在看完本次的教程后，在通过自己的摸索，一定能成功。

————————————————

CONTACT US / 联系我们

VX/官方公众号

乐搏软件测试

头条号/官方账号

乐搏软件测试

WEIBO/官方微博

乐搏软件学院

TIKTOK/官方抖音

软件测试大乐er

BILIBILI/哔哩哔哩

乐搏软件测试

喜马拉雅/官方账号

乐搏软件测试

点击底部 “ 点赞 + 在看 ” 这个秋天会有幸运降临哦！