回顾一下写一个爬虫需要做的一些步骤，使用requests库发送网络请求、使用lxml等解析技术对数据进行解析、使用数据库等方法进行存储数据，另外还可以在请求网络的时候进行更换IP、设置请求头等。

每次爬虫都要干这么多活，如果每次都从零开始写则比较浪费时间，所以我们需要一个框架，这个框架帮我们把一些基本的爬虫前奏都准备好了，我们只需要“站在巨人的肩膀上”即可。而Scrapy 框架就是这个“巨人的肩膀”。

它的工作原理如下：

各模块功能如下：

1. Engine（引擎）： scrap框架的核心部分。负责每个模块之间的通信、传递数据等。
2. spiders（爬虫）：将需要爬取的链接发送引擎，最后引擎把其他模块请求回来的数据再发送回爬虫，然后爬虫就可以对数据进行解析。（这部分是开发者自己写的，因为要爬取哪些连接，解析哪些数据是我们自己决定的）
3. Scheduler（调度器）：负责接收引擎发送过来的请求，并按照一定的方式进行排列和整理，决定了链接爬取的顺序。
4. Downloader（下载器）：负责接收引擎传过来的下载请求，然后去网络上下载对应的数据再交还给引擎。
5. Item Pipelines（管道）：负责将spider（爬虫）传递过来的数据进行保存。具体保存的方式和位置，也是由开发者自行决定。
6. Downloader Middlewares（下载中间件）：处于引擎跟下载器中间，处理下载请求部分。如在此可以设置请求头、IP地址等。
7. Spider Middlewares（爬虫中间件）：处于爬虫跟引擎中间，处理解析部分。

各模块执行过程如下：

1. 引擎打开一个网站，找到处理该网站的Spider并向该spider请求第一个要爬取的URL(s)。
2. 引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。
3. 引擎向调度器请求下一个要爬取的URL。
4. 调度器返回下一个要爬取的URL给引擎，引擎将URL通过下载中间件(请求(request)方向)转发给下载器(Downloader)。
5. 一旦页面下载完毕，下载器生成一个该页面的Response，并将其通过下载中间件(返回(response)方向)发送给引擎。
6. 引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理。
7. Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。
8. 引擎将(Spider返回的)爬取到的Item给Item Pipeline，将(Spider返回的)Request给调度器。

(从第二步)重复直到调度器中没有更多地request，引擎关闭该网站。

原理图及执行过程的描述参考于这篇文章：Scrapy架构图（工作原理）

如果觉得很不理解没关系，可以先往下学，之后再回过头来看这张图就会豁然开朗了。

6.1 快速入门

使用Scrapy之前需要先安装：pip install scrapy 。

如果在window系统下，还需安装一个东西：pip install pypiwin32

创建项目：

进入你想把此项目存放的目录，使用命令 scrapy startproject 项目名称 来创建项目。如 scrapy startproject scrapy_demo

用pycharm或其他编辑器打开该项目，项目结构如下：

主要文件的作用：

1. items.py：用来存放爬虫爬取下来数据的模型，即要存储的各字段。
2. middlewares.py：用来存放下载/爬虫中间件的文件。
3. pipelines.py：用来将items.py中的模型进行持久化存储。
4. settings.py：爬虫的一些配置信息（比如请求头、多久发送一次请求、IP代理池等许多设置）。
5. scrap.cfg：项目的配置文件。
6. spiders包：存放所有的爬虫文件。

以上步骤只是创建了项目，下一步还需要创建爬虫（我们在爬虫文件夹下进行写代码）

创建爬虫前需要先进入到刚才创建的项目中，然后通过命令 scrapy genspider 爬虫名字 要爬取网站的域名 。如scrapy genspider demo1 baidu.com 注意：爬虫名字不能跟项目名字重复。

此时，你会发现spiders文件夹下多了个demo1文件，内容如下：

allowed_domains是指以后所有的爬虫的链接都是在该域名下的，并不会说你要爬取百度的网址，却给你爬了个谷歌的网址。

stats_urls是指爬虫刚启动时是向该链接发送网络请求。

这些都创建好之后，就可以运行项目了，需要注意的是，在编辑器中是无法直接运行的，需要进入到爬虫文件夹下运行cmd命令 scrapy crwal 爬虫名字 运行项目。放心，以后在编辑器中有便捷方式来运行，现在先不介绍。

至此，一个scrapy就成功创建并运行起来了。来回顾一下刚才的操作：

1. 创建项目：scrapy startproject 项目名字
2. 创建爬虫：scrapy genspider 爬虫名字 爬取的域名 ，注意爬虫的名字不能与项目名字相同。
3. 运行爬虫：scrapy crwal 爬虫名字

6.2 渐渐深入

pipelines.py文件函数：

__init__(self) 构造函数，创建pipelines时执行

open_spider(self,spider) spider(爬虫) 被打开时自动执行

process_item(self, item, spider)当爬虫有item传入时被调用

close_spider(self,spider) 当spider(爬虫)被关闭的时候执行

tips: 一般需要存储文件时在__init__(self)或者open_spider(self,spider) 中编写打开文件的操作或者链接数据库操作，在process_item(self, item, spider)中编写写入数据的操作，最后在close_spider(self,spider)中关闭文件或数据库

settings.py文件常用设置：

ROBOTSTXT_OBEY = True 是否遵循机器人协议，我们需要把它改成False
DEFAULT_REQUEST_HEADERS 设置请求头

DEFAULT_REQUEST_HEADERS = {
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  'Accept-Language': 'en',
  # 设置User-Agent
  'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362'
}

DOWNLOADER_MIDDLEWARES 开启下载中间件，例如我这里写了三个下载中间件，后面的数字越小表示优先级越高

DOWNLOADER_MIDDLEWARES = {
    'scrapy_demo.middlewares.ScrapyDemoDownloaderMiddleware': 543,
    'scrapy_demo.middlewares.UserAgentDownloadMiddleware': 500,
    'scrapy_demo.middlewares.IPProxyDownloadMiddlleware': 400,
}

SPIDER_MIDDLEWARES 爬虫中间件，用法同下载中间件。

ITEM_PIPELINES 开启下载项。

tips：以上的配置在settings文件中都是注释了的，我们再使用到相应功能的时候，要记得解除注释。

如何在编辑器中运行项目（怎么样才不用每次都去cmd那里运行项目）：

在项目根目录中创建一个py文件，一般我喜欢命名为start.py。

内容为：

# 导入命令行
from scrapy import cmdline
# 使用命令行运行项目
cmdline.execute("scrapy crawl 项目名".split())

每次要运行项目时运行此文件即可。

结合案例介绍文件：

以爬取糗事百科网站为例，假如本次案例我们需要爬取到糗事百科的段子跟作者，并把它保存为json文件。

首先创建好项目、爬虫，在根目录下创建start.py ，接着在settings文件夹下把协议变成False，设置请求头。

qsbk_spider.py 内容：

DOWNLOADER_MIDDLEWARES = {
    'scrapy_demo.middlewares.ScrapyDemoDownloaderMiddleware': 543,
    'scrapy_demo.middlewares.UserAgentDownloadMiddleware': 500,
    'scrapy_demo.middlewares.IPProxyDownloadMiddlleware': 400,
}

itmes.py 内容：

import scrapy
class QsbkItem(scrapy.Item):
    # 在item模型中定义好要保存的数据
    # 接收qsbk_spider传过来的参数
    author = scrapy.Field()
    text = scrapy.Field()

pipelines.py 内容：

import json
class QsbkPipeline(object):
    def open_spider(self, spider):
        self.fp = open('qsbk.json', 'a', encoding='utf-8')
    def process_item(self, item, spider):
        # 此时的item为QsbkItem类型，需要转成字典才可以变成json
        text = json.dumps(dict(item), ensure_ascii=False)
        self.fp.write(text + '\n')
        return item
    def close_spider(self, spider):
        self.fp.close()

记得要在settings中打开pipelines。

小结：

1. 爬虫第一步，对协议说“不”
2. response 对象可以执行xpath、css语法来提取数据。
3. 提取出来的数据类型可能是Selector或SelectorList ,如果想要获取其中的字符串或字符串列表，应该执行get或getall 方法
4. 如果要将数据传给pipelines处理，可以使用yield
5. yield 与return 是有区别的，读者可自行百度查阅资料。

原文链接：https://blog.csdn.net/weixin_43521592/java/article/details/106962079