爬虫scrapy框架学习(二)（爬虫框架的运行流程）

五、爬取苏宁易购下所有图书信息案例

5.1先利用scrapy框架创建一个爬虫项目，再创建sn_book_spider爬虫

5.2在sn_book_spider.py中构造请求，提取数据：

5.3案例总结：1.该案例最难的地方在于需要层层传递参数和请求数据，

请求顺序是分类-》列表-》详情，

2.而在运行时会遇到数据重复的问题，原因是scrapy框架是异步结构，

所以同一时间可能会有多个请求操作同一个item字典，就会导致数据重复覆盖，

解决方法是每个请求传递参数时，传递深拷贝过的参数，

因为深拷贝会开辟一个新的内存地址来存放对象，

所以拷贝后的对象和拷贝前的对象相互独立，互不干扰

六、Scarpy中的CrawlSpider：

6.1生成crawlspider的命令：scrapy genspider –t crawl csdn “csdn.cn”

6.2crawlspider的使用：

6.3crawlspider的参数说明：

七、下载中间件

7.1使用方法：和pipeline一样，定义一个类，然后在setting.py中开启

7.2Downloader Middlewares默认的方法：

process_request(self, request, spider)：

当每个request通过下载中间件时，该方法被调用。

process_response(self, request, response, spider)：

当下载器完成http请求，传递响应给引擎的时候调用

7.3下载中间件的用途主要是使用多UA或者多代理，提高反爬效率：

八、scrapy模拟登陆

8.1模拟登陆的意义：为了爬取登陆后的页面数据

8.2模拟登陆的方法：

1.直接携带cookie登陆

a.应用场景：

1.cookie过期时间很长，常见于一些不规范的网站

2.能在cookie过期之前把搜有的数据拿到

3.配合其他程序使用，比如其使用selenium把登陆之后的cookie获取到保存到本地，

scrapy发送请求之前先读取本地cookie

b.关键认知：

1.通过查看scrapy.Spider源码，可以知道我们定义在spider下的start_urls=[]

都是默认交给start_requests处理的，

所以我们可以重写start_requests方法来让其携带cookie请求

2.要使用cookie时，需要在setting.py中开启cookie

c.使用示例：

2.发送post请求：

a.应用场景：适用于大部分网站

b.关键认知：我们使用scrapy.FormRequest来发送Post请求，

还可以使用scrapy.FormRequest.from_response来自动寻找表单登录

c.使用示例：

1.首先使用常规的scrapy.FormRequest函数，需要我们自己拼接参数：

2.然后使用scrapy.FormRequest.from_response函数，自动寻找表单登录：

九、scrapy_redis使用

9.1意义：Scrapy_redis在scrapy的基础上实现了更多，更强大的功能，

具体体现在：reqeust去重，爬虫持久化，和轻松实现分布式

9.2工作流程：scrapy_redis的工作流程如下：

9.3使用：我们通过阅读scrapy_redis源码和示例来学习如何使用它

1.示例1：

a.编写一个爬取domz网站数据的爬虫，主体逻辑如下：

b.不同的是在setting.py中加入以下配置：

c.这样配置以后，运行该爬虫，会发现redis多出了三个键，如下：

d.其中需要注意的是，redispipeline中仅仅实现了item数据存储到redis的过程，

我们可以新建一个pipeline（或者修改默认的ExamplePipeline），让数据存储到任意地方

e.总结：上述示例通过在setting.py中配置使用了scrapy_redis的功能，

使得爬虫多了持久化和request去重的功能

2.源码解析：

a.RedisPipeline代码如下：

b.RFPDupeFilter代码如下：

解析：上述源码的流程是先使用sha1加密request得到指纹

然后把指纹存在redis的集合中

当新来一个request时，先用同样的方式生成指纹，

然后判断该指纹是否存在reids的集合中

c.Scheduler代码如下：

解析：上述源码的流程是先判断爬虫的持久性，

如果设置为不持久则会在程序退出以后清空redis中的数据

然后判断request是否可以入队，入队的条件有以下几种：

1.dont_filter = True ,构造请求的时候，把dont_filter置为True，

该url会被反复抓取（url地址对应的内容会更新的情况）

2.一个全新的url地址被抓到的时候，构造request请求

3.url地址在start_urls中的时候，会入队，不管之前是否请求过

d.总结：由scrapy_redis的源码，我们可以看出，

它的工作原理是将先所有的request都存入队列中，

当一次请求完成后，将对应的request从队列中pop出来，

将pop出来的request使用sha1加密生成指纹，存入指纹集合中

每当有request过来的时候，程序会先用同样的方法生成指纹，

然后判断该指纹是否在指纹集合中，如果在则表示这个request已经被请求过了，

故不再让它入队，如果不在则说明这是个全新的request，让它入队

这样就可以实现request的去重功能