scrapy是一款开源的框架，用来爬取互联网上的数据，它非常流行。但是看了官方文档的入门示例后，我在开始动手编写自己的爬虫时仍然遇到不少困惑的问题，这里整理如下。

如何使用多级request并传递参数？

官方文档的入门实例只需要一个request就爬到了所需的数据，但是实际情况往往更加复杂，就像要爬取下面这样的数据，往往需要多次请求才能做到，而且需要把上一级爬取的信息（如设备类型）传递到下一级最终才能得到想要爬取的完整数据。

parse方法是scrapy默认的request回调响应，如果需要多级request则需要定义多个回调方法，通过上一级的yield scrapy.Request中的callback参数进行指定，同时通过meta参数进行数据传递，示例如下：

def parse(self, response):
	... //省略干扰代码
	yield scrapy.Request(url=url, meta={"device_type": device_type}, 
							callback=self.parse_component)
		
def parse_component(self, response):
	... //省略干扰代码
	device_type = response.meta["device_type"]   # 通过response.meta提取传递的参数
	yield scrapy.Request(url=url, meta={"device_type": device_type,"device_title": device_title}, 
								callback=self.parse_asset)

def parse_asset(self, response):
	... //省略干扰代码
	device_type = response.meta["device_type"]  # 通过response.meta提取传递的参数
	device_title = response.meta["device_title"]    # 通过response.meta提取传递的参数
	item = ZoomeyeSipderItem()
	item["device_type"] = device_type
	item["device_title"] = device_title
	item["ip"] = ip
	item["port"] = port["port"]
	item["service"] = port["service"]
	item["banner"] = port["banner"]
	yield item

如何爬取动态页面的数据？

现在大部分的站点都是动态站点了，也就是站点的页面并不是事先就准备好的，而根据用户使用过程中实时地请求服务器数据动态生成的页面，这样的站点如果直接爬取站点URL的话一般不会得到所需的数据。

通过结合selenium自动化框架直接操作页面去爬取是可行的方法，另外一种可行的办法是通过浏览器开发工具分析找到其中的XHR请求，找到那个返回所需要数据的api接口，在scrapy爬虫代码中直接请求api接口的URL进行爬取，不过这种方式需要作一番细致的分析，因为往往URL中的查询参数并不是那么直观就能得到，而且因爬取的站点不同而情况各异。

如何爬取需要验证码登录的站点？

很多要爬取的站点都是需要账户登录成功后才能正常使用的，大部分站点登录都需要输入动态验证码，这其实就是一种防爬的机制，遇到这样的情况该怎么办呢？

这里需要稍微了解下cookie的知识，首先我们需要明白的一点是站点服务方绝对不傻到任何页面操作都要进行一次登录，因为那样太影响用户体验了，因此我们登录一次站点后登录的状态就会被记录下来，接下来的操作就不用再次登录了，至少一段时间内不再需要反复登录。这种记录登录状态的能力是通过cookie来实现的，cookie是站点服务器根据你的登录认证生成的一串字符并记录到你的浏览器中，在浏览器开发工具应用程序标签可以找到。别人看到你的cookie并不会知道你的账号和密码，但是如果别人知道了你的cookie就可以在请求中携带这个cookie来冒充你，所以一定不要泄露你的cookie信息。

爬取需要登录的站点思路就是首先手工登录到站点，然后找到cookie，在scrapy的request请求中携带cookie来进行用户认证，大部分情况下你会看到cookie不止一条，如果无法确认那一条是用户认证相关的，就把所有的cookie都复制下来使用。

• 如果是GET请求，cookies通过scrapy.Request中的cookies参数传入，示例：

def start_requests(self):
	headers = {
	  "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36 Edg/92.0.902.78",
	}
	#具体的key和value以实际查看的cookie为准，代码中去掉的敏感的value值
	cookies = {
	  "Q_UDID": "...",
	  "quCryptCode": "...",
	  "cert_common": "...",
	}
	start_urls = [
	  'https://quake.360.cn/api/product/catalog',
	]
	for url in start_urls:
		yield scrapy.Request(url=url, headers=self.headers, cookies=self.cookies, callback=self.parse)

• 如果是post请求，cookies通过header

def parse(self, response):
	... //省略干扰代码
	post_headers = {
	'Content-Type': 'application/json',
	'Cookie': 'cert_common=xxxxxx', # 具体的cookie以实际查看结果为准
	}
	yield scrapy.Request(url=url, body=payload, method="POST", 
				 meta={"product_name": product_name},
				 headers=post_headers, callback=self.parse_asset)

如何控制爬取的速度

站点防爬的机制很多，大部分都会检测请求的频繁情况，如果站点检测到一段时间内的请求过多就会进行限速、要求重新输入验证码、封禁ip等措施，一般可以考虑下面的配置项进行爬虫的速度限制。

# Configure maximum concurrent requests performed by Scrapy (default: 16)

# 限制并发请求数

CONCURRENT_REQUESTS = 2

# 自动限速扩展

# Enable and configure the AutoThrottle extension (disabled by default)

# See https://docs.scrapy.org/en/latest/topics/autothrottle.html

# 启用自动限速

AUTOTHROTTLE_ENABLED = True

# The initial download delay

# 初始下载延迟(单位:秒) 默认是5秒

AUTOTHROTTLE_START_DELAY = 10

# The maximum download delay to be set in case of high latencies

# 在高延迟情况下最大的下载延迟(单位秒) 默认60秒

AUTOTHROTTLE_MAX_DELAY = 120

# The average number of requests Scrapy should be sending in parallel to

# each remote server

# 平均每个远程网站的并发请求

AUTOTHROTTLE_TARGET_CONCURRENCY = 1.0