背景

在某个风和日丽的下午，正沉浸在知识海洋中的我，被老板活生生的拉了出来，我已经预感到不妙了，不出所料老板开始拉着我谈需求了。

老板：我要这个网站的所有合法公开可用数据balabalabala~~~

我：都需要哪些字段？界面url需要存储么？

老板：详情页A、B、C、D......R字段，当前界面的url需要存储。

我：ok!我看下。

老板：数据要的比较急！要尽快这个xx网站是个全球性的网站，请求时注意分压不要影响到他们服务器的正常使用，注意请求时间按照当地时间白天请求量要降低，晚上开全量......

我：ok我晓得了。

前期调研

当我拿到这个网站url的时候，开始进行调研。

1. 根据查询这个网站在37个国家建有服务。
2. 如果想要获取到最终的数据需要跳转4层url，url是按类别一层一层精进的
3. 每层递进的时候不需要携带cookie，仅需要携带User-Agent头即可

最大层级统计

第一层url链接总数：36 * 490277 = 17649972 # 一级分类数

第二层url链接总数：17649972 * 500 = 8824986000 # 每页最多500 url

第三层url链接总数：8824986000 * 100 = 882498600000 # 每页最多100条数据 最后一层列表页

第四层url链接总数：882498600000 详情页最大个数

需要请求最大总url个数为：17649972 + 8824986000 + 882498600000 = 891341235972

内心独白

当我算出了最大的请求链接数的时候脑子都有点反应不过来了，千亿个url即使有缺页的去掉的零头那也八千多亿url，这个网站额有点东西哦~~~~

看样子不用分布式爬虫是搞不定了，scrapy在新的平台有不让用，还要自己手写一个分布式架构难整啊~

还要分散各个软件的压力~~~

设计架构

系统环境

ubuntu20系统
8G内存
2核CPU

代码环境

Python3.6

需要安装的Python包

grequest  # gevent + requests 合并包用于发起请求
pyquery  # 解析包  相比于 BS4 解析速度快
pymysql  # 关联 mysql 数据库使用  用于永久存储 url与最终数据使用
pymongo  # 关联 mongodb 数据库使用中继器用于存储非去重数据使用
redis  # 关联 高性能内存服务器 用于分发请求url

服务器需要安装的软件

redis
mongodb
安装规则：按照每10个spider 分一台 redis 与一台 mongodb 防止压力过大redis或者mongodb挂掉
         使用docker进行安装 设置 挂掉重启

抓取思路

按广度优先进行抓取 先按层获取url 最终获取数据

程序流程设计图

当初设计时没有考虑到有重复数据的问题，后来检查链接发现，会存在两个不同参数的模糊查询返回的结果会有相同的值，当两台爬虫机器将获取到的数据直接存入数据可以[数据中某个值为主键]，有可能两个爬虫同时去更改某一条数据，进而出现死锁的情况，所以加一层中继mongodb数据库进行不去重存储，再统一去重入库以防止出现数据库死锁问题。

最终

最后共计启动了 15个redis和145个spider 每个 spider 50个浮动并发再加上 15个mongodb服务器 分时段进行请求，共计花了10天获取到了所有合法公开数据。

期间未造成地方服务宕机事件，将请求压力保持在了一个很低的水平。

结语

这次项目有一点急，再加上特殊的环境，没办法自己手写了一套爬虫系统，其中有很多设计的不合理，如果诸位觉得哪里还是可以优化的欢迎留言指导。

#科技##网络爬虫##网络#