零基础入门Python爬虫:三种分布式爬虫系统的架构方式!
ccwgpt 2024-10-04 13:57 27 浏览 0 评论
分布式爬虫系统广泛应用于大型爬虫项目中，力求以最高的效率完成任务，这也是分布式爬虫系统的意义所在。
分布式系统的核心在于通信，介绍三种分布式爬虫系统的架构思路，都是围绕通信开始，也就是说有多少分布式系统的通信方式就有多少分布式爬虫系统的架构思路。
- Redis
- 利用redis做分布式系统，最经典的就是scrapy-Redis，这是比较成熟的框架。同时我们也可以利用Redis的队列功能或者订阅发布功能来打造自己的分布式系统。
Redis作为通信载体的优点是读写迅速，对爬虫的速度影响可忽略不 计，使用比较普遍。
主程序示例：
[图片上传失败...(image-cf2c25-1549881943619)]
2.RabbitMQ
RabbitMQ是比较靠谱的消息中间件，得益于它的确认机制，当一条消息消费后如果设置确定模式，那么确认后才会继续消费，如果不确定认，那么这个任务将分配给其他消费者。
基于这种确认机制，可以在高可靠性和高数据要求情景中，避免数据抓取的遗漏和丢失。
其设计思路应该是基于mq设计两个接口，一个用于URL的存放，一个用户URL的获取，同时基于Redis的URL去重，通过类似scrapy-redis 的调度使爬虫运行。
主程序示例：
3.Celery
celery典型的分布式任务队列，常用于异步操作中，如tornado、Django的异步任务中，用celery设计分布式爬虫系统，往往结合网络框架，打造一个爬虫任务接口，提供给其他人使用。
同时celery在定时任务方面有着优势，只需要在配置文件中设置一下，就可以定期执行任务，不必自己写定时操作。
celery使用消息中间件，而这个消息中间件，可以使用Redis也可以使用RabbitMQ，但他的调度不必担心，已经封装。
主程序示例：
注意：上面的程序片段只是片段，用于示例。综上我们应该清楚在不同的任务场景中使用甚至如何设计自己的爬虫系统，分布式爬虫系统的核心是不同主机的通信。
最后，如果你跟我一样都喜欢python，想成为一名优秀的程序员，也在学习python的道路上奔跑，欢迎你加入python学习群：839383765 群内每天都会分享最新业内资料，分享python免费课程，共同交流学习，让学习变（编）成（程）一种习惯！
相关推荐
- 火电厂智能管控新基建:全场景人员定位系统架构解析
-
在能源生产领域，火电厂以庞大的厂区规模、复杂的作业环境和密集的人机交互著称。从高温高压的锅炉房到精密复杂的电气设备间，从露天煤场到灰渣处理区，传统管理模式下的人员定位盲区，正成为制约安全生产与高效运营...
- 安全仪表系统(SIS)全生命周期管理:从设计到运维的深度解析
-
以下是一篇关于安全仪表系统（SIS）的技术解析与实践方法，涵盖系统架构、设计标准、实施流程及行业应用。安全仪表系统（SIS）是工业过程安全的最后一道防线，通过独立于基础控制系统的硬件和逻辑，在工艺失控...
- 数字化转型架构下的数据安全治理方案
-
这份PPT文件内容围绕数字化转型架构下的数据安全治理方案展开，主要探讨了数据质量治理、安全治理、全生命周期治理以及治理考核等方面的内容。更多参考及文档获取详见公众号：优享智库数据治理概述定义与目标：数...
- 安全完整性等级(SIL)分析报告编制与认证实践方法
-
以下是一篇关于安全完整性等级（SIL）分析报告的文章，涵盖SIL定级方法、验证流程、计算模型及工程实践。安全完整性等级（SIL）是量化安全仪表系统（SIS）性能的核心指标，由IEC61508/615...
- Pokemon go下载教程 口袋妖怪Go下载解锁方法
-
#p#安卓下载#e#Pokemongo怎么下载?口袋妖怪go下载教程讲解。虽然锁区了但是大家还是有办法的,首先是口袋妖怪Go下载问题,很多口袋妖怪go的安卓玩家不知道怎么下载游戏,小编给大家详细解答...
- 抛弃Windows吧!谷歌推免费Chrome系统，一个U盘就搞定
-
在目前的个人电脑上，最主流的系统当然是Windows，不过除了Windows之外，我们也可以选择购买苹果的电脑，使用苹果的MacOS系统。不过除了苹果和微软的系统之外，实际上谷歌也有自己用于个人电脑...
- 谷歌误发ARM版Chrome安装包，致英特尔 /AMD用户无法安装
-
IT之家3月26日消息，科技媒体WindowsLatest昨日（3月25日）发布博文，报道称由于谷歌误发适用于ARM架构的安装包，导致用户从谷歌官网下载的ChromeSetu...
- 【Google Gemini极简教程】使用Flask和Gemini API构建一个AI BaaS
-
BaaS（BackendasaService，后端即服务）BaaS是一种云服务模型，它为开发者提供了一种便捷的方式来构建和管理应用程序的后端服务。BaaS提供了一系列的后端功能，如数据库管理...
- 第一资讯Windows 10 Mobile已成功安装谷歌Play Store
-
虽然微软并未正式推出WP可安装APK的功能，但近期有不少玩机爱好者已经在Windows10Mobile平台上用上了Android应用，而且随后还在需要谷歌服务框架（GoogleServices）...
- 宝可梦TCG Pocket谷歌账号登录，给你提供指南
-
《宝可梦TCGPocket》作为一款备受欢迎的卡牌对战游戏，为了给玩家提供更加便捷和安全的登录方式，支持使用谷歌账号进行登录。通过谷歌账号登录，您不仅可以快速进入游戏，还能享受账号数据同步、跨设备游...
- 秒变万能家庭服务器!斐讯N1 armbian安装指南
-
一直以来，我都想配置一台小型服务器放在家里玩一玩，但是x86架构的主机体积大功耗高，价格也不低。而树莓派的话，价格便宜一点，性能对于轻度使用也基本够用。可是树莓派仍然要两三百块钱，感觉还是有点贵。于是...
- 如何自己开发一个Google浏览器插件?
-
相信很多人都好奇，谷歌浏览器那么多的插件是如何开发的，我们如何开发一个自定义的Google浏览器插件，下面我们就来详细的给出一个开发Google浏览器插件的流程。准备环境首先需要有一个文本编辑器工具如...
- 我的世界手机版谷歌商店安装教程（我的世界谷歌下载）
-
在我的世界手机版升级到0.11.0版本后，很多玩家发现正式版需要有谷歌商店的验证也就是必须安装Googleplay才能玩。这次搞趣网小编就为大家带来我的世界手机版谷歌商店安装教程。有些手机自带Goo...
- 部落冲突安卓版谷歌怎么绑定 有无root都可以
-
部落冲突安卓版谷歌怎么绑定？下面小编为大家带来部落冲突安卓版谷歌绑定攻略详解，希望这篇攻略详解能够对大家有所帮助。首先准备这些东西(必须在网上自己下载，不要相信google应用)还需要下载"谷歌服务框...
欢迎 你 发表评论:
- 一周热门
- 最近发表
-
- 火电厂智能管控新基建:全场景人员定位系统架构解析
- 安全仪表系统(SIS)全生命周期管理:从设计到运维的深度解析
- 数字化转型架构下的数据安全治理方案
- 安全完整性等级(SIL)分析报告编制与认证实践方法
- 项目管理体系框架（项目的管理体系）
- Pokemon go下载教程 口袋妖怪Go下载解锁方法
- 抛弃Windows吧!谷歌推免费Chrome系统，一个U盘就搞定
- 谷歌误发ARM版Chrome安装包，致英特尔 /AMD用户无法安装
- 【Google Gemini极简教程】使用Flask和Gemini API构建一个AI BaaS
- 第一资讯Windows 10 Mobile已成功安装谷歌Play Store
- 标签列表
-
- MVC框架 (46)
- spring框架 (46)
- 框架图 (58)
- flask框架 (53)
- quartz框架 (51)
- abp框架 (47)
- jpa框架 (47)
- laravel框架 (46)
- springmvc框架 (49)
- 分布式事务框架 (65)
- scrapy框架 (56)
- shiro框架 (61)
- 定时任务框架 (56)
- java日志框架 (61)
- JAVA集合框架 (47)
- grpc框架 (55)
- ppt框架 (48)
- 内联框架 (52)
- winform框架 (46)
- gui框架 (44)
- cad怎么画框架 (58)
- ps怎么画框架 (47)
- ssm框架实现登录注册 (49)
- oracle字符串长度 (48)
- oracle提交事务 (47)