50行实现Node.js多进程分页爬虫（nodejs 多进程 共享数据）
ccwgpt 2024-11-07 09:46 58 浏览 0 评论
作者： 怪怪
转发链接：https://mp.weixin.qq.com/s/FAtD6F-V-f-UdsM1LYS3eg
前言
Coding 应当是一生的事业，而不仅仅是 30 岁的青春
Node 用来写爬虫还是挺方便的，网上大部分文章都是单进程爬取，抽下班时间写了个多进程爬虫
每篇文章都希望你能收获到东西，这篇是基于 Node.js 的多进程爬虫，希望你看完有这些收获：
- Node cluster 的简单用法、进程间通信
- 对于一些简单的分页爬虫，能够自己立马实现
- superagent 的简单使用
架构图
目标分析
怪怪我痴迷于日本动画，经常会去豆瓣看排行榜，然后一个人躲在家静静的欣赏，嘘~~
不知道上面的动画你看过多少，反正海贼王我是看完了！
目标锁定豆瓣日本动画排行榜前 10 页数据爬取。
我们先抓个包看看，豆瓣日本动画排行榜的请求逻辑是怎样滴？
第一页抓包
第二页抓包
通过对前两页接口抓包可以很明显的总结出：
- 热榜日本动画 api 为 https://movie.douban.com/j/search_subjects
- 入参除了 page_start 递增 20，其它入参保持不变
- 请求方式为 get
构建 get 请求
superagent 是 Node.js 里面一个蛮方便的客户端请求代理模块，用来打请求非常方便。
根据上面分析得出的小结，配合 superagent，我们可以轻松的构建出请求。
多进程创建
关于 Node 多进程架构底层原理，可以参考我的另外一篇《大前端进阶 Node.js》系列 多进程模型底层实现。
利用 Node 提供的 cluster 模块，可以轻松创建多个子进程。
一般来讲，cpu 是几核的，就创建几个子进程，但是真正的服务端，其实考虑得会更多~
子进程分页抓取
这里涉及到一丢丢的小算法逻辑，其实也很简单啦~
最终就是实现，比如我的 mac 是 4 核的，那么我会开 4 个子进程来进行爬取，下面的小算法就是实现如何让 4 个子进程尽量的均分掉爬取的网络请求数。
专业点来说就是请求的负载均衡，如果你全部的请求都压在一个子进程上面，那么你开这么多子进程，岂不是失去了意义？
关闭子进程
爬取结束后，不用一直开着进程，可以关闭掉，节约资源。
cluster.disconnect(); 多进程无序问题
多进程爬取的时候，是 cpu 来进行各个子进程之间的调度的，所以爬取的数据实际上是无序的。比如一共需要爬取前 20 页的数据，最先爬取到的不一定是第 1 页。
我们可以加一个 movieIndex 字段，来标识爬取的顺序。
效果
看一下爬取前 10 页的效果。
总结
Node 多进程架构，缓解了 cpu 资源利用问题，在一些耗时的操作上，可以尝试多进程的方式来解决。
在使用多进程的时候，数据同步是一个非常重要的问题，处理不好，容易引发一系列的坑，例如怪怪之前写的《大前端进阶 Node.js》系列 双十一秒杀系统（进阶必看），其中提到的超卖问题，就是多进程数据同步的问题。
本文只是一个非常简单的小爬虫，入门贴，后面会写一些比较深入的 Node 多进程实战帖~
作者： 怪怪
转发链接：https://mp.weixin.qq.com/s/FAtD6F-V-f-UdsM1LYS3eg
相关推荐
- 用Deepseek扩写土木工程毕业论文实操指南
-
用Deepseek扩写毕业论文实操指南一、前期准备整理现有论文初稿/提纲列清楚论文核心框架（背景、现状、意义、方法、数据、结论等）梳理好关键文献，明确核心技术路线二、Deepseek扩写核心思路...
- 985学霸亲授，DeepSeek也能绘6大科研图表，5分钟就出图
-
在实验数据处理中，高效可视化是每个科研人的必修课。传统绘图软件操作复杂、耗时费力，而智能工具DeepSeek的出现彻底改变了这一现状。本文将详解如何用DeepSeek一键生成六大科研常用图表，从思维导...
- AI写论文刷屏?大学生正在丢掉的思考力
-
一、宿舍深夜：当论文变成"Ctrl+C+V"凌晨两点的大学宿舍，小王对着电脑屏幕叹气。本该三天前开始写的近代史论文，此刻还一片空白。他熟练打开某AI写作网站，输入"论五四运动的...
- Grok在辅助论文写作上能不能既“聪明”又“可怕”?!
-
AcademicIdeas-学境思源AI初稿写作随着人工智能技术的飞速发展，论文写作这一学术任务正迎来新的助力。2025年2月18日，美国xAI公司推出了备受瞩目的Grok3模型，其创始人埃隆·...
- 大四论文沟通场景!音频转文字难题听脑AI来化解
-
大四学生都知道，写论文时和导师沟通修改意见，简直是“过关斩将”。电话、语音沟通完，想把导师说的修改方向、重点要求记下来，麻烦事儿可不少。手写记不全，用普通录音转文字工具，转完还得自己慢慢找重点，稍不注...
- 论文写作 | 技术路线图怎么画?(提供经典优秀模板参考)
-
技术路线图是一种图表或文字说明，用于描述研究目标、方法和实施计划。它展示了研究的整体框架和步骤，有助于读者理解研究的逻辑和进展。在课题及论文中，技术路线图是常见的一部分，甚至是一个类似心脏一样的中枢器...
- 25年信息系统项目管理师考试第2批论文题目写作建议思路框架
-
25年信息系统项目管理师考试第2批论文题目写作建议思路框架--马军老师
- 微信购物应尽快纳入法律框架（微信购物管辖）
-
符向军近日，甘肃省工商行政管理局发布《2016年上半年信息分析报告》。报告显示，微信网购纠纷迅猛增长，网络购物投诉呈上升趋势。投诉的主要问题有出售的商品质量不过关、消费者通过微信付款后对方不发货、购买...
- 泛珠三角区域网络媒体与腾讯微信签署《战略合作框架协议》
-
新海南客户端、南海网7月14日消息（记者任桐）7月14日上午，参加第四届泛珠三角区域合作网络媒体论坛的区域网络媒体负责人及嘉宾一行到腾讯微信总部座谈交流，并签署《战略合作框架协议》（以下简称《框架协...
- 离线使用、植入微信-看乐心Mambo手环如何打破框架
-
从2014年开始智能手环就成功进入人们的生活，至今已经演变出数据监测、信息推送、心率监测等诸多五花八门的功能，人们选择智能手环并不指望其能够改变身体健康情况，更多的是通过数据来正视自身运动情况和身体健...
- 华专网络:如何零基础制作一个网站出来?
-
#如何零基础制作一个网站出来?#你是不是觉得网站建设很复杂，觉得自己是小白，需求不明确、流程搞不懂、怕被外包公司坑……这些问题我都懂！今天华专网络就用大白话给你捋清楚建站的全流程，让你轻松get网站制...
- WAIC2024丨明日上午9点，不见不散!共同探讨智能社会与全球治理框架
-
大咖云集，硕果闪耀WAIC2024世界人工智能大会智能社会论坛将于7月5日9:00-12:00与你相约直播间WAIC2024上海杨浦同济大学哔哩哔哩多平台同步直播探讨智能社会与全球治理框架WAIC...
- 约基奇:森林狼换来戈贝尔时大家都在嘲笑 他们的阵容框架很不错
-
直播吧5月4日讯西部季后赛半决赛，掘金将迎战森林狼，约基奇赛前接受采访。约基奇说道：“当蒂姆-康纳利（森林狼总经理、前掘金总经理&曾选中约基奇）做了那笔交易（换来戈贝尔）时，每个人都在嘲笑他...
- 视频号带货为什么一个流量都没有?顶级分析框架送给你
-
视频号带货为什么一个流量都没有？遇到问题，一定是步步来分析内容，视频号带货一个流量都没有，用另外一个意思来讲，就可以说是零播放。为什么视频号带货一个流量都没有？跟你说再多，都不如来个分析框架。1、是否...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- MVC框架 (46)
- spring框架 (46)
- 框架图 (58)
- flask框架 (53)
- quartz框架 (51)
- abp框架 (47)
- jpa框架 (47)
- laravel框架 (46)
- springmvc框架 (49)
- 分布式事务框架 (65)
- scrapy框架 (56)
- shiro框架 (61)
- 定时任务框架 (56)
- java日志框架 (61)
- JAVA集合框架 (47)
- grpc框架 (55)
- ppt框架 (48)
- 内联框架 (52)
- winform框架 (46)
- gui框架 (44)
- cad怎么画框架 (58)
- ps怎么画框架 (47)
- ssm框架实现登录注册 (49)
- oracle字符串长度 (48)
- oracle提交事务 (47)