百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

升级@Scheduled-分布式定时任务(分布式定时调度框架)

ccwgpt 2024-11-09 11:23 25 浏览 0 评论

最近我在对项目的定时任务服务升级,希望改造成分布式,原本是利用@Scheduled注解实现,然而它并不支持分布式,如果改成quartz或者Spring Cloud Task,感觉对于自己这个简单的项目也没有必要。因此,我准备手写一个简单的支持分布式定时调度任务的框架。

项目地址是https://github.com/death00/dis-schedule,欢迎大家star、提意见。

分析

先分析了一下自己的项目,全都是用的cron表达式,因此执行时间点都是固定的,如果升级为分布式的话,肯定是希望在同一个时间点只有一个应用去执行定时调度。

场景就变成了:

多个应用在同一个时间都尝试去执行任务,但最终只有一个应用真正执行。

这样的话,立马就会让人联想到使用锁去解决,因为是多个应用,所以就是分布式锁。那么,场景又变了:

多个应用在同一个时间都尝试去获取分布式锁,只有一个应用能抢到这把锁,抢到锁的应用可以执行定时任务,其他应用则直接放弃,等待下一次执行时间。

抢锁的时机是每次定时任务执行之前,这又让我联想到了AOP,那么利用注解也就顺理成章了。

分布式锁

既然谈到了分布式锁,那么就想一下,这把锁的名称构成是什么。因为定时任务都有自己专门的时间,如果仅仅采用时间的话,那么当有两个任务同时执行时,则就是在抢一把锁,这同样是不合理的。

所以,锁的名称由两部分组成:任务执行时间、任务名称。

实现

实现方案其实已经很成熟了,可以利用Redis、数据库、Zookeeper等,Redis用的命令是setNx,数据库一般都是利用的唯一索引,Zookeeper这点我也不是很了解(如果有感兴趣的同学,欢迎在我的项目中添加)。

我的项目中实现了Redis、数据库两种方式,可以看类DisScheduleRedisServiceImpl、DisScheduleMongodbServiceImpl。

注解

其次,我自定义了一个注解DisSchedule,

@Target(ElementType.METHOD)
@Retention(RetentionPolicy.RUNTIME)
public @interface DisSchedule {
 /**
 * 定时调度任务的名称(默认是方法名)
 */
 String name() default "";
 /**
 * 任务的间隔时间
 */
 int duration();
 /**
 * duration的时间单位(默认:分钟)
 */
 DisScheduleUnit unit() default DisScheduleUnit.MINUTES;
}
  1. name代表此次定时调度任务的名称。
  2. duration代表任务的间隔时间,配合unit。
  3. unit是自定义的时间单位,有秒、分钟。

该注解需要配合@Scheduled共同使用,例如:

 @DisSchedule(name = "testSchedule", duration = 1, unit = DisScheduleUnit.MINUTES)
 @Scheduled(cron = "0 0/1 * * * ?")

该cron表达式代表1分钟执行一次,且是在整数分钟开始的时候执行,因此@DisSchedule也需要设置为1分钟的时间。

切面

接下来,我们只需要在Aspect中定义好切入点(有注解@DisSchedule的方法上),针对这些方法,需要使用Around(环绕增强)进行拦截,因为当抢不到锁的时候,就不允许执行。

具体可以参考类DisScheduleAspect。

总结

以上就是我实现的简单的分布式定时任务,虽然简单,但应该可以满足你的基础需求,接下来,我会在这个之上,逐步增加功能(比如监测、失败后预警等)。如果你有什么想法,欢迎在下方留言。

有兴趣的话可以访问我的博客或者关注我的公众号、头条号,说不定会有意外的惊喜。

https://death00.github.io/

相关推荐

Python Scrapy 项目实战(python scripy)

爬虫编写流程首先明确Python爬虫代码编写的流程:先直接打开网页,找到你想要的数据,就是走一遍流程。比如这个项目我要爬取历史某一天所有比赛的赔率数据、每场比赛的比赛结果等。那么我就先打开这个网址...

为何大厂后端开发更青睐 Python 而非 Java 进行爬虫开发?

在互联网大厂的后端开发领域,爬虫技术广泛应用于数据收集、竞品分析、内容监测等诸多场景。然而,一个有趣的现象是,相较于Java,Python成为了爬虫开发的首选语言。这背后究竟隐藏着怎样的原因呢?让...

爬虫小知识,scrapy爬虫框架中爬虫名词的含义

在上一篇文章当中学记给大家展示了Scrapy爬虫框架在爬取之前的框架文件该如何设置。在上一篇文章当中,是直接以代码的形式进行描述的,在这篇文章当中学记会解释一下上一篇文章当中爬虫代码当中的一些名词...

python爬虫神器--Scrapy(python爬虫详细教程)

什么是爬虫,爬虫能用来做什么?文章中给你答案。*_*今天我们就开发一个简单的项目,来爬取一下itcast.cn中c/c++教师的职位以及名称等信息。网站链接:http://www.itcast.cn...

Gradio:从UI库到强大AI框架的蜕变

Gradio,这个曾经被简单视为PythonUI库的工具,如今已华丽转身,成为AI应用开发的强大框架。它不仅能让开发者用极少的代码构建交互式界面,更通过一系列独特功能,彻底改变了机器学习应用的开发和...

研究人员提出AI模型无损压缩框架,压缩率达70%

大模型被压缩30%性能仍与原模型一致,既能兼容GPU推理、又能减少内存和GPU开销、并且比英伟达nvCOMP解压缩快15倍。这便是美国莱斯大学博士生张天一和合作者打造的无损压缩框架...

阿里发布Qwen-Agent框架,赋能开发者构建复杂AI智能体

IT之家1月4日消息,阿里通义千问Qwen推出全新AI框架Qwen-Agent,基于现有Qwen语言模型,支持智能体执行复杂任务,并提供多种高级功能,赋能开发者构建更强大的AI...

向量数仓与大数据平台:企业数据架构的新范式

在当前的大模型时代,企业数据架构正面临着前所未有的挑战和机遇。随着大模型的不断发布和多模态模型的发展,AIGC应用的繁荣和生态配套的逐渐完备,企业需要适应这种新的数据环境,以应对行业变革。一、大模型时...

干货!大数据管理平台规划设计方案PPT

近年来,随着IT技术与大数据、机器学习、算法方向的不断发展,越来越多的企业都意识到了数据存在的价值,将数据作为自身宝贵的资产进行管理,利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的...

阿里巴巴十亿级并发系统设计:实现高并发场景下的稳定性和高性能

阿里巴巴的十亿级并发系统设计是其在大规模高并发场景下(如双11、双12等)保持稳定运行的核心技术框架。以下是其关键设计要点及技术实现方案:一、高可用性设计多数据中心与容灾采用多数据中心部署,通过异地容...

阿里云云原生一体化数仓—数据治理新能力解读

一、数据治理中心产品简介阿里云DataWorks:一站式大数据开发与治理平台架构大图阿里云DataWorks定位于一站式的大数据开发和治理平台,从下图可以看出,DataWorks与MaxCom...

DeepSeek R1:理解 GRPO 和多阶段训练

人工智能在DeepSeekR1的发布后取得了显著进步,这是一个挑战OpenAI的o1的开源模型,在高级推理任务中表现出色。DeepSeekR1采用了创新的组相对策略优化(GroupR...

揭秘永久免费视频会议软件平台架构

如今视频会议已经成为各个团队线上协同的必备方式之一,视频会议软件的选择直接影响团队效率与成本,觅讯会议凭借永久免费迅速出圈,本文将从技术架构、核心功能和安全体系等维度,深度解析其技术实现与应用价值,为...

DeepSeek + Kimi = 五分钟打造优质 PPT

首先,在DeepSeek中输出提示词,示例如下:为课程《提示词基础-解锁AI沟通的秘密》设计一个PPT大纲,目的是让学生:1.理解提示词的概念、作用和重要性2.掌握构建有效提示词的基本原则和技巧...

软件系统如何设计可扩展架构?方法论,Java实战代码

软件系统如何设计可扩展架构?方法论,Java实战代码,请关注,点赞,收藏。方法论那先想想方法论部分。扩展性架构的关键点通常包括分层、模块化、微服务、水平扩展、异步处理、缓存、负载均衡、分布式架构等等...

取消回复欢迎 发表评论: