百度360必应搜狗淘宝本站头条
分布式事务框架grpc框架shiro框架java日志框架框架图
当前位置：网站首页 > 技术文章 > 正文

Java学习五分钟系列:如何实现一个分布式定时任务

ccwgpt 2024-09-29 09:52 34 浏览 0 评论

Java学习五分钟系列，目的是为让大家在短时间内搞清楚一项技术的概念、优缺点和适用场景，想要深入的了解，还需要投入更多的时间。

需求

为方便大家的理解，先给大家讲一个真实的需求，这是我在第二家公司的一个项目，定时任务每天凌晨执行，需求很简单：把原始的业务数据，加工处理成待发送的短信。

原始数据：姓名-小明，所在地-北京，电话-13800000000，账单最后还款日期-2018年4月30日。

加工后的数据是：亲爱的小明，您的账单最后还款日期为2018年4月30日，请提前缴费。然后把需要把这条短信发送到13800000000这个手机号上。

定时任务

定时任务框架里面，最有名的就是quartz了，相信大部分Java程序员都用过。

我们项目最开始也用的是quartz，只有一个服务器跑定时任务。但是待处理的数据越来越多，定时服务执行的时间也越来越长，终于有一天，定时任务从晚上跑到了第二天白天也没有跑完，耽误了短信的发送。

改造后的定时任务

有人就有疑问了，能不能直接把定时服务部署多套不就行了。但是部署多套quartz的话，就会出现问题：待处理的任务有可能会被重复执行。

应对这种问题，我们当时有两种处理方案：

方案一：

定时服务只部署一套，但是定时任务的工作只是提取待处理的任务。

实际的业务处理服务集群化部署，然后由定式服务提取数据后，发送给业务处理服务器进行实际的处理。

方案二：

这个是我当时自己想出的一个奇葩的方法，不过这个方案想明白了，对分布式定式服务的理解很有帮助！

  • 定时任务程序部署多套，并且多套环境都是独立的IP。每套程序定时将IP写入到数据中（一分钟对表update一次，并更新时间戳）。
  • 多套服务选举出一台主服务器。
  • 主服务器把所有的待处理任务，尽可能平均分配给每一台服务器。（IP和待处理任务对应上，也就是每一条待处理任务只能让分配的IP处理）
  • 处理任务的时候，只处理自己IP对应的任务。
  • 一台服务器挂了，主服务器负责把它的IP从数据库中抹掉（三分钟没有对表进行更新的IP，删除掉），并重新分配这个IP对应的待处理任务。
  • 主服务器挂了，重新选举出主服务器。


分布式定时任务

我只用过Elastic-job，所以只给大家介绍一下这个框架。

任务分片：把一个任务拆分成几个独立的任务，然后由分布式服务器分别执行一个或者多个子任务。

比如还是上面那个需求，那么可以按照【所在地】拆分任务，北京的待处理数据是一个子任务，天津的待处理数据是第二个子任务。

Elastic-Job并不直接提供数据处理的功能，实际的数据处理还是需要自己写，Elastic-Job会将分片任务分配到各个运行中的作业服务器。

其实发现了没有，Elastic-Job做的工作，就是我那个主服务器做的任务分配的工作，把所在地=北京的，分配给服务器1处理，把所在地=天津的，分配给服务器2处理；甚至包括监控每台作业服务器是否存活，挂掉一台重新分配待处理任务，也都是Elastic-Job来做的。


现在想一想，我当时做的那个方案，要是包装包装，说不定也能弄一个开源框架呢。

相关推荐

RACI矩阵:项目管理中的角色与责任分配利器

作者：赵小燕RACI矩阵RACI矩阵是项目管理中的一种重要工具，旨在明确团队在各个任务中的角色和职责。通过将每个角色划分为负责人、最终责任人、咨询人和知情人四种类型，RACI矩阵确保每个人都清楚自己...

在弱矩阵组织中，如何做好项目管理工作?「慕哲制图」

慕哲出品必属精品系列在弱矩阵组织中，如何做好项目管理工作？【慕哲制图】-------------------------------慕哲制图系列0：一图掌握项目、项目集、项目组合、P2、商业分析和NP...

Scrum模式:每日站会(Daily Scrum)

定义每日站会（DailyScrum）是一个Scrum团队在进行Sprint期间的日常会议。这个会议的主要目的是为了应对Sprint计划中的不断变化，确保团队能够有效应对挑战并达成Sprint目标。为...

大家都在谈论的敏捷开发&Scrum，到底是什么?

敏捷开发作为一种开发模式，近年来深受研发团队欢迎，与瀑布式开发相比，敏捷开发更轻量，灵活性更高，在当下多变环境下，越来越多团队选择敏捷开发。什么是敏捷?敏捷是一种在不确定和变化的环境中，通过创造和响应...

敏捷与Scrum是什么?（scrum敏捷开发是什么）

敏捷是一种思维模式和哲学，它描述了敏捷宣言中的一系列原则。另一方面，Scrum是一个框架，规定了实现这种思维方式的角色，事件，工件和规则/指南。换句话说，敏捷是思维方式，Scrum是规定实施敏捷哲学的...

敏捷项目管理与敏捷:Scrum流程图一览

敏捷开发中的Scrum流程通常可以用一个简单的流程图来表示，以便更清晰地展示Scrum框架的各个阶段和活动。以下是一个常见的Scrum流程图示例：这个流程图涵盖了Scrum框架的主要阶段和活动，其中包...

一张图掌握项目生命周期模型及Scrum框架

Mockito 的最佳实践（mock方法）

记得以前面试的时候，面试官问我，平常开发过程中自己会不会测试？我回答当然会呀，自己写的代码怎么不测呢。现在想想我好像误会他的意思了，他应该是想问我关于单元测试，集成测试以及背后相关的知识，然而当时说到...

EffectiveJava-5-枚举和注解（java枚举的作用与好处）

用enum代替int常量1.int枚举：引入枚举前，一般是声明一组具名的int常量，每个常量代表一个类型成员，这种方法叫做int枚举模式。int枚举模式是类型不安全的，例如下面两组常量：性别和动物种...

Maven 干货 全篇共:28232 字。预计阅读时间:110 分钟。建议收藏!

Maven简介Maven这个词可以翻译为“知识的积累”，也可以翻译为“专家”或“内行”。Maven是一个跨平台的项目管理工具。主要服务于基于Java平台的项目构建、依赖管理和项目信息管理。仔...

Java单元测试框架PowerMock学习（java单元测试是什么意思）

前言高德的技术大佬在谈论方法论时说到：“复杂的问题要简单化，简单的问题要深入化。”这句话让我感触颇深，这何尝不是一套编写代码的方法——把一个复杂逻辑拆分为许多简单逻辑，然后把每一个简单逻辑进行深入实现...

Spring框架基础知识-第六节内容(Spring高级话题)

Spring高级话题SpringAware基本概念Spring的依赖注入的最大亮点是你所有的Bean对Spring容器的存在是没有意识的。但是在实际的项目中，你的Bean必须要意识到Spring容器...

Java单元测试浅析(JUnit+Mockito)

作者：京东物流秦彪1.什么是单元测试（1）单元测试环节：测试过程按照阶段划分分为：单元测试、集成测试、系统测试、验收测试等。相关含义如下：1)单元测试：针对计算机程序模块进行输出正确性检验工作...

揭秘Java代码背后的质检双侠:JUnit与Mockito!

你有没有发现，现在我们用的手机App、逛的网站，甚至各种智能设备，功能越来越复杂，但用起来却越来越顺畅，很少遇到那种崩溃、卡顿的闹心事儿？这背后可不是程序员一拍脑袋写完代码就完事儿了！他们需要一套严谨...

单元测试框架哪家强?Junit来帮忙!

大家好，在前面的文章中，给大家介绍了以注解和XML的方式分别实现IOC和依赖注入。并且我们定义了一个测试类，通过测试类来获取到了容器中的Bean，具体的测试类定义如下：@Testpublicvoid...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表