百度360必应搜狗淘宝本站头条
分布式事务框架shiro框架java日志框架框架图java框架spring
当前位置：网站首页 > 技术文章 > 正文

分布式任务调度系统详解(图文全面总结)

ccwgpt 2024-09-29 09:54 33 浏览 0 评论

大家好，我是mikechen。

分布式任务调度是非常核心的分布式系统，下面我就全面来详解分布式任务调度，以及分布式任务调度框架@mikechen

本篇已收于mikechen原创超30万字《阿里架构师进阶专题合集》里面。

分布式任务调度

分布式任务调度：是指在分布式系统中，对任务进行管理和调度，这些任务可以是：计算任务、数据处理任务、作业调度任务..等。

这些任务可能分布在多台机器上，因此需要一种机制来有效地调度这些任务，这就是分布式任务调度系统。

分布式任务调度实现

在分布式任务调度系统中，通常会涉及到以下三个重要的组件：Scheduler（调度器）、Trigger（触发器）和Job（任务）。

如下图所示：

1. Scheduler（调度器）

调度器：负责根据一定的调度策略，决定何时执行哪些任务，并将任务分配给可用的执行节点。

实现原理：

  • 调度器需要定期检查任务列表，判断哪些任务需要被执行。
  • 可以采用不同的调度算法，如基于时间的调度、基于事件的调度等。
  • 调度器还需要考虑任务之间的依赖关系，确保依赖关系链中的任务按正确的顺序执行。


2. Trigger（触发器）

触发器：定义了任务何时被执行的条件，例如：基于时间的触发器可以指定任务在特定的时间点、或时间间隔内执行。

实现原理：

  • 触发器可以是基于时间的（如定时触发器）、基于事件的（如文件变化触发器）等。
  • 基于时间的触发器通常由调度器周期性地检查触发条件是否满足，然后触发任务的执行。
  • 基于事件的触发器则需要监听外部事件，并在事件发生时触发任务的执行。


3. Job（任务）

任务：是被调度执行的工作单元，可以是任意需要执行的代码逻辑。

实现原理：

  • 任务可以是简单的计算任务、数据处理任务、作业调度任务等。
  • 在分布式系统中，任务通常会被打包成可执行的单元，并且具备容错和重试机制，以应对执行过程中可能发生的故障或错误。
  • 任务执行时需要考虑资源的分配和管理，以及任务之间的协调和同步。


分布式任务调度框架

1.quartz

Quartz 是一个开源的作业调度库，用于在 Java 应用程序中实现任务调度。

Quartz 的核心设计，如下图所示：

Quartz 核心设计，有以下三部分：

1.调度器（Scheduler）

Quartz 中的调度器是核心组件，负责：管理和协调所有的作业调度任务，调度器可以添加、删除、暂停、恢复和触发作业。

2.作业（Job）

作业是 Quartz 中需要调度执行的任务单元，开发人员需要实现 Job 接口并提供执行逻辑，Quartz 会根据配置和触发条件来调度作业的执行。

3.触发器（Trigger）

触发器用于定义作业何时被执行，Quartz 支持多种类型的触发器，包括：简单触发器、Cron 触发器等。

可以根据时间表、特定时间点或者特定事件来触发作业的执行。

三者的关系，如下图所示：

2.elastic-job

Elastic-Job 是一个分布式任务调度解决方案，它提供了灵活的作业配置和调度策略，并且支持任务的高可用和容错处理。

3.xxl-job

XXL Job是大众点评员工于2015年发布的分 布式任务调度平台，主要用于企业内部的任务调度和作业管理。

如下图所示：

XXL-Job 支持分布式任务调度，可以将任务分配给不同的执行器节点执行，以实现任务的并行执行和负载均衡。

XXL-Job 提供了分布式执行器，可以部署在不同的节点上，实现任务的分布式执行。

以上

本篇已收于mikechen原创超30万字《阿里架构师进阶专题合集》里面。

相关推荐

如何高效实现API接口的自动化测试?

实现API接口的自动化测试是一个多步骤的过程，涉及需求分析、测试用例设计、环境搭建、脚本编写、执行测试、结果分析和持续集成等多个环节。选择合适的工具和框架也是成功的关键。嘿，咱来聊聊实现API接口自动...

总结100+前端优质库，让你成为前端百事通

1年多时间,陆陆续续整理了一些常用且实用的开源项目,方便大家更高效地学习和工作.js相关库js常用工具类「lodash」一个一致性、模块化、高性能的JavaScript实用工具库。「xij...

混合开发到底怎么个混法?（混合开发rn）

引言最近几年混合开发越来越火，从PhoneGap到Cordova到Ionic，再到ReactNative，到Flutter。同时在搜索引擎中诸如IonicVSReactNativeRN和Weex+...

无所不能，将 Vue 渲染到嵌入式液晶屏

该文章转载自公众号@前端时刻，https://mp.weixin.qq.com/s/WDHW36zhfNFVFVv4jO2vrA前言之前看了雪碧大佬的将React渲染到嵌入式液晶屏觉得很有意思,R...

【直接收藏】前端 VUE 高阶面试题(一)

说说vue动态权限绑定渲染列表（权限列表渲染）首先请求服务器,获取当前用户的权限数据,比如请求this.$http.get("rights/list");获取到权限数据之后,在列表中...

Vue采用虚拟DOM的目的是什么?（vue2 虚拟dom）

虚拟DOM更新其实效率并不像大家想象中的那么高，而且React官方也从来没说过虚拟DOM效率有多高，相反React虚拟DOM的实现也不是所有虚拟DOM产品中最好的。但是通过虚拟D...

什么是 JavaScript?（什么是党的旗帜）

本文首发自「慕课网」，想了解更多IT干货内容，程序员圈内热闻，欢迎关注！作者|慕课网精英讲师然冬JavaScript(JS)是一种具有函数优先的轻量级，解释型或即时编译型的编程语言。(MDN...

Weex在内涵发现页中的工程实践（weex唯客交易所官网）

React-Native和Weex是目前最为火热的两个客户端跨平台解决方案。从去年2016年9月份开始，IES在抖音产品中应用了ReactNative，中途遇到了很多的问题，尤其是长列表的性能问题一...

新恒汇:公司主要业务包括智能卡业务、蚀刻引线框架业务以及物联网eSIM芯片封测业务

证券日报网讯新恒汇7月3日在互动平台回答投资者提问时表示，公司主要业务包括智能卡业务、蚀刻引线框架业务以及物联网eSIM芯片封测业务。具体请关注公司公告和公开披露信息。（编辑王雪儿）...

“移”科普——什么是物联网?（移动设备物联网物联网应用实例）

物联网（InternetofThings，简称IoT）是指通过互联网将物理世界与数字世界相连接，实现物与物之间的智能互联的网络。它是一种新型的信息通信技术，通过传感器、嵌入式系统、网络技术等手段，...

如何自己搭建一个物联网平台?（自建物联网云平台）

自己搭建一个物联网（IoT）平台需要涉及多个关键步骤，包括硬件设备的选择、软件开发、网络通信、安全性设计以及数据管理。以下是搭建物联网平台的基本流程：1.确定物联网平台架构一个完整的物联网平台通常包...

物联网数据接入篇-应用层 Modbus(5)

前四篇文章讲述的是TCP/IP模型中的网络接口层、网络层、传输层、应用层一，这里到了第四层应用层二。由于协议比较多，就分开篇来介绍。这篇讲Modbus协议,后面再讲MQTT协议、CoAP协议、...

乐鑫ESP32-C5全面量产:行业首款双频Wi-Fi 6的RISC-V SoC

IT之家5月2日消息，乐鑫信息科技4月30日宣布，ESP32-C5现已全面进入量产。ESP32-C5宣称是行业首款2.4&5GHz双频Wi-Fi6的RISC-...

Vue Shop Admin:强大而易用的后台管理系统模板

VueShopAdmin是一个基于Vue.js框架的后台管理系统模板。它具有简洁、易用和美观的特点，非常适合开发人员用于快速构建各种类型的管理系统。这个模板使用了最新的技术，如Vue3、V...

基于Prometheus的自动化巡检（prometheus自动发现详解）

!!大家好，我是乔克，一个爱折腾的运维工程，一个睡觉都被自己丑醒的云原生爱好者。作者：乔克公众号：运维开发故事道路千万条，安全第一条。操作不规范，运维两行泪。前言目前，大部分公司都采用Promet...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表