分布式任务调度框架技术选型

1.概述

目前常见的开源任务调度框架有 quartz、xxl-job、Elastic-job、Saturn 。

1.1 quartz

quartz 是一个完全由 Java 编写的开源作业调度框架，为在 Java 应用程序中进行作业调度提供了简单却强大的机制，但是有很多的不足，如下：

• 调用 API 的方式不人性化，并且没有操作界面；
• 需要持久化业务 QuartzJobBean 到底层数据表中，系统侵入性相当严重；
• 调度逻辑和 QuartzJobBean 耦合在同一个项目中，这将导致一个问题，在调度任务数量逐渐增多，同时调度任务逻辑逐渐加重的情况加，此时调度系统的性能将大大受限于业务；
• quartz 底层以“抢占式”获取 DB 锁并由抢占成功节点负责运行任务，会导致节点负载悬殊非常大；而 XXL-JOB 通过执行器实现“协同分配式”运行任务，充分发挥集群优势，负载各节点均衡。

quartz 官网

1.2 xxl-job

XXL-JOB 是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。

1.3 Elastic-job

Elastic-Job 是一个分布式调度解决方案，由两个相互独立的子项目 Elastic-Job-Lite 和 Elastic-Job-Cloud 组成。Elastic-Job-Lite 定位为轻量级无中心化解决方案，使用 jar 包的形式提供分布式任务的协调服务；Elastic-Job-Cloud 采用自研 Mesos Framework 的解决方案，额外提供资源治理、应用分发以及进程隔离等功能。

1.4 Saturn

Saturn (任务调度系统)是唯品会开源的分布式作业调度平台，取代传统的 Linux Cron/Spring Batch Job 的方式，做到统一配置，统一监控，任务高可用以及分片并发处理。Saturn 基于当当 Elastic Job 代码基础上自主研发的任务调度系统。

2.技术选型

由于 quartz 有以上的缺点，不考虑使用该框架，着重对 xxl-job、Elastic-job、Saturn 对比。

在上面三个框架柱，Saturn 相关文档比较少，社区相对来说也不活跃，迭代更新也比较慢，因此不考虑使用。E-Job 和 X-job 都有广泛的用户基础和完整的技术文档，都能满足定时任务的基本功能需求。xxl-job 侧重业务实现的简单和管理的方便，学习成本简单，失败策略和路由策略丰富。推荐使用在用户基数相对少，服务器数量在一定范围内的情景下使用。elastic-job 关注的是数据，增加了弹性扩容和数据分片的思路，以便于更大限度的利用分布式服务器的资源。但是学习成本相对较高，也更加复杂，一般在数据量庞大，且部署服务器数量较多时使用，结合目前的业务场景，使用 xxl-job 框架。

3.使用

3.1 调度中心安装

见官网文档

3.2 执行器相关配置

3.2.1 添加 xxl-job 依赖

 <!-- https://mvnrepository.com/artifact/com.xuxueli/xxl-job-core -->
        <dependency>
            <groupId>com.xuxueli</groupId>
            <artifactId>xxl-job-core</artifactId>
            <version>2.1.2</version>
        </dependency>

3.2.2 properties 配置文件

### 调度中心部署跟地址 [选填]：如调度中心集群部署存在多个地址则用逗号分隔。执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调"；为空则关闭自动注册；
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin
### 执行器AppName [选填]：执行器心跳注册分组依据；为空则关闭自动注册
xxl.job.executor.appname=xxl-job-executor-sample
### 执行器IP [选填]：默认为空表示自动获取IP，多网卡时可手动设置指定IP，该IP不会绑定Host仅作为通讯实用；地址信息用于 "执行器注册" 和 "调度中心请求并触发任务"；
xxl.job.executor.ip=
### 执行器端口号 [选填]：小于等于0则自动获取；默认端口为9999，单机部署多个执行器时，注意要配置不同执行器端口；
xxl.job.executor.port=9999
### 执行器通讯TOKEN [选填]：非空时启用；
xxl.job.accessToken=
### 执行器运行日志文件存储磁盘路径 [选填] ：需要对该路径拥有读写权限；为空则使用默认路径；
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### 执行器日志文件保存天数 [选填] ： 过期日志自动清理, 限制值大于等于3时生效; 否则, 如-1, 关闭自动清理功能；
xxl.job.executor.logretentiondays=30

3.2.3 yaml 配置

xxl:
    job:
        accessToken: ''
        admin:
            addresses: http://127.0.0.1:8080/xxl-job-admin
        executor:
            appname: xxl-job-executor-sample
            ip: ''
            logpath: /data/applogs/xxl-job/jobhandler
            logretentiondays: 30
            port: 9999

3.2.4 config 配置

3.2.5 添加定时任务

编码，下面是 demo


更多相关功能请参阅官方文档。
4.附录
xxl-job 官网文档
xxl-job GitHub 地址
elastic-job 官网
elastic-job GitHub 地址
Saturn GitHub 地址