goworker 是一个Resque兼容的, 基于Go语言的后台任务.
号称比Ruby写的后台任务有10 到 100,000 倍的性能提升
Chronos 是一个具备容错特性的作业调度器,可处理依赖性和基于 ISO8601 的调度。Chronos 是由 Airbnb 公司推出的用来替代 cron
Fenzo 是一个使用 Java 语言编写的 Apache Mesos
框架的可扩展调度器。Fenzo 负责管理 Netflix 内部所有服务的调度和资源分配。
libasync 异步库(beta),完全使用 D 语言编写的。libasync
支持跨平台事件循环,连接增强和并发设施。libasync 是非常轻量级的异步任务,可以很自然的嵌入到 D 语言项目中(要求 2.066.0 及以上版本)。
jesque 是 Resque 的Java语言实现版。
使用示例:
// Configuration
final Config config = new ConfigBuilder().build();
DanceRequest 是 AJAX 异步队列工具。
Kala 是用 Go 写成的简单的、现代的、高性能的工作调度,它没哟任何依赖。
Kala 的灵感来自于 Chronos,Chronos 由 Airbnb
Jobber 是一个类似 Unix 上的 cron 工具,是一个作业调度工具。
除了包含 cron 的功能外,Jobber 还提供:
LibChildControl 能创建一个线程来管理子进程,并且在失败的时候重启他们。
使用示例:
Martinet 是分布式任务管理工具。
Martinet 数据库后端,基于 zeroMQ 的分布式任务管理系统。Martinet 可以使用任意的sequelize.js 兼容的数据库(默认是 SQLite)。
基于zookeeper+spring task/quartz的分布式任务调度组件,确保所有任务在集群中不重复,不遗漏的执行。支持动态添加和删除任务。
Genie 是 Netflix 联合作业执行引擎,提供 REST-ful APIs,运行各种类型的大数据作业,比如Hadoop,Pig,Hive,Spark,Presto,Sqoop 等等。Genie 同时提供 APis
Pyres 是 Resque 的 Python 语言实现版。
运行测试:
Install nose: $ easy_install nose
Start redis: $ redis-server [PATH_TO_YOUR_REDIS_CONFIG]
Php-Resque 是 Resque 的PHP语言实现版。
使用示例:
1、定义一个任务队列:
// Required if redis is located elsewhere
Palermo 是一个基于 JVM 的作业处理系统,其灵感来自于Resque,后端基于RabbitMQ。 整个系统采用Clojure 语言开发。
opencron:一个功能完善且通用的开源定时任务调度系统,拥有先进可靠的自动化任务管理调度功能,提供可操作的web图形化管理满足多种场景下各种复杂的定时任务调度,同时集成了linux实时监控,webssh…
QuickJob
敏捷可配快速的任务调度平台
Quartz提供两种基本作业存储类型。第一种类型叫做RAMJobStore,第二种类型叫做JDBC作业存储。在默认情况下Quartz
该库是一个混合的概念,将独立的 pieces 连接起来,形成一个数据处理管道。这些独立的 pieces 可以有:
一款分布式任务调度管理平台。
Antares特性
基于 Quartz 的分布式调度
一个任务仅会被服务器集群中的某个节点调度,调度机制基于成熟的Quartz,antares内部会重写执行逻辑;
batch-scheduler项目简介
这是一个企业级批次调度系统, 在成熟的spring框架基础上,实现ETL调度服务. 权限管理部分,采用asofdate
Kontraktor 是一个 Java 编写的轻量级高效 Actor 模型实现。可以直接暴露 Actor 提供 TCP 服务、WebService 或者
healthchecks 是一个定时任务的看守者。healthchecks是一个监听定时任务pings的web服务,并且提供了一个web界面。
MRQ(MR.Queue)是一个使用 Redis&gevent 的分布式 worker 任务队列。
MRQ 是一个独特的任务队列,它一方面旨在像 RQ 一样简单,另一方面要求有接近Celery 的性能。MRQ最早在 Pricing Assistant
分布式任务调度平台 XXL-JOB
XXL-JOB是一个轻量级分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。
Fireworq 是一个轻量、高性能、语言无关的任务队列系统。具有以下特性:
可移植性:适用于任何能使用 HTTP 的语言
TaskForrest
是一个简单但富有表现力的开源的作业调度程序允许你链的工作和创造的时间依赖性。它使用文本配置文件来指定任务依赖项。
Rafiki 是一个基于Java的任务调度框架,相对于Quartz更加轻量级和易用
支持简单的重复任务调度
Cuckoo-Schedule是基于Quartz-Schedule的轻量级任务调度框架,具有易学习、易上手、开发高效稳定的特点。Demo地址:http://cuckoo.hellosr.com。
Juice 是沪江( hujiang )学习系统项目组( LMS )所开发的一套基于 Mesos Framework
的分布式任务调度云系统,基于此系统,可以实现任何作业型任务的调度工作。
使用 Quartz 和 layer 编写的一个简单的任务调度项目(包括实现 windows 任务的方式)
Workq 是一个用 Go 开发的作业调度服务器。主要特性:
异步和同步的作业处理
提交作业,然后在作业完成后返回结果,最多等待 TTL
Myriad
Myriad把YARN和Mesos两者的优势结合起来。通过使用Myriad项目,让Mesos和YARN可以协作,你可以完成一个实时业务。数据分析可以在运行生产服务的相同硬件上执行。你不再需要面临由静态分区引起的资源限制(和
Mossrose, 高可用分布式调度框架
环境要求:
Zookeeper
Java 8
安装
<dependency>
<groupId>com.jiuxian</groupId>
Coyotes 的诞生起源于在使用 Laravel 的定时任务时,由于 PHP
本身的限制(不安装线程相关扩展),无法实现并发的任务执行,如果任务执行时间过长,就会影响到其它定时任务的执行。不同于其它重量级任务队列,Coyo
Verk 是 Elixir 编写的作业处理系统,后端为 Redis,使用与 Sidekiq/Resque 相同的作业定义。Verk
grapeTimer 时间调度器
一款粗粒度的时间调度器,可以帮你通过一些字符串快速并简单的创建时间任务。