Celery 是像 PBS、MESOS 或 YARN 那样“真正的”调度程序吗？

问题描述

我有一个使用 Celery 的现有应用程序。

客户端向 Celery 提交任务，Celery 的工作人员在不同的物理主机上拆开这些任务并运行它。

每个 Celery Worker 都同时运行一个任务。给定的物理主机有多个工作器。

我们的任务可能有不同的资源需求。一个任务可能需要（1CPU 和 5GB RAM），另一个（1CPU 和 20GB RAM）才能工作，依此类推。

问题是 Celery 只是由一个简单的生产者-消费者系统支持，并且在给定时间，我遇到某些任务因内存不足错误而终止的情况。这是因为工作任务使用的总 RAM 优于物理主机总内存。事实上，工作人员在没有任何关于消耗和可用资源的特定情报的情况下解开任务。

一个解决方案可能是为每个工作人员正在运行的任务设置内存限制。问题是worker是静态初始化的，我的任务没有静态要求。所以我担心它最终会成为资源浪费。

我以前用过很多调度器（YARN,PBS,MESOS,..），对于动态工作负载很方便（动态任务要求），因为你可以为你提交的每个任务定义 CPU/RAM 要求.调度器的职责是确保其动态分配的容器不会过度使用物理内存。

所以有两种可能性：要么 Celery 只是一个任务队列，而不是一个真正的调度程序，所以它是做我想做的事情的错误工具，要么我错过了一些有用的 Celery 选项来做我想做的事？

非常感谢

解决方法

Celery 不会按照您想要的方式做您想做的事。

然而，这并不意味着你不能用 Celery 做到这一点。如果您的 taskX 需要 4 核和 12G 的 RAM，您可以做的（实际上我们就是这样做的）是拥有一个名为“taskx_q”的队列并让服务器（具有 4 核和 ~12G RAM 的 AWS EC2 实例）运行 celery因为服务 (systemd) 订阅了这个特定队列，并发设置为 1。是的，它需要一些编码来实现良好的自动缩放（自动缩放组可以提供帮助），但这并不难。