可以在 gpu 上运行 celery 吗？

问题描述

问题是 - 可以在 GPU 上运行 celery 吗？

目前在我的项目中，我有如下设置：

celery -A projectname worker -l error --concurrency=8 --autoscale=16,8 
--max-tasks-per-child=1 --prefetch-multiplier=1 --without-gossip --without-mingle --without-heartbeat

这是django项目。

执行单个任务大约需要 12 秒（对 postgresql 进行大量插入）。

我想要实现的是尽可能多地增加工人。

解决方法

你可以像这样指定工人的数量...

celery -A projectname --workers=3

,

没有。 Celery 无法在 GPU 上运行任何东西。但是，没有什么能阻止您在 Celery 任务中使用 Keras、TensorFlow 或 PyTorch（事实上，我在这里看到很多关于这些项目和 Celery 的问题）。