问题描述
如何在Celery中的单个文件中获取来自不同工作人员的日志。
我有3个运行python任务的工作人员和一个运行代理的主节点。我想合并来自这些辅助计算机的日志,并将其存储在主计算机中。我该怎么办?
解决方法
我们已将所有AWS EC2实例上的Celery工作人员配置为将Celery日志上传到CloudWatch。这是实现所需目标的一种方法。即使您不在AWS上,也要实施这样的系统并不难-您需要的是在每台工作计算机上运行的代理,该代理定期将Celery日志上传到中心位置。甚至可以是运行脚本的cron作业,该脚本可以为您完成工作。