问题描述
我有大约 5 个 python 网络爬虫。我可以打开 5 个终端并同时运行刮板 5 次。我已经实现了 Django Celery Beat，在单次迭代后，刮板等待大约 2 分钟并重新启动。以下是我的问题，在命令提示符下我可以运行 5 个会话，但是通过 celery beat，我们一次只能运行 2 个脚本，因为我的 ubuntu 只有 2 个内核。 这对我来说，浪费资源。我们喜欢 Celery，但我们可以打开 5 个终端，一个 cron 调用可以同时运行 5 个不同的抓取工具。我们基本上使用 celery 作为定期的 cron 工作。 我们做错了什么吗？我们必须放弃芹菜吗？我们可以部署多个工作人员吗？服务器有足够的资源来运行 2 个以上的 python 脚本。 你能帮我吗？ 非常感谢
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）