在命令行中以有限的进程数运行繁重的任务

问题描述

我使用 xargs 和 parellel 在 Amazon Linux 上运行具有有限进程数的繁重任务，但在第一批任务完成后，该任务并未按顺序执行。

命令如下：

seq -f %05g 0 1749 | xargs -P 40 -I {} sudo data_back_fill_tool --data_path part-{}-data.csv

或

seq -f %05g 0 1749 | parallel -j40 -I {} sudo data_back_fill_tool --data_path part-{}-data.csv

每个数据回填过程大约需要 2 个小时才能完成。然而，没有之后。 0~39 任务完成，下一批任务没有触发。通过使用 ps aux | grep "sudo data_back_fill_tool" 查看正在运行的进程，我发现 0~39 进程永远停留在 S STAT 中。

我该如何解决这个问题？任何线索都应该受到赞赏。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）