后台的 GNU 并行作业

问题描述

我在使用 gnu parallel 运行我的作业时有疑问。尽管设置了 --results 参数并以“&”结束我的命令,bash 仍然将我的命令的任何输出显示到屏幕上。这是我的代码的一般结构(假设我运行的程序称为“命令”,并且 filenames.txt 逐行存储所有输入文件):

parallel -a filenames.txt -j 6 --results logs/ --joblog joblog command --input {} --output {}.out &

另外,我想知道在这种情况下使用disown会不会有什么问题。在我的一次运行中,尽管运行了更多作业,但 joblog 文件似乎被中断并停止更新,这很奇怪。从输出文件(stderr,由--results设置)来看,大部分joblog文件没有记录的作业实际上已经完成,还有一些不完整的stderr。我不确定那些带有不完整 stderr 的作业是否成功完成,因为输出文件(由 --output 设置)在文件大小上看起来很正常。我检查了 joblog 文件的时间戳,上次更新时间可能是我使用 disown 时(虽然我不确定)。

一般来说,从GNU Parallel的手册和教程来看,我不确定后台并行运行的兼容性。

谢谢!

J

解决方法

--results 还会将副本打印到 stdout/stderr。这在未来可能会发生变化(请参阅 https://lists.gnu.org/archive/html/parallel/2020-12/msg00003.html)。

现在您只需将输出重定向到 /dev/null。

我很久以前就停止使用 disown。相反,我在 tmux 中运行作业。不过,disown 应该不会影响 GNU Parallel,所以我无法解释您在 --joblog 中看到的奇怪情况。