从主 sh 脚本调用 5 个 sh 脚本

编程问答 2022-05-02

问题描述

我想要一些关于如何在 HPC 上正确设置复杂作业的帮助。因此，在我的 Python 代码中的某个时刻，我想使用 os.system("bsub -K

我想到了这样的事情：

#!/bin/sh
#BSUB -q hpc
#BSUB -J kids[1-5]
#BSUB -n 5
#BSUB -W 10:00
#BSUB -R "rusage[mem=6GB]"
#BSUB -R "span[hosts=1]"
# -- end of LSF options --

module load python3/3.8
python3 script%Ι.py
  ORRR
python3 script1.py
python3 script2.py
python3 script3.py
python3 script4.py
python3 script5.py

也许上面的内容根本没有意义。有没有办法真正做到这一点？

提前致谢

解决方法

据我所知，你可以在不同的层次上完成目标。

通过两种简单的方法：

  1. 通过 import multiprocessing 并行化您的 Python 代码
  2. 通过 & 与您的 shell 脚本并行，命令可以在后台执行。
    python3 script1.py &
    python3 script2.py
cluster-computinghpclsfpython