问题描述
我想要一些关于如何在 HPC 上正确设置复杂作业的帮助。因此,在我的 Python 代码中的某个时刻,我想使用 os.system("bsub -K
我想到了这样的事情:
#!/bin/sh
#BSUB -q hpc
#BSUB -J kids[1-5]
#BSUB -n 5
#BSUB -W 10:00
#BSUB -R "rusage[mem=6GB]"
#BSUB -R "span[hosts=1]"
# -- end of LSF options --
module load python3/3.8
python3 script%Ι.py
ORRR
python3 script1.py
python3 script2.py
python3 script3.py
python3 script4.py
python3 script5.py
也许上面的内容根本没有意义。有没有办法真正做到这一点?
提前致谢
解决方法
据我所知,你可以在不同的层次上完成目标。
通过两种简单的方法:
- 通过 import
multiprocessing
并行化您的 Python 代码 - 通过
&
与您的 shell 脚本并行,命令可以在后台执行。
python3 script1.py &
python3 script2.py