Slurm 工作负载管理器的作业提交问题

问题描述

我使用的计算机集群有 20 个节点，每个节点有 16 个 cpu。我尝试使用命令“sbatch XX.sbatch”向所有节点提交 1000 个作业。我想要的是同时运行 320 个作业，即每个节点 16 个作业，或每个 cpu 1 个作业。

当我使用 .带有 XX sbatch 文件中参数的 sbatch 文件是

#!/bin/bash
# Interpreter declaration
#SBATCH -N 1
#SBATCH -n 1
#SBATCH -c 1
#SBATCH -J job_XX

./example.sh

我注意到每个节点上只有 1 个作业正在运行。

然后我尝试了

#!/bin/bash
# Interpreter declaration
#SBATCH -N 20
#SBATCH -n 1
#SBATCH -c 1
#SBATCH -J job_XX

./example.sh

我注意到只有 1 个作业在 20 个节点中运行，即每 20 个节点运行 1 个作业。

然后我尝试了

#!/bin/bash
# Interpreter declaration
#SBATCH -N 20
#SBATCH -n 320
#SBATCH -c 1
#SBATCH --ntasks-per-node=16
#SBATCH -J job_XX

./example.sh

仍然有 1 个作业使用了所有 20 个节点。

有人知道怎么解决吗？谢谢。

解决方法

好吧，如果您想要多个作业，则需要提交多个作业。如果您只调用 sbatch XX.sbatch 一次，则只会创建一个作业（不完全正确，见下文）。

如果你想创建 1000 个作业，你可以简单地继续创建一个 for 循环来提交 1000 个作业：

for i in {1..1000}
    do sbatch XX.sbatch
done

这将创建 1000 个作业，每个作业具有 1 个核心（如果我们以您的第一个作业脚本为例），它们将填满所有可用的 320 个作业空缺。 但是： 在像这样的 for 循环中调用 sbatch 对调度程序来说并不好。有一种更好的方法可以提交多个类似的作业：作业数组。

它们一次提交任意次数的单个作业脚本。在作业脚本中，您可以使用环境变量（例如 $SLURM_ARRAY_TASK_ID）来控制您的脚本，使它们都完全相同。

以你的第一个作业脚本为例：

#!/bin/bash
# Interpreter declaration
#SBATCH -N 1
#SBATCH -n 1
#SBATCH -c 1
#SBATCH -J job_XX
#SBATCH --array=0-1000

#Do something with the env vars e.g. use them as parameters for your script
./example.sh $SLURM_ARRAY_TASK_ID

使用 sbatch XX.sbatch 提交时，这会一次创建 1000 个作业，每个作业使用一个内核，因此填满了所有 320 个可用内核。