问题描述
我有一个 bash 脚本 submit.sh
用于将训练作业提交到 Slurm 服务器。它的工作原理如下。做
bash submit.sh p1 8 config_file
将对应于 config_file
的一些任务提交给分区 p1
的 8 个 GPU。 p1
的每个节点有 4 个 GPU,因此该命令请求 2 个节点。
submit.sh
的内容可以总结如下,其中我使用sbatch
提交一个Slurm脚本(train.slurm
):
#!/bin/bash
# submit.sh
PARTITION=$1
NGPUs=$2
CONfig=$3
NGPUS_PER_NODE=4
NcpuS_PER_TASK=10
sbatch --partition ${PARTITION} \
--job-name=${CONfig} \
--output=logs/${CONfig}_%j.log \
--ntasks=${NGPUs} \
--ntasks-per-node=${NGPUS_PER_NODE} \
--cpus-per-task=${NcpuS_PER_TASK} \
--gres=gpu:${NGPUS_PER_NODE} \
--hint=nomultithread \
--time=10:00:00
--export=CONfig=${CONfig},NGPUs=${NGPUs},NGPUS_PER_NODE=${NGPUS_PER_NODE} \
train.slurm
现在在 Slurm 脚本 train.slurm
中,我决定是在一个节点还是多个节点上启动训练 Python 脚本(这两种情况下启动它的方式不同):
#!/bin/bash
# train.slurm
#SBATCH --distribution=block:block
# Load Python environment
module purge
module load pytorch/py3/1.6.0
set -x
if [ ${NGPUs} -gt ${NGPUS_PER_NODE} ]; then # Multi-node training
# Some variables needed for the training script
export MASTER_PORT=12340
export WORLD_SIZE=${NGPUs}
# etc.
srun python train.py --cfg ${CONfig}
else # Single-node training
python -u -m torch.distributed.launch --nproc_per_node=${NGPUS_PER_NODE} --use_env train.py --cfg ${CONfig}
fi
现在,如果我在单个节点上提交(例如,bash submit.sh p1 4 config_file
),它会按预期工作。但是,在多个节点(例如,bash submit.sh p1 8 config_file
)上提交会产生以下错误:
slurmstepd: error: execve(): python: No such file or directory
这意味着在其中一个节点上无法识别 Python 环境。我尝试将 python
替换为 $(which python)
以获取虚拟环境中 Python 二进制文件的完整路径,但随后出现了另一个错误:
OSError: libmpi_cxx.so.40: cannot open shared object file: No such file or directory
如果我不使用 submit.sh
而是将所有 #SBATCH
变量添加到 train.slurm
,然后直接从命令行使用 sbatch
提交作业,然后有用。因此,似乎将 sbatch
包装在 bash 脚本中导致了这个问题。
你能帮我解决这个问题吗?
在此先感谢您。
解决方法
请注意,--export
参数会导致 srun
的环境重置为所有 SLURM_*
变量以及明确设置的变量,因此在您的情况下为 CONFIG
,NGPUs
,NGPUS_PER_NODE
。因此,将不会设置 PATH
变量并且 srun
将找不到 python
可执行文件。
请注意,--export
不会改变提交脚本的环境,因此不使用 srun
的单节点情况确实运行良好。
尝试提交
--export=ALL,CONFIG=${CONFIG},NGPUs=${NGPUs},NGPUS_PER_NODE=${NGPUS_PER_NODE} \
注意添加的 ALL
作为列表中的第一项。
另一种选择是简单地完全删除 --export
行并在 submit.sh
脚本中显式导出变量,因为 Slurm 默认将提交环境传播到作业。
export PARTITION=$1
export NGPUs=$2
export CONFIG=$3
export NGPUS_PER_NODE=4
export NCPUS_PER_TASK=10