使用furrr函数时，是否可以修改集群资源分配的期货？

问题描述

我在R脚本中使用了 future ， future.batchtools 和 furrr 软件包，以便在管理的功能强大的。

当我定义未来的拓扑时，我将模板文件传递给future.bacthtools::batchtools_slurm()，并使用resources =参数为Slurm作业定义计算资源。

然后我运行furrr::future_pwalk()函数时，将使用相同的资源（即我在batchtools_slurm()中定义的资源）来评估每个未来。

是否有一种方法可以使作业使用不同的资源，具体取决于传递给furrr::future_pwalk()的变量？

在此先感谢您的帮助！

解决方法

您可以预先调整未来的资源

library(future)
library("future.batchtools")
library(furrr)

slurm <- future::tweak(batchtools_slurm,template = "slurm_batchtools.tmpl",resources=list(
                         cores = 4
                       )
plan(slurm)

slurm_batchtools.tmpl 文件是

#!/bin/bash

#SBATCH --job-name=<%= job.name %>
#SBATCH --output=<%= log.file %>
#SBATCH --error=<%= log.file %>
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=<%= resources[["cores"]] %>
#SBATCH --mem-per-cpu=10000

<%= if (array.jobs) sprintf("#SBATCH --array=1-%i",nrow(jobs)) else "" %>
Rscript -e 'batchtools::doJobCollection("<%= uri %>")'