在 HPC 集群上使用 dask 分发大量作业的策略

问题描述

我有一个相当复杂的 Python 算法，需要分布在 HPC 集群中。

该代码从具有 60 GB 内存的 Jupyterhub 实例运行。 PBS 集群的配置是 1 个进程，1 个核心，每个 worker 30Gb，nanny=False（否则计算不会运行）总共 26 个 worker（总内存约为 726GB）

我不需要取回任何数据，因为在计算结束时将需要的数据写入磁盘。请注意，每个计算独立运行时大约需要 7 分钟。

我遇到的问题如下：每个独立的工人（工作名称：dask-worker）似乎运行良好，它有大约 20Gb 可用，其中最多使用 5Gb。但是每当我尝试启动大约 50 个以上的工作时，中央工作人员（工作名称：jupyterhub）就会在大约 20 分钟后耗尽内存。

这是我分配计算的方式：

def complex_python_func(params):
    return compute(params=params).run()

然后我尝试使用 client.map 或延迟：

list_of_params = [1,2,3,4,5,... n] # with n > 256

# With delayed
lazy = [dask.delayed(complex_python_func)(l) for l in list_of_params]
futures = client.compute(lazy)
# Or with map
chain = client.map(complex_python_func,list_of_params)

这里是集群的配置：

cluster = PBSCluster(
    cores=1,memory="30GB",interface="ib0",queue=queue,processes=1,nanny=False,walltime="12:00:00",shebang="#!/bin/bash",env_extra=env_extra,python=python_bin,)
cluster.scale(32)

我不明白为什么它不起作用。我希望 dask 运行每个计算然后释放内存（每个任务每大约 6/7 分钟）。我使用 qstat -f jobId 检查 worker 的内存使用情况，它一直在增加，直到 worker 被杀死。

是什么导致 jupyterhub 工作器失败，实现这一目标的好（或至少更好）方法是什么？

解决方法

两个潜在的潜在客户是：

如果工作人员不希望返回任何内容，那么可能值得将 return 语句更改为 return None（不清楚 compute() 在您的脚本中的作用）：

 def complex_python_func(params):
    return compute(params=params).run()

dask 可能会为每个工作人员分配多个作业，并且在某些时候工作人员的任务数量超出其处理能力。解决此问题的一种方法是使用 resources 减少工作人员在任何给定时间可以执行的任务数量，例如使用：

# add resources when creating the cluster
cluster = PBSCluster(
    # all other settings are unchanged,but add this line to give each worker
    extra=['--resources foo=1'],)

# rest of code skipped,but make sure to specify resources needed by task
# when submitting it for computation
lazy = [dask.delayed(complex_python_func)(l) for l in list_of_params]
futures = client.compute(lazy,resources={'foo': 1})
# Or with map
chain = client.map(complex_python_func,list_of_params,resources={'foo': 1})

有关资源的更多信息，请参阅文档或此相关问题 Specifying Task Resources: Fractional gpu

dask dask-delayed dask-distributed hpc python