问题描述
我有一个相当复杂的 Python 算法，需要分布在 HPC 集群中。
该代码从具有 60 GB 内存的 Jupyterhub 实例运行。 PBS 集群的配置是 1 个进程，1 个核心，每个 worker 30Gb，nanny=False（否则计算不会运行）总共 26 个 worker（总内存约为 726GB）
我不需要取回任何数据，因为在计算结束时将需要的数据写入磁盘。 请注意，每个计算独立运行时大约需要 7 分钟。
我遇到的问题如下：每个独立的工人（工作名称：dask-worker）似乎运行良好，它有大约 20Gb 可用，其中最多使用 5Gb。但是每当我尝试启动大约 50 个以上的工作时，中央工作人员（工作名称：jupyterhub）就会在大约 20 分钟后耗尽内存。
这是我分配计算的方式：
def complex_python_func(params):
return compute(params=params).run()
然后我尝试使用 client.map 或延迟：
list_of_params = [1,2,3,4,5,... n] # with n > 256
# With delayed
lazy = [dask.delayed(complex_python_func)(l) for l in list_of_params]
futures = client.compute(lazy)
# Or with map
chain = client.map(complex_python_func,list_of_params)
这里是集群的配置：
cluster = PBSCluster(
cores=1,memory="30GB",interface="ib0",queue=queue,processes=1,nanny=False,walltime="12:00:00",shebang="#!/bin/bash",env_extra=env_extra,python=python_bin,)
cluster.scale(32)
我不明白为什么它不起作用。我希望 Dask 运行每个计算然后释放内存（每个任务每大约 6/7 分钟）。 我使用 qstat -f jobId 检查 worker 的内存使用情况，它一直在增加，直到 worker 被杀死。
是什么导致 jupyterhub 工作器失败，实现这一目标的好（或至少更好）方法是什么？
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）