嵌套 dask 延迟或期货

问题描述

寻找嵌套并行作业的最佳实践。我无法嵌套 dask 延迟或期货，因此我将两者混合以使其正常工作。这不推荐吗？有没有更好的方法来做到这一点？示例：

import dask
from dask.distributed import Client
import random
import time
client = Client()

def rndSeries(x):
    time.sleep(1)
    return random.sample(range(1,50),x)

def sqNum(x):
    time.sleep(1)
    return x**2

def subProcess(li):
    results=[]
    for i in li:
        r = dask.delayed(sqNum)(i)
        results.append(r)
    return dask.compute(sum(results))[0]

futures=[]
for i in range(10):
    x = client.submit(rndSeries,random.randrange(5,10,1))
    y = client.submit(subProcess,x)
    futures.append(y)
client.gather(futures)

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）