Dask SSH-Cluster“没有名为xxxx的模块”错误

问题描述

我正在使用 dask SSH-Cluster 来设置集群。当我尝试在本地计算机上提交任务并收到其响应时，出现以下错误：

.....
  File "/home/rohan/Desktop/BA/distributedSetup/routers/main_router.py",line 36,in start_dask
    x = res.result()
  File "/home/rohan/.pyenv/versions/3.7.3/lib/python3.7/site-packages/distributed/client.py",line 220,in result
    raise exc.with_traceback(tb)
  File "/home/rohan/.pyenv/versions/3.7.3/lib/python3.7/site-packages/distributed/protocol/pickle.py",line 75,in loads
    return pickle.loads(x)
ModuleNotFoundError: No module named 'utils'

dask 似乎没有找到我在项目中使用的模块（其他文件）。我假设这与 pythonpath 有关，但我不确定如何修复它。以下代码中的 utils 是我项目中的另一个文件（模块）。我用来重现错误的代码：

from utils import helper

def run_algo_dask():
    return "abc"


SSHCluster(hosts=['localhost','localhost'],connect_options=[{'username': 'rohan'},{'username': 'rohan'}],worker_options={
               "nprocs": 1,"nthreads": 1
           },remote_python=["/home/rohan/.pyenv/shims/python3","/home/rohan/.pyenv/shims/python3"])

client = Client(cluster)
helper()
res = client.submit(run_algo_dask)
x = res.result()

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）