Dask Future 状态“已取消”而没有被取消

问题描述

我正在构建一个 dask 应用程序并使用 dask SSH-Cluster 作为一个集群。当我在 dask 中运行任务并尝试等待它时，它会导致 SELECT disTINCT tableA.column_A FROM XYZ AS tableA,XYZ AS tableB WHERE tableA.column_A = tableB.column_A AND tableA.column_B = 'Value1' AND tableB.column_B = 'Value2' 错误。

我的代码如下：

concurrent.futures._base.CancelledError

我收到的确切错误是：

def run_custom_task():
    return "aa"


def main():
    cluster = SSHCluster(hosts=['localhost','pi01.local'],connect_options=[{'username': 'abc'},{'username': 'pi'}],worker_options={
                             "nprocs": 1,"nthreads": 1
                         },remote_python="/usr/bin/python3")
    client = Client(cluster)

    res = client.submit(run_custom_task)
    print(res.result())

所以这个任务的未来似乎以某种方式被取消了。

提前致谢！

解决方法

我实际上已经设法解决了这个问题： 问题是dask.distributed和dask版本不同（2021.04.0和2021.05.0）安装同一个版本后这个错误解决了。