连接大型 xarray 列表的最佳方法

问题描述

我有一个很大的 xarray 列表（名为 results_list，大约有 620000 个 xarray（每个 xarray 具有以下配置：shape=(73,41,1)、dtype=np.float32）。 我可以处理 72 个内核的集群（每个内核 30Go RAM）。

为了只将 xarrays 连接成一个 dask 数组，我尝试了以下步骤：

import dask.array as da
rho = [da.from_array(result[0].data.squeeze()) for result in results_list]

它没有我想象的那么快（cpu 时间 = 1 分 39 秒），但这不是瓶颈。

那么： da_rho = da.concatenate(rho,axis=0)

这个计算需要太多时间（cpu 时间 = 14 分 5 秒），因为我将不得不做几十次这样的操作，但我时间有限。

是否可以使用 dask 显着减少时间计算？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）