有没有直接的方法将 Dask 数据帧转换为 Xarray 数据集?

问题描述

Xarray 和 dask 文档解释了如何使用 dask 支持将大型 NetCDF 数据集加载到 Xarray 中。但是如果我有一个非常大的 CSV 文件(> 1GB)怎么办?是否可以通过 daskthat 加载到 Xarray 数据集中?要么以与 dask 后端交互的方式将其加载到 Xarray 中,要么将其作为 dask 数据帧加载并将该数据帧转换为 Xarray 数据集?

我想对这个数据集使用 Xarray,因为它由实验结果组成,我想根据自变量的不同设置(我将用作维度)索引到实验结果中。

Xarray 的 from_dataframe() (http://xarray.pydata.org/en/stable/generated/xarray.Dataset.from_dataframe.html?highlight=from_dataframe) 只提到支持 Pandas DataFrames,没有提到 dask

dask 文档 (https://examples.dask.org/xarray.html) 描述仅从保存的 Xarray 数据集加载。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)