Databricks - 使用 rioxarray 将数据集导出到 DBFS 中的栅格文件

问题描述

我正在尝试按照 simple example in rioxarray documentation 将数据集导出到 DBFS 中的栅格文件。

安装库：

%pip install rioxarray

运行文档中的示例代码（输入数据集可以在 here 中找到）：

import rioxarray
rds = rioxarray.open_Rasterio("/dbfs/FileStore/tables/PLANET_ScopE_3D.nc",decode_times=False)
rds.isel(time=0).rio.to_raster("/dbfs/FileStore/tables/planet_scope.tif")

但是，当我列出目录 (dbutils.fs.ls("dbfs:/FileStore/tables")) 中的文件时，文件 planet_scope.tif 不存在。

如何将数据集导出到 DBFS 中的栅格文件？

解决方法

我怀疑这是由 limitations of the DBFS local file API 引起的，尽管库不会抛出异常 - 只是不创建文件。

解决方案是将光栅输出到本地磁盘，然后使用 dbutils.fs.cp 将文件复制到 DBFS：

import rioxarray
rds = rioxarray.open_rasterio("/dbfs/FileStore/tables/PLANET_SCOPE_3D.nc",decode_times=False)
rds.isel(time=0).rio.to_raster("/tmp/planet_scope.tif")
dbutils.fs.cp("file:/tmp/planet_scope.tif","/FileStore/tables/planet_scope.tif",True)