pyarrow中的DirectoryPartitioningPython

问题描述

dataset = ds.dataset("abfs://test",format="parquet",partitioning="hive",filesystem=fs)

我可以使用pyarrow数据集功能读取数据集，但是如何写入具有不同架构的数据集？

例如，我似乎能够导入DirectoryPartitioning，但是我无法找到一种方法来保存数据以创建如下模式：

from pyarrow.dataset import DirectoryPartitioning


partitioning = DirectoryPartitioning(pa.schema([("year",pa.int16()),("month",pa.int8()),("day",pa.int8())]))
print(partitioning.parse("/2009/11/3"))

我们将继续使用write_to_dataset来编写Parquet文件，还是将有一个针对数据集类的新方法？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）