问题描述
dataset = ds.dataset("abfs://test",format="parquet",partitioning="hive",filesystem=fs)
我可以使用pyarrow数据集功能读取数据集，但是如何写入具有不同架构的数据集？
例如，我似乎能够导入DirectoryPartitioning，但是我无法找到一种方法来保存数据以创建如下模式：
from pyarrow.dataset import DirectoryPartitioning
partitioning = DirectoryPartitioning(pa.schema([("year",pa.int16()),("month",pa.int8()),("day",pa.int8())]))
print(partitioning.parse("/2009/11/3"))
我们将继续使用write_to_dataset来编写Parquet文件，还是将有一个针对数据集类的新方法？
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）