如何将分区的 Apache Arrow 或 Parquet 文件读入/写出 Julia

问题描述

我正在尝试在 Julia 中读取和写入一个简单的数据集。数据集是 mtcars，取自 R，具有任意添加的列 bt 和随机布尔值。文件/文件夹结构（如下）是使用 R arrow 包写出的。

文件排列如下：

arr
|-- bt=false
|   `-- part-1.arrow
`-- bt=true
    `-- part-0.arrow

如何在 Julia 中忠实地重现原始表？

到目前为止我尝试过的：

1. 使用 Parquet.jl 包。文档建议它应该自动检测 bool/string/date 类型列的分区文件夹结构。当我使用 read_parquet(path; kwargs) 读入数据时，生成的数据结构没有 bt 列。我曾尝试将 column_generator 关键字参数设置为默认的 Parquet.dataset_column_generator，但这不起作用。

2. 使用 Arrow.jl - 我找不到直接读取分区数据结构的记录方式（除非我误解了）。

R 不会生成额外的元数据文件来存储架构，但我知道这是可选的，而不是箭头规范的一部分？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）