问题描述
我遇到越来越多的情况，需要使用内存不足 (OOM) 方法在 R 中进行数据分析。我熟悉其他 OOM 方法，例如 sparklyr 和 DBI但我最近遇到了 arrow 并想进一步探索它。
问题是我通常使用的平面文件足够大，在没有帮助的情况下无法将它们读入 R。因此，理想情况下，我更喜欢一种进行转换的方法，而实际上不需要首先将数据集读入 R。
如果您能提供任何帮助，我们将不胜感激！
解决方法
arrow::open_dataset() 可以处理文件目录并查询它们，而无需将所有内容读入内存。如果您确实想将数据重写到多个文件中，可能由数据中的一列或多列分区，您可以将 Dataset 对象传递给 write_dataset()。
一个（临时）警告：从 {arrow} 3.0.0 开始，open_dataset() 只接受一个目录，而不接受一个文件路径。我们计划在下一个版本中接受单个文件路径或离散文件路径列表（请参阅 issue），但现在如果您只需要读取其他非数据文件所在目录中的单个文件，您需要将它移动/符号链接到一个新目录并打开它。