使用内存高效的方式从python创建流中的Parquet文件

问题描述

在Python中创建Parquet文件最常见的方式是先创建一个Pandas数据框，然后使用pyarrow将表写入Parquet。我担心这可能会过度占用内存，因为它至少需要 个完整数据集副本存储在内存中才能创建熊猫数据框。

我想知道是否由于列压缩需求而需要将整个数据集加载到内存中，或者是否有一种更高效且基于流的方法。就我而言，我将以流方式接收记录。对于类似的csv输出过程，我们将批量写入磁盘的行数为1000，因此需要保留在内存中的行数永远不会达到完整数据集的大小。

我应该...吗？：

1. 只需创建一个熊猫数据框，然后将其写入实木复合地板即可。 （意味着整个数据集都需要存储在内存中，但是我们将其视为必要条件。）
2. 使用一些流友好的方法，在我们接收到它们时一次写入1000个左右的行，从而在整个过程中将总时间点ram消耗最小化。 （我没有看到有关如何执行此操作的任何文档，也不确定是否可以将其用于镶木地板。）
3. 将所有内容写入CSV，然后使用功能来智能地读取/分析CSV内容并事后创建压缩实木复合地板。 （运行时间可能较慢，但内存配置文件较低，文件很大时失败的可能性也较小。）

有什么想法吗？ 有建议吗？

解决方法

您要在镶木地板中设置行组。参见here，以获取对它们的解释，而简短的版本是：列数据限于行数的块，并且每个块可以分别附加到文件中。您可以使用PyArrow对输入的数据流实施此操作。