DataFusionApache Arrow：如何延迟读取结果批次？

问题描述

我有一个数据融合查询。我不想等待所有批次都进行处理，而是想在第一个批次准备好后立即运行一些代码。

这里是等待，然后处理代码：

let dataframe = ExecutionContext::new().read_parquet(filename)?;
let batchs = dataframe.collect().await?;

for batch in batchs {
    // Do something with the record batch
    println!("{:?}",batch.schema());
}

我想要的东西不是返回的BatchRecord数组的承诺，而是更多的BatchRecord的数组。 DataFusion是否提供一种只检索第一批而不用等待镶木地板文件的完整处理的方法？

我目前在启动时有5分钟以上的加载时间，这不切实际。直接使用Arrow＆Parquet，可以让我立即访问第一批（以api / features进行交易）。

编辑：在DataFusion git repository

中可以找到一个最小的示例

解决方法

自2.0.0版本以来，master分支中发生了一些最新更改，以更好地支持异步和流传输，因此值得检查最新代码，但是DataFrame collect方法确实将所有结果加载到内存中，然后返回，因此可能不是最好的方法。

在Arrow邮件列表中询问此问题也是一个好主意。