如何指定在 pyarrow.dataset 中加载哪些列

问题描述

我试图只获取我想要的列，就像我们在 Pandas 中所做的那样。

use_cols = ["ArrDelay","DepDelay"]
df = pd.read_csv(path,usecols=use_cols)
df

有类似箭头的选项吗？

dataset = ds.dataset(path,format="csv")

解决方法

我猜你想要的是...

table = dataset.to_table(columns=["ArrDelay","DepDelay"])

数据集方法 scan()、to_batches() 和 to_tables() 都采用相同的参数，这些参数记录在 scan() 方法中。