使用Dash,即使在多个分区中,我们也可以轻松读取CSV文件并使用头部获取第一行.
import dask.dataframe as dd
df = dd.read_csv('data.csv').head(n=100, npartitions=2)
但我想在多个分区上阅读我的CSV文件的最后几行,如下所示:
import dask.dataframe as dd
df = dd.read_csv('data.csv').tail(n=100, npartitions=2)
dask data.frame似乎不支持tail方法上的分区.
在熊猫中,我可以使用跳过来管理它,但是这个选项在dask中似乎不可用.
解决方法:
你好像回答了自己的问题.尾方法存在
import dask.dataframe as dd
df = dd.read_csv('data.csv').tail(n=100)