python dask to_csv 分隔符

问题描述

我有一个关于使用 python dask 设置分隔符的问题。

import dask.dataframe as dd

df_out.to_csv("path/out.csv",single_file = True)

如何设置 delimiter？好像没有分隔符的参数。

我收到错误：
FileNotFoundError: [Errno 2] No such file or directory: '/folderpathg/out.csv/005.part'

解决方法

您可以传递 sep 选项：

import pandas as pd
df = pd.DataFrame(zip(range(10),range(10)),columns=list('ab'))

import dask.dataframe as dd
ddf = dd.from_pandas(df,npartitions=3)

ddf.to_csv('test.txt',sep='|',single_file=True,index=False)