将Pyspark Dataframe保存到没有标题的csv中

问题描述

我正在寻找一种无需指定标题即可将数据帧保存到csv文件中的方法。

我尝试了下面的代码，但是没有用。

ratingsDF.coalesce(1).write.option("header","false")\
.csv("csv_file_without_headers.csv")

对于以下数据框：

+---------+-----+
|   x|   y|    z|
+----+----+-----+
|   0|   a|    5|
|   1|   b|   12|
|   2|   c|    7|
|   3|   d|   27|
|   4|   e|  149|
|   5|   f|   19|
+---------+-----+

csv的预期结果：

O,a,5
1,b,12
2,c,7
3,d,27
4,e,149
5,f,19

解决方法

您的选项看上去正确，正在写入的 csv文件将没有标题。

在Spark中，无法写入 file csv_file_without_headers.csv，而不能检查csv_file_without_headers.csv directory。

• 在目录中，您可以看到目录中没有标题的所有文件。

,

尝试一下，

ratingsDF.coalesce(1).write.csv("/path/to/save/csv/")

默认情况下它将保存csv不带标题的位置。您不能指定csv文件名，而只能指定路径。