Pyspark：使用Spark SFTP程序包时将数据帧转换为CSV，将数据帧的空白列写为“无”

问题描述

    test_df.limit(10).repartition(1).write.format("com.springml.spark.sftp").\
        option("host",sftp_host).\
        option("username",sftp_user).\
        option("password",sftp_pass).\
        option("fileType","csv"). \
        option("delimiter","|"). \
        option("codec","gzip"). \
        option("header","false"). \
    save(f"/test/{file_date}_{file_name}.txt.gz")

以上代码以这种格式每行将数据写入csv文件。（A |“” || B |“” | C）。但是，我希望将DataFrame编写为（A || B || C），其中用“无”值替换空引号。

找到了一种无需使用Spark SFTP程序包即可完成操作的方法，但无法弄清楚如何使用SPARK SFTP程序包并为空白列写“ None”。

参考文档：https://github.com/springml/spark-sftp

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

pyspark pyspark-dataframes