如何在不保存火花流的情况下将 RDD 转换为 csv？

编程问答 2022-04-23

问题描述

我有一个火花流管道 (scala)，想将 DF 或 RDD 转换为 csv 并通过 ftp 协议进行部署。部署必须是每个批次。是否可以使用 spark-csv 而不保存到 hdfs 来做到这一点？你能推荐另一种方式吗，可能是一些图书馆？可能存在哪些问题？

val stream = ???

case class Record(id:Int,name: String,test: String )

stream.foreachRDD[Record] { rec =>

  val csv: String = ???
  
  deploy(csv)
}

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

apache-sparkcsvcsvcsvrddscalascala