火花;喷杰森;地图操作

问题描述

我正在尝试使用spray json将我的数据集（案例类）转换为数据集（字符串）。下面的代码使我在spark-shell中出错。

错误： org.apache.spark.SparkException：任务无法序列化 引起原因：java.io.NotSerializableException：spray.json.ProductFormatsInstances $$ anon $ 6

case class person(id: Int,name : String)

object persondef extends DefaultJsonProtocol{
  implicit val personformat = jsonFormat2(person)
}

import persondef._

val seperson : Seq[person]= Seq(person(1,"ravi"),person(2,"Sukanya"))

  val df1 = sc.parallelize(seperson).toDF.as[person]

  val df3 = df1.map(x => x.toJson.toString)

它在intellij Id中似乎运行良好。尤其是在spark-shell命令行中引发了异常。 我在这里想念什么吗？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）