Scala：使用嵌套的json结构转换和替换Spark DataFrame的值

问题描述

我有一个嵌套的json文件，我正在将其读取为Spark DataFrame，并希望使用自己的转换替换某些值。

现在让我们假设它看起来如下（紧跟this）

import org.apache.spark.sql.DataFrame
import org.apache.spark.sql.functions._
import org.apache.spark.sql.types._

// Convenience function for turning JSON strings into DataFrames.
def jsonToDataFrame(json: String,schema: StructType = null): DataFrame = {
// SparkSessions are available with Spark 2.0+
val reader = spark.read
Option(schema).foreach(reader.schema)
reader.json(sc.parallelize(Array(json)))
}

val df = jsonToDataFrame("""
 {
  "A": {
     "B": "b","C": "c","D": {"E": "e"
          }
        }
      }
 """)

display(df)
df.printSchema()

假设以下转换（将小写字母转换为大写字母）应适用于上方Spark DataFrame中的某些值

import org.apache.spark.sql.functions.udf
val upper: String => String = _.toupperCase
val upperUDF = udf(upper)

这根本不起作用：

df.withColumn("A.B",upperUDF('A.B)).show()

以下作品：

val df1 = df.select("A.B")
df1.withColumn("B",upperUDF('B)).show()

但是最后，我想保留我的嵌套结构，只替换符合我的变换的某些值。

如何做到这一点？使用withColumn时如何保存模式？

解决方法

最后，我找到了这个thread，它为我的问题提供了答案。诀窍是在转换列时动态保留架构。使用其中定义的mutate（）函数，以下内容对我来说很不错：

val df2 = mutate(df,c => if (c.toString == "A.B") upperUDF(c) else c)
val df3 = mutate(df,c => if (c.toString == "A.D.E") upperUDF(c) else c)

display(df2)
df2.printSchema

display(df3)
df3.printSchema