我想将架构元数据作为参数从Spark数据框/数据集传递数据框名称作为参数

问题描述

我想将模式（元数据）作为来自Spark数据框/数据集的参数传递。

我正在使用spark 2.x

代码：（示例）

//定义如下元数据。

val df_emp_Metadata = StructType(
  List(
    StructField("emp_id",StringType,true),StructField("emp_hier_dt",DateType,StructField("dept_id",IntegerType,true)
  ))

  
val df_dept_Metadata = StructType(
  List(
    StructField("dept_id",StructField("dept_name",true)
  ))

我想在执行Spark-Submit时将df_emp_Metadata / df_dept_Metadata作为参数传递，并在下面的模式中将其作为变量传递。

val Meta_Data = arg(0)  //(df_emp_Metadata or df_dept_Metadata from Spark-Submit)

val readFileIn = spark.sqlContext.read
    .format("csv")
    .schema($Meta_Data)
    .load("data/source_file.csv")

Spark不允许将数据框名称作为参数传递。

请建议在Spark / Scala编程中是否还有其他替代方法。

解决方法

简单的if-else语句。您可以通过放置1和2来选择它。

val argument = arg(0)

val schema = if (argument == "1") df_emp_metadata else df_dept_metadata 

val readFileIn = spark.sqlContext.read
    .format("csv")
    .schema(schema)
    .load("data/source_file.csv")