问题描述
在读取源文件时，我需要从属性文件（列名称及其数据类型）传递 Hive 表的元数据作为模式。
（下面是属性文件中的参数之一-以及一些其他参数，例如table_name ... etc）
hive_table_Metadata = emp_name,StringType|emp_dt,DateType|emp_no,IntegerType
我想将其读入 Spark 数据帧并作为模式传递（当我从源文件中读取数据时，如下所示）
有人可以在此处提供一些输入或解决方法
在我尝试之下，我能够传递列名（来自hive_table_Metadata）...。但不能传递其数据类型作为hive_table_Metadata的参数/自变量，并在以下代码中作为架构发送。
val tbl_schema = StructType(hive_table_Metadata.split("|").map(fieldName ⇒ StructField(fieldName,<get the datatype from hive_table_Metadata>,true)))
val readFileIn = spark.sqlContext.read
.format("csv")
.schema(tbl_schema)
.load("data/source_file.csv")
我在Scala中使用spark 2.x。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）