问题描述
df_empty=spark.createDataFrame(sc.emptyRDD(),schema)
模式有嵌套字段
和一个具有相同字段名称但在名称开头带有父名和 _ 的数据框展平(在爆炸后)。
例如:
架构 df_empty
|-- delivery: array (nullable = true)
| |-- element: struct (containsNull = true)
| | |-- load_delivery_intervals: array (nullable = true)
| | | |-- element: struct (containsNull = true)
| | | | |-- from_time: string (nullable = true)
| | | | |-- to_time: string (nullable = true)
| | |-- delivery_start_date_time: string (nullable = true)
| | |-- delivery_end_date_time: string (nullable = true)
df_flatten 架构
delivery: array (nullable = true)
delivery_load_delivery_intervals: array (nullable = true)
delivery_from_time: string (nullable = true)
delivery_to_time: string (nullable = true)
delivery_delivery_start_date_time: string (nullable = true)
delivery_delivery_end_date_time: string (nullable = true)
现在我想返回嵌套结构(不爆炸),所以我想要例如
- df_flatten.delivery_delivery_start_date_time 中的 delivery.delivery_start_date_time 和所有其他字段
那么谁将空数据框中的 e 列替换为另一个数据框中另一列的值?
谢谢 拉格兹
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)