从另一个数据框中的另一列替换空数据框中的一列

问题描述

我有一个空的数据框:

df_empty=spark.createDataFrame(sc.emptyRDD(),schema) 

模式有嵌套字段

一个具有相同字段名称但在名称开头带有父名和 _ 的数据框展平(在爆炸后)。

例如:

架构 df_empty

|-- delivery: array (nullable = true)
|    |-- element: struct (containsNull = true)
|    |    |-- load_delivery_intervals: array (nullable = true)
|    |    |    |-- element: struct (containsNull = true)
|    |    |    |    |-- from_time: string (nullable = true)
|    |    |    |    |-- to_time: string (nullable = true)
|    |    |-- delivery_start_date_time: string (nullable = true)
|    |    |-- delivery_end_date_time: string (nullable = true)

df_flatten 架构

delivery: array (nullable = true)
delivery_load_delivery_intervals: array (nullable = true)
delivery_from_time: string (nullable = true)
delivery_to_time: string (nullable = true)
delivery_delivery_start_date_time: string (nullable = true)
delivery_delivery_end_date_time: string (nullable = true)

现在我想返回嵌套结构(不爆炸),所以我想要例如

  • df_flatten.delivery_delivery_start_date_time 中的 delivery.delivery_start_date_time 和所有其他字段

那么谁将空数据框中的 e 列替换为另一个数据框中另一列的值?

谢谢 拉格兹

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)