Spark Scala/Python(使用 Spark 3.1.1) - 对相似行进行分组

问题描述

我正在尝试通过对相似记录进行分组来后退/前进填充行。

例如:

输入DF

时间 id1 id2 id3 property1 属性2
1 id1_1 null id3_1 a b
2 id1_1 id2_1 null a null
3 id1_2 null id3_1 null b

输出df

时间 id1 id2 id3 property1 属性2
1 id1_1 id2_1 id3_1 a b
2 id1_1 id2_1 id3_1 a b
3 id1_2 id2_1 id3_1 a b

如果你注意到上面的数据,第三行'id1'列的值不同,我们仍然需要用id2_1填充'id2'列中的空值,因为理想情况下第2行的'id3'列将填充' id3_1' 通过匹配第 1 行,那么第 2 行和第 3 行将变得相似。

如果这里有人已经遇到过这样的问题。你能帮我吗?

这也可以通过图形框架解决吗?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)