Pyspark DataFrame返回不一致的结果

问题描述

我在Databricks平台上运行一些代码,遇到了一个超级杂乱的问题,即同一数据框返回的结果不一致。这是我的代码

首先,我想显示满足特定条件的记录:

enter image description here

如上图中突出显示,带有“ unique_key” 26486的记录与我的条件匹配。现在,我想通过“ unique_key”反向查询该记录:

enter image description here

发生超级混乱的情况,同一数据框“ sdf”返回的内容与先前的结果不一致:突出显示内容与“ unique_key”不同。

我已经在这个问题上苦苦挣扎了一段时间了,不知道这是否是pyspark的错误。有人对此有想法吗? THX。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)