比较PySpark中的文件

问题描述

我正在使用PySpark，我需要比较两个文件的内容-进行diffcheck。 所以我将测试分为2：

1. 我正在使用文件之间的连接列，并检查记录是否相同
2. 我要从每个文件中提取唯一列，并保存它们（以进行手动测试）

第一步是通过

joined_columns = set(tbl1.columns).intersection(set(tbl2.columns))
joined_columns_str = str(joined_columns)[1:-1].replace("'","")

tbl1_set = spark.sql("SELECT " + joined_columns_str + " FROM tbl1")
tbl2_set = spark.sql("SELECT " + joined_columns_str + " FROM tbl2")

sql = "SELECT * FROM tbl1_set " \
          "EXCEPT " \
          "SELECT * FROM tbl2_set "
different_records = spark.sql(sql)

但是，在这些文件中，我有map列-因此出现此错误：

org.apache.spark.sql.AnalysisException: Cannot have map type columns in DataFrame which calls set operations(intersect,except,etc.)

有人知道如何解决它，只获得不相同的记录吗？ 我曾考虑过使用udf，但只有在引用特定字段时，才在“ select *”上找不到如何使用它的方法。

任何帮助将不胜感激。

谢谢！

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）