在Spark中加载镶木地板文件后出现奇怪的数据偏斜

问题描述

我正在使用PySpark（约10个执行程序，每个执行程序有4-5个内核）以拼合形式从云存储中读取一些数据到Spark DataFrame中。 spark.sql.files.maxPartitionBytes是在加载之前设置的，因此我可以控制每个分区的大小，然后控制我可以获取的分区数。加载数据后，我将Spark函数/ UDF应用于数据。因此，不应发生洗牌（join和groupby）。我期望每个分区在加载后具有相对相等的分区大小，但现实情况是加载的数据非常不对称。

在YARN中查看时，最小，25％，中位数和75％的分区大小均为21 B（基本上为空分区），而最大分区大小为100 MB（已加载所有行）。

我现在要解决此歪斜的方法是执行df.repartition()以在加载后立即均匀分布它，并且效果很好。但这又引入了另一种不理想的数据改组方法。

所以问题是，为什么默认情况下分区在加载后是如此偏斜？有没有办法让我以相对均匀的分区大小加载它们并跳过该df.repartition()步骤？

谢谢！

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）