导致倾斜联接的数据集

问题描述

我正在寻找倾斜连接的真实世界示例 - 查询和数据集 - 以运行一些实验。直到现在，我发现：

1. TPC-DS 数据库社区中广泛使用的数据集。它在颜色和月份字段上倾斜。我简要地浏览了基准测试附带的查询，但找不到可以显示 Join 中偏斜的 Join 查询。我自己创建了一个带有 2 个连接的查询，其中第二个连接是倾斜的，但这不是一个非常自然的用例。

2. This blog 在 CDN 访问日志中提到了倾斜加入，但我认为出于隐私原因没有共享数据集。

还有其他例子吗？可能一些 Spark 用户在加入两个数据集时发现分区大小偏斜。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）