问题描述
我们处理项目中的大型数据集，因此我们在Spark SQL查询中（尤其是在Joins中）经常遇到性能问题。因此，我试图找出优化这些查询的方法。
任何人都可以帮助我理解-
如何确定编号。当前将特定表划分为一组分区。 （这将有助于确定是否重新分区表以优化联接）
如何确定最佳编号需要设置Join以根据参与表的大小最佳运行的分区数？是否有任何经验法则可以得出这个数字，以使Join / Aggregation等达到最佳性能？
感谢您的帮助。谢谢。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）