嗨,在某个阶段的 spark 作业中,我正在合并(联合)3 个数据集,每个数据集有 300 个分区。这是具有 900 个任务的作业的联合阶段。如您所见,有 1 个任务运行了一个多小时。但这并不总是发生。我知道不查看数据很难弄清楚,但这种情况是否有任何公共原因和解决方法?
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)