控制在Spark中处理分区的顺序

问题描述

因此，为了最佳利用群集C​​PU，我希望以MyPartitioner.getPartition(key)给出的顺序大致处理分区。我知道它们是并行处理的，它们的处理顺序无法完全控制，但至少我可以控制驱动程序向执行者提交任务的顺序吗？

类似的东西：

 task 0 - process partition 0
 task 1 - process partition 1
 ...
 task n - process partition n

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）