Java Spark与工作程序节点同步-工作程序节点想知道全局计数器的值

问题描述

无论如何，一个工作节点可以知道其他节点的当前状态。 假设我有一个JavaRDD候选者，并且对它们进行了排序。现在，我想选择其中的前10个，并进行一些相应的计算。无论如何，工作人员节点是否知道是否已经选出了前10名候选人？

JavaRDD<String> picked = sortedCandidates.map (candidate -> {
      // below are logic not the actual code 
      if number of picked < 10      // HOW TO GET THIS CONDITION CHECK
           then pick this one;
           do corresponding computation;
});

我当时正在考虑使用累加器来挑选多少候选人。但是然后意识到累加器的值只能在主节点中读取（如名称所示，它是将结果从工作节点累加到主节点）。

我想知道是否有什么办法可以实现我的目标？请帮忙。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）