java – 是否可以在Apache Spark中的所有worker上执行命令？

我有一种情况,我想在Spark中的每个worker上执行系统进程.我希望这个过程能够在每台机器上运行一次.具体来说,这个过程启动一个守护进程,它需要在我的程序的其余部分执行之前运行.理想情况下,这应该在我读取任何数据之前执行.

我使用Spark 2.0.2并使用动态分配.

解决方法:

您可以通过lazy val和Spark广播的组合来实现这一目标.它将是下面的东西. (没有编译下面的代码,你可能要改变一些东西)

object ProcessManager {
  lazy val start = // start your process here.
}

在进行任何转换之前,您可以在应用程序的开头广播此对象.

val pm = sc.broadcast(ProcessManager)

现在,您可以像转换任何其他广播变量一样访问转换中的此对象并调用lazy val.

rdd.mapPartition(itr => {
  pm.value.start
  // Other stuff here.
}