如何在独立的 Spark 集群中恢复死去的工人

问题描述

我有一个独立的 Spark 集群,由一个主节点和两个工作节点组成,每个工作节点有 4 个内核和 4 GB 内存。 这两个工人在两台不同的机器上。我在客户端模式下使用 spark-submit 提交我的 spark 应用程序 jar。我的问题如下:在此配置中,如果在应用程序执行期间工作人员应该进入死状态(例如由于连接被拒绝),是否可以告诉 spark 恢复在执行期间丢失的工作人员?目前,如果工作人员进入死状态,它不仅会保持该状态直到特定应用程序的执行结束,而且还会在执行新应用程序的情况下保持该状态。要恢复处于死状态的工人,我必须转到相应的机器并运行(从终端)命令

start-slave.sh spark://master-ip: 7077

是否可以不通过手动命令而是通过自动程序来检索工人? 感谢任何想回答的人!

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)

相关问答

Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其...
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。...
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbc...