无法启动:start-master.sh Spark 3.0.0

问题描述

我目前正在使用spark 2.3.0,并升级到Spark 3.0.0。

我的集群创建在Spark 2.3.0上运行良好,脚本调用如下以启动主节点:

/home/spark-current/sbin/start-master.sh -h 10.1.0.28 --webui-port 8080 

但是,当我将其用于Spark 3.0.0时,会出现以下错误消息:

Failed to launch: nice -n 0 /home/spark-current/bin/spark-class org.apache.spark.deploy.master.Master --host abc.xyz.google.aws.net --port 7077 --webui-port 8080 -h 10.3.2.3 --webui-port 8080

调试时,以下命令在start-master.sh中失败

火花命令:

/usr/lib/jvm/java-1.8.0-openjdk-amd64/bin/java 
- cp /home/spark-current/conf/:/home/spark-current/jars/* 
- Xmx1g org.apache.spark.deploy.master.Master 
--host abc.xyz.google.aws.net 
--port 7077
--webui-port 8080 
 -h 10.3.2.3

关于调试的任何提示,同一命令在Spark 2.3.0中运行完全正常,Spark 3.0.0中是否有任何部署选项发生更改?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)