问题描述
我正在配置Zeppelin 0.8以使其Kubernetes上的Spark集群在同一名称空间中运行。
问题是,当我在spark解释器设置中提到spark master时,我的代码停止出现错误,
java.lang.RuntimeException: SPARK_HOME is not specified in interpreter-setting for non-local mode,if you specify it in zeppelin-env.sh,please move that into interpreter setting
有人在Kubernetes上积极使用Zeppelin运行Spark Apps吗?
任何潜在客户将不胜感激!
解决方法
这很简单。所需要做的就是在Zeppelin的spark解释器设置中添加SPARK_HOME。
SPARK_HOME需要定向到已下载的Spark版本。就我而言,我使用的是从此处下载的spark 2.4:https://archive.apache.org/dist/spark/spark-2.4.0/
我将该版本与Hadoop 2.7一起使用,并将文件安装在正在运行的容器上。
要连接到在Kubernetes中运行的spark master,Zeppelin需要发行版中的二进制文件。
还要在解释器设置中将主网址提到为spark:// spark-master:7077
这使设置顺利进行,尽管我目前正在解决一些妨碍内部连接的DNS问题。