Kubernetes上的Zeppelin Spark Master设置

问题描述

我正在配置Zeppelin 0.8以使其Kubernetes上的Spark集群在同一名称空间中运行。

问题是,当我在spark解释器设置中提到spark master时,我的代码停止出现错误

java.lang.RuntimeException: SPARK_HOME is not specified in interpreter-setting for non-local mode,if you specify it in zeppelin-env.sh,please move that into  interpreter setting

有人在Kubernetes上积极使用Zeppelin运行Spark Apps吗?

任何潜在客户将不胜感激!

解决方法

这很简单。所需要做的就是在Zeppelin的spark解释器设置中添加SPARK_HOME。

SPARK_HOME需要定向到已下载的Spark版本。就我而言,我使用的是从此处下载的spark 2.4:https://archive.apache.org/dist/spark/spark-2.4.0/

我将该版本与Hadoop 2.7一起使用,并将文件安装在正在运行的容器上。

要连接到在Kubernetes中运行的spark master,Zeppelin需要发行版中的二进制文件。

还要在解释器设置中将主网址提到为spark:// spark-master:7077

这使设置顺利进行,尽管我目前正在解决一些妨碍内部连接的DNS问题。

相关问答

Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其...
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。...
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbc...