问题描述
这是您用来启动独立Spark集群的dockerfile。
- https://github.com/apache/zeppelin/blob/master/scripts/docker/spark-cluster-managers/spark_standalone/Dockerfile
但是容器内没有Zeppelin实例,因此您必须在本地计算机上使用Zeppelin。
请下载并使用它。
解决方法
我正在docker容器中的纱线模式下使用本教程的火花群集在纱线模式下的火花群集中启动齐柏林飞艇。但是我陷入了第4步。我在Docker容器中找不到conf / zeppelin-
env.sh来进行进一步的配置。我尝试将这些齐柏林飞艇的conf文件夹放入,但是现在成功了。除了那个齐柏林飞艇笔记本电脑也没有运行在本地主机上:9001。
我对分布式系统非常陌生,如果有人可以帮助我以纱线模式在火花簇上启动齐柏林飞艇,那就太好了。
这是我的docker-compose文件,用于通过星火群集启用Zeppelin Talk。
version: '2'
services:
sparkmaster:
build: .
container_name: sparkmaster
ports:
- "8080:8080"
- "7077:7077"
- "8888:8888"
- "8081:8081"
- "8082:8082"
- "5050:5050"
- "5051:5051"
- "4040:4040"
zeppelin:
image: dylanmei/zeppelin
container_name: zeppelin-notebook
env_file:
- ./hadoop.env
environment:
ZEPPELIN_PORT: 9001
CORE_CONF_fs_defaultFS: "hdfs://namenode:8020"
HADOOP_CONF_DIR_fs_defaultFS: "hdfs://namenode:8020"
SPARK_MASTER: "spark://spark-master:7077"
MASTER: "yarn-client"
SPARK_HOME: spark-master
ZEPPELIN_JAVA_OPTS: >-
-Dspark.driver.memory=1g
-Dspark.executor.memory=2g
ports:
- 9001:9001
volumes:
- ./data:/usr/zeppelin/data
- ./notebooks:/usr/zeppelin/notebook