从同一minikube节点中的容器化Spark docker映像访问Spark-Master

编程问答 2022-08-11

问题描述

我已经在minikube的docker容器上部署了“ spark-hadoop” docker镜像。

我已经在Kubernetes上为spark-master，spark-worker和spark-ui等Spark组件创建了Kubectl服务。 我已经通过NodePort将spark-master作为KubeService公开，因此我可以通过以下方式访问spark-webui页面：

http://{minikubeIP}:{Nodeport}

从minikube内的Chrome浏览器中

浏览器上http://{minikubeIP}:{Nodeport}上的sparkui网页显示了典型的spark作业仪表板，还提到了spark-master仍在运行并在“ spark://spark-master:7077”上运行。

现在的问题是我应该如何从另一个Docker容器化应用程序访问“ spark-master” URL。在这个其他应用程序中，我在application.properties中提到了{spark.master=spark://spark-master:7077"}。启动应用程序时，出现诸如“主机无响应”之类的错误，并且它关闭了。 关于此的任何指示都会有所帮助。

minispark@minispark-VirtualBox: kubectl describe svc spark-master

Name:                     spark-master
Namespace:                eniq-dev
Labels:                   <none>
Annotations:              <none>
Selector:                 component=spark-master
Type:                     NodePort
IP:                       10.97.44.8
Port:                     webui  8080/TCP
TargetPort:               8080/TCP
NodePort:                 webui  32396/TCP
Endpoints:                172.18.0.8:8080
Port:                     spark  7077/TCP
TargetPort:               7077/TCP
NodePort:                 spark  31599/TCP
Endpoints:                172.18.0.8:7077
Session Affinity:         None
External Traffic Policy:  Cluster
Events:                   <none>

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

apache-sparkdockerkubectlkubernetesminikube