如何在pyspark-docker-container中配置独立集群具有主从架构?

问题描述

以下是我的要求:

  1. 我正在使用可用的jupyter / pyspark-notebook图像构建pyspark-docker图像
  2. 接下来,我要配置主从架构,基本上是创建火花集群
  3. 据我了解,需要在主设备的spark配置中为从设备定义相应的IP /主机,以识别这些从设备
  4. 那么如何在单个容器中的pyspark-docker中配置主服务器和从服务器,或者应该具有相同的多个容器或ec2来进行配置?

我一直在寻找解决方案,但没有找到适用于Docker基础的任何文档

是否有人可以为此提供帮助?

谢谢

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)