Spark BlockManager监听本地主机

编程问答 2022-06-09

问题描述

不知道为什么，已经调查过this answer，没有运气。

我的执行者正在监听他们的本地主机地址，因为他们无法与其他人交谈而运行任何随机操作。

我在Mesos上运行Spark，并且已经有以下变量指向自己的IP（不是本地主机）：

  • SPARK_LOCAL_IP
  • LIBPROCESS_IP

这是最后的过程，涂黑的部分是“外部ip”

enter image description here

这是最后的过程

enter image description here

我很困惑，如何欺骗执行者公开自己的IP，而不公开给本地主机。

看起来好像无法正确解决。

编辑如果我使用ipv4地址172.12.12.12（示例）手动启动BlockManager，则执行程序将绑定到正确的地址，但是如果我使用dns地址myserver.myservice.aws，执行程序绑定到本地主机。

有人知道为什么以及如何解决吗？更改分辨率问题或让mesos呼叫ipv4地址？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

apache-sparkmesosnetworking