如何在Python中将两台计算机连接到H2O群集

问题描述

我有两台计算机要连接到单个H2O群集。一个拥有4个核心，另一个拥有6个核心。

h2o.init(ip = '10.0.0.89',port = 54321)

在第一台计算机上，我得到以下输出：

H2O cluster uptime: 1 minutes 56 seconds 846 milliseconds
H2O cluster version:    3.8.2.3
H2O cluster name:   H2O_started_from_python_samerens_dii030
H2O cluster total nodes:    1
H2O cluster total free memory:  3.4 GB
H2O cluster total cores:    4
H2O cluster allowed cores:  4
H2O cluster healthy:    True
H2O Connection ip:  10.0.0.89
H2O Connection port:    54321
H2O Connection proxy:   None
Python Version: 3.7.4

当我在第二台计算机上运行相同的命令时，我得到相同的输出（当然，正常运行时间除外）。总节点数不应该增加到2，核心总数应该不应该增加到10吗？做错什么了吗？

解决方法

您当前正在做的是在一台计算机上启动H2O集群，然后从另一台计算机连接到它（这是当您希望两个用户可以访问同一H2O集群共享数据/模型时的情况。 ）。

您想要做的是启动一个多节点H2O集群。尚不清楚这是否会加快您的培训速度，因为使用多节点群集时会产生通信开销，因此检查始终是一件好事。如果要添加更多核心，例如40 + 40（总共80个核心），我希望在大多数情况下可以加快速度，但是将4增至6可能并没有太大帮助（我只是想强调一下，在6个核心单核上测试训练速度是很好的机器集群与10核心多核集群）。 《 H2O用户指南》 here中有相应的说明。还有关于H2O群集here的常见问题解答。如果文档不够清晰，请告诉我（我注意到示例/信息有些稀疏）。

最后，如果您特别想使用Amazon EC2进行集群，则有关here的更多信息。