使用 pysparkling 在数据块中创建 H2OContext 时出错

问题描述

我在数据块上使用 spark 版本 2.4.4 和 h2o-pysparkling-2.4 并运行以下代码

h2oConf = H2OConf().set('spark.sql.autobroadcastJoinThreshold','-1')
hc = H2OContext.getorCreate(conf=h2oConf)

有时它运行良好，但有时它给我以下错误

Py4JJavaError: An error occurred while calling o2542.getorCreate.
: org.apache.spark.SparkException: Exception thrown in awaitResult:

请建议我解决此问题的方法

解决方法

• 确保未选中“启用自动缩放”。苏打水需要固定数量的节点。
• 尝试使用非机器学习运行时。
• 另外，检查您是否还有其他可能与 pysparkling 冲突的软件包。

您可以按照标准设置 here。