数据砖引发工作无进展

编程问答 2022-08-10

问题描述

好吧，我正在尝试运行一个在Databricks群集上使用Spark的作业。

有时候，它没有任何进展，并且可以永远运行而没有任何错误，集群可以无限期地运行，请查看以下日志。我已经意识到，当集群中有0个工作程序时，可能会发生这种情况。但是在这种情况下，我尝试使用3个工作节点运行，并遇到相同的问题。

OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=512m; support was removed in 8.0
Warning: Ignoring non-Spark config property: eventLog.rolloverIntervalSeconds
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR,use setLogLevel(newLevel).

[Stage 0:>                                                          (0 + 0) / 1]
[Stage 0:>                                                          (0 + 0) / 1]
[Stage 0:>                                                          (0 + 0) / 1]
[Stage 0:>                                                          (0 + 0) / 1]
[Stage 0:>                                                          (0 + 0) / 1]
[Stage 0:>                                                          (0 + 0) / 1]
[Stage 0:>                                                          (0 + 0) / 1]

有什么想法吗？

解决方法

解决方案是从我的Spark初始化程序中删除以下配置。

.config('spark.driver.host','127.0.0.1')
azure-databricksdatabrickspysparkpyspark