问题描述
我有一个结构化的流作业，该作业从kafka读取，执行聚合并写入hdfs。作业在纱线中以群集模式运行。我正在使用spark2.4。 每2-3天，此工作就会卡住。它不会失败，但是会卡在某些微批处理中。微型批次甚至都不会启动。驱动程序会连续几个小时继续打印以下日志。
Got an error when resolving hostNames. Falling back to /default-rack for all.
当我终止流作业并重新开始时，该作业再次开始正常运行。 该如何解决？
解决方法
查看此问题https://issues.apache.org/jira/browse/SPARK-28005 这已在spark 3.0中修复。似乎发生这种情况是因为没有活动的执行程序。