Spark Driver Pod被杀为'OOMKilled'状态

问题描述

我们正在使用spark 2.4.5在Kubernetes集群上运行Spark Streaming应用程序。 该应用程序通过Kafka主题（每3ms一条消息）接收大量数据。正在使用4个执行程序和4个kafka分区。

在运行时，驱动程序容器的内存一直增加，直到被状态为“ OOMKilled”的K8杀死为止。执行者的记忆没有任何问题。

使用此命令检查驱动程序窗格资源时：

jsonb_array_elements()

我们可以看到内存增加到1.4GB，并且吊舱被杀死。

但是，当在Spark UI上检查驱动程序的存储空间时，我们可以看到该存储空间未完全使用（50.3 KB / 434 MB）。 驱动程序的存储内存和包含驱动程序的容器的内存之间有什么区别吗？

以前有没有人遇到过类似的问题？

任何帮助将不胜感激。

以下是有关该应用的更多详细信息：

• Kubernetes版本：1.18
• 火花版本：2.4.5
• 火花流上下文的批处理间隔：5秒
• 输入数据的速率：每3毫秒发送1个kafka消息
• 斯卡拉语言

解决方法

简而言之，执行器内存由三部分组成：

• 反向内存 (300MB)
• 用户内存（（全部 - 300MB）*0.6），用于数据处理逻辑。
• Spark 内存 ((all-300MB)*0.4)，用于 Spark 中的缓存和 shuffle。

除此之外，还有 max(executor memory * 0.1,384MB)(0.1 is spark.kubernetes.memoryOverheadFactor) 额外的内存供 K8s 中的非 JVM 内存使用。

在 K8S 中通过内存开销添加执行器内存限制应该可以解决 OOM。

您还可以减少 spark.kubernetes.memoryOverheadFactor 以将更多 RAM 分配给用户内存。