如何通过自定义侦听器获取所有 Spark 执行程序的总存储内存

问题描述

我正在通过以下方式在 Java 中实现自定义 Spark 侦听器: public class MetricssparkListener extends SparkListener 并希望捕获 Spark 历史记录 UI 中显示的 Executor 指标: Spark UI Executor Tab

有人可以分享一些示例代码或 API 文档如何做到这一点。我在网上找不到任何示例或任何描述。

我正在尝试 onExecutorMetricsUpdate(SparkListenerExecutorMetricsUpdate executorMetricsUpdate),但无法真正访问 ExecutorMetrics 对象的内容调用 executorMetricsUpdate.executorUpdates().get().getMetricValue(ExecutorMetricType metricType) 需要 ExecutorMetricType 参数,它似乎是一些 Scala 接口。不确定如何创建指标类型值。

最终我想达到此处描述的执行者指标Available Executor Metrics 尤其是峰值内存指标,并针对整个应用对它们进行汇总。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)