问题描述
我正在通过以下方式在 Java 中实现自定义 Spark 侦听器:
public class MetricssparkListener extends SparkListener
并希望捕获 Spark 历史记录 UI 中显示的 Executor 指标:
Spark UI Executor Tab
有人可以分享一些示例代码或 API 文档如何做到这一点。我在网上找不到任何示例或任何描述。
我正在尝试 onExecutorMetricsUpdate(SparkListenerExecutorMetricsUpdate executorMetricsUpdate)
,但无法真正访问 ExecutorMetrics
对象的内容。
调用 executorMetricsUpdate.executorUpdates().get().getMetricValue(ExecutorMetricType metricType)
需要 ExecutorMetricType 参数,它似乎是一些 Scala 接口。不确定如何创建指标类型值。
最终我想达到此处描述的执行者指标Available Executor Metrics 尤其是峰值内存指标,并针对整个应用对它们进行汇总。
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)