使用 hadoop 库在 YARN 上等待日志聚合

编程问答 2022-05-16

问题描述

我使用了 LogAggregationFileController 的 apache hadoop-3.2.2 (https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-common/apidocs/org/apache/hadoop/yarn/logaggregation/filecontroller/ifile/LogAggregationIndexedFileController.html)。
我考虑是否可以向 YARN 询问日志聚合状态？我的意思是类似的东西？
正在进行中吗？完成了吗？后台是关于等待日志聚合完成并获取它们。流程如下：

  1. 执行 yarn 应用程序。
  2. 等待 FINISHED 状态
  3. 等待日志聚合完成
  4. 收集汇总日志
  5. 解析收集的日志

我不知道是否可以可靠地实现第 3 步。使用 hadoop 客户端库。有人知道吗？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

hadoop3yarn