livy 从哪里检索 spark 作业日志？

编程问答 2022-05-21

问题描述

我知道我们可以通过遵循 livy rest api 来检索 Spark 作业日志

 curl -X GET "http://localhost:8998/batches/1/log"

我有以下问题：

  1. 我在livy服务器或spark服务器上哪里可以找到这些用于调试的日志？我找不到在 livy/logs 或 spark/logs 下写入的任何日志。这份文件也没有大致相同。

  2. 当批处理终止时，这些日志会发生什么？我注意到一段时间后会话被 livy 终止，您不能使用上述 api 调用来获取有关先前提交的作业的检索信息。这不利于调试。

谢谢。将不胜感激任何回应！

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

apache-sparklivy