在EMR上更改Spark应用程序的log4j配置后如何查看调试日志？

问题描述

我已按照通常的步骤将日志级别更改为DEBUG，但是在AWS EMR中运行的spark应用程序日志中没有看到DEBUG级别日志。我做了以下事情：

1. 在log4j.rootCategory=DEBUG,console中更改conf/log4j.properties文件中的spark-submit。

2. 我还在spark-submit（Answer 3 in this thread）期间使用这些其他配置

   -conf'spark.executor.extrajavaoptions = -Dlog4j.configuration = path / to / log4j.properties'
   --conf'spark.driver.extrajavaoptions = -Dlog4j.configuration = path / to / log4j.properties'\

在YARN应用程序页面上启用调试日志/在配置为写入S3的stderr文件中查看调试日志，我遗漏了什么？

[另外，我尝试了sc.setLogLevel("DEBUG")，这成功启用了DEBUG日志，但我不想进行这样的代码更改。]

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）