在YARN CUSTER MODE上的本地文件中捕获Spark执行程序日志

问题描述

我正在纱线簇模式下运行火花流，为此我想捕获日志并将其写入驱动程序本地文件中，我创建了自定义log4j.properties文件，其中提到了驱动程序的本地文件路径，但我只能看到驱动程序在此文件中记录日志，为什么我的执行者日志未捕获在此文件中，以及如何捕获执行者日志。我尝试了不同的方法，并且我的spark-submit命令如下：-

spark-submit --master yarn --deploy-mode yarn-cluster
--conf "spark.driver.extrajavaoptions=-Dlog4j.configuration=file:/home/log/conf/log4j.properties"
--conf "spark.executor.extrajavaoptions=-Dlog4j.configuration=file:/home/log/conf/log4j.properties" --class com.Word.count.SparkStream /home/project/WordCount/target/Count-0.0.1-SNAPSHOT.jar

解决方法

您可以发布log4j.properties。我假设您可以在执行者节点本地目录中看到执行者日志