log4j + spark2的滚动文件附加器

编程问答 2022-06-07

问题描述

我们有基于HDP version 2.6.5 spark集群和ambari 2.6.1的hadoop集群

集群在HDFS上运行spark应用程序。 HDFS已安装在所有工作进程上。

在linux rhel机器上的以下路径下，我们可以看到spark2日志

[root@master1]# du -sh *
4.0K    spark-hive-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2.com.out
75G     spark-spark-org.apache.spark.deploy.history.HistoryServer-1-spark2.com.out

由于spark2日志（75G）的大小很大，我们可能需要配置log4j

在advanced spark2-log4j-properties中，如下所示

# Set everything to be logged to the console
log4j.rootCategory=WARN,console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# Settings to quiet third party logs that are too verbose
log4j.logger.org.eclipse.jetty=WARN
log4j.logger.org.eclipse.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO

我们需要帮助才能根据以下规则配置日志spark-spark-org.apache.spark.deploy.history.HistoryServer-1-spark2.com.out：

  1. 滚动文件附加器
  2. 受文件大小限制为100M
  3. 备份文件数为3

我很乐意为其他log4j

提出建议

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

ambariapache-sparkhdplog4jspark2