Spark History Server未显示其他用户的作业

问题描述

我已经设置了YARN集群（使用hadoop-3.3.0并配置了spark（spark-3.0.0-bin-hadoop3.2），以便可以在YARN上运行我的spark应用程序。所有这些设置都是通过admin用户完成的。 admin个用户位于我的群集的每个节点上。为了监视应用程序，我还启动了Spark History Server。历史记录服务器正确显示通过admin用户提交的spark应用程序。但是，如果Spark作业是通过其他用户提交的，则说alice，Spark History Server不会显示alice提交的应用程序。有什么解决办法吗？

设置详细信息：

spark.eventLog.enabled true
spark.eventLog.dir hdfs://<HDFS_URL>/spark-logs
spark.history.provider org.apache.spark.deploy.history.FsHistoryProvider
spark.history.fs.logDirectory hdfs://<HDFS_URL>/spark-logs
spark.history.fs.update.interval 10s
spark.history.ui.port 8080
spark.yarn.historyServer.address <HISTORY_SERVER_IP>:8080

hdfs://<HDFS_URL>/spark-logs具有权限777

$YARN_HOME/logs具有权限777

$YARN_HOME/logs/userlogs具有权限777

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

apache-spark yarn