Flink 独立模式 - 每个作业单独的日志文件

问题描述

我正在运行一个独立的 Flink 集群,我多次运行相同的作业(多租户),每次都指向不同的 Kafka 主题。我想让每个作业生成单独的日志文件。所以我在 logback.xml 中为单个作业配置了单个滚动 appender 和 logger。关键是所有这些作业都会将日志写入在 logback.xml 中配置的同一个文件中。由于多个作业同时将日志写入同一文件,这会导致任何问题(文件损坏)吗?根据 logback 文档 (http://logback.qos.ch/manual/appenders.html#prudent),谨慎模式应该可以解决这个问题,但会降低一些性能。是否可以为每个作业配置 MDC 以具有单独的日志,以便我们可以避免性能影响?如果是这样,我们如何为每个作业全局设置 MDC?我的理解是这是不可能的,因为线程不断在多个任务之间切换。还有其他方法吗?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)