如何在 Apache Flink 中共享变量和日志记录？

问题描述

Apache Flink 提供了轻松适配操作符的可能性。我对内部处理感兴趣，并想记录在操作员内部发生的事情。为此，将一个记录器对象分发给操作员。

public class LogSink extends RichSinkFunction<TaxiRide> {
    private static final Logger log = LoggerFactory.getLogger("myLogger");

    public LogSink() {
        String msg = "Log Sink initialized";
        log.info(msg);
    }

    @Override
    public void invoke(TaxiRide ride,Context context) throws Exception {
        log.info("Name: " + ride.getName());
        }
    }
}

在主服务器（master）上的主方法中，我初始化了操作符。因此，消息 "log sink initialized" 会根据需要出现在我的自定义日志文件中。

但是记录在 "Name: TaxiRide324" 中的日志消息（例如 invoke()） - 它被从属调用，例如另一个 JVM - 在 flinks taskexecutor.log 中写入。

我想，这是因为分布式处理。 TaskManager 和 JobManager 具有不同的 JVM，因此 JobManager 在执行中不会使用/看到初始化的记录器。 （但有趣的是没有 NullPointerExeption...）

所以我的问题是：如何在分布式 flink 集群上实现内部类的初始化和执行之间的对象共享？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）