作业失败时检查重复的Apache Flink

问题描述

我正在使用Kafka,Flink。 Flink从Kafka读取的我的消息然后执行一些业务逻辑到DB,并将其发送到Third API(例如:邮件,GG Sheet),每条消息都恰好发送一条。一切正常,但是如果Job失败并重新启动(我正在使用检查点),则任何消息中继都会重新发送到Third API。我可以让Redis查看已发送的消息。这样,应该在Redis中检查每条消息,并影响性能。我想知道解决方案不需要使用Redis来检查重复项。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)