问题描述
假设我们有一个带有 Kafka 源的作业(启用检查点)和一个使用来自 Kafka 源的事件的无状态操作符。
我们有一个记录流 1,2,3,4,5,... 假设事件 1 到达 Flat Map 操作符并正在被处理。那么Kafka源就做了一个成功的checkpoint。 在这种情况下,事件 1 的偏移量是否将成为检查点的一部分? Flink 会从源头跟踪事件到所有下游算子吗?如果这是一个真实的情况,并且如果在成功检查点后在 Flat Map 中处理事件失败(任何第三方 API/DB 失败),我们是否需要手动重新处理(使用队列或任何其他业务逻辑重试) ) 事件?
工作: Kafka Source -> Flat Map
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)