kafka 流聚合 - 数据丢失

问题描述

我们有 kafka 流应用程序，它从主题 A 读取数据做聚合并将其写入主题 B， 我们发现聚合在特定时间丢失了数据，而我们在 kafka 代理中遇到了问题。

我们在客户端看到以下错误：

1. 由于同步副本少于所需数量，消息被拒绝，因此将记录发送到主题“x”时出错。;将不会发送更多记录，也不会为此任务记录更多偏移
2. 由于 'x' 310107 ms 的 Expiring 9 记录，错误发送记录到主题 'x-state-store' 自批量创建以来；将不会发送更多记录，也不会为此任务记录更多偏移

据我所知，kafka 流写入失败不会提交偏移量，数据将再次被消耗，但最终数据丢失了，有什么可以解释的？也许我们缺少一些配置？ （min.insync.replicas 等于复制数）

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）