卡夫卡流产生太多的消费者偏移量,用于精确_一次语义

问题描述

我们有一个应用程序,它使用 kafka 流从主题读取 -> 处理 -> 保存到另一个主题。我们的应用程序使用exactly_once 语义。一切似乎都很好,直到我们将应用程序从 kafka-streams 2.1.1 更新到 2.6.0 版。我们用完了磁盘空间,原因是__consumer_offsets 主题有大量数据。

我调查了 __consumer_offsets 主题,每 100 毫秒写入每个主题和分区的偏移信息。 我知道 exactly_once 语义将提交间隔更改为 100 毫秒,这是有道理的,但我们在 2.1.1 版本中没有注意到这种行为。我试图比较 2.1.1 和 2.6.0 之间的代码,但我没有发现解释这种行为的根本区别。

感谢您的回答

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)