问题描述
我们有一个应用程序,它使用 kafka 流从主题读取 -> 处理 -> 保存到另一个主题。我们的应用程序使用exactly_once 语义。一切似乎都很好,直到我们将应用程序从 kafka-streams 2.1.1 更新到 2.6.0 版。我们用完了磁盘空间,原因是__consumer_offsets 主题有大量数据。
我调查了 __consumer_offsets 主题,每 100 毫秒写入每个主题和分区的偏移信息。 我知道 exactly_once 语义将提交间隔更改为 100 毫秒,这是有道理的,但我们在 2.1.1 版本中没有注意到这种行为。我试图比较 2.1.1 和 2.6.0 之间的源代码,但我没有发现解释这种行为的根本区别。
感谢您的回答
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)