Kafka内部数据管理

问题描述

有人可以帮助我了解在以下情况下会发生什么:

主题A的流对它执行了一些各种操作,这些操作导致生成多个内部kafka主题,例如: KSTREAM-REDUCE-0000000014 KSTREAM-JOIN-0000000358 等

这些在拓扑中显示为“消费者组名称生成名称”

主题A加入主题B ...必须重新设置关键字B才能与A一起加入内部主题“ group-Re-KeyB”。

如果拓扑发生变化,则除非所有这些内部主题都命名相同,否则我需要更改使用者组名称,否则随机生成的KSTREAM-REDUCE-0000000014可能包含其他类型的对象。

如果我将新消费者组的偏移量设置为上一个消费者组中最新提交的偏移量,则我们不会从头开始重播主题A或B。

这些内部主题发生了什么?例如,“ group-Re-KeyB”将具有所有数据来进行到A的联接,还是只知道新的主题B记录?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)