KafkaStreams在分区领导者重新平衡后停止消耗分区

问题描述

我们已经试验了一个可能由参数auto.leader.rebalance.enable引起的问题,该参数在代理程序上认设置为true。

详细地,当发生自动重新平衡时,例如在代理重新启动之后,某些分区领导者将被移动以匹配首选领导者。 事件发生后,某些状态良好的Kafka Streams应用程序会在源分区上阻塞,这些分区的领导者已被移走,使用者的滞后开始增大。

这是一个已知问题吗?为什么应用程序没有收到有关更换领导者的信息?

在我们需要执行经纪人的滚动重启时发现的战术解决方案是:

  1. 停止有状态应用程序
  2. 执行经纪人滚动重启。
  3. 等待5分钟(认值),直到领导者自动重新平衡
  4. 启动有状态应用程序。

我们正在使用Confluent Platform Community 5.2.2,它部署在企业集群的3个节点上。

我们正在尝试重新创建测试环境中发生的事情,但没有成功。是否有可能受到集群负载的影响,而在测试中要低得多?

预先感谢! 乔治

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)