kafka Leader skew:在集群中添加新的broker并重新分配partition后,kafka brokers的leader出现偏斜

问题描述

我有一个包含 3 个 zookeeper 节点和 4 个 Kafka 节点的 Kafka 集群。 我向分区添加了 2 个新代理。配置 auto.leader.rebalance.enable 在所有代理上设置为 true,leader.imbalance.check.interval.secondsleader.imbalance.per.broker.percentage 具有认值。

为了在所有代理之间分配分区,我生成并重新分配了分区。但这一代人并没有在所有经纪商中产生平衡的领导力。

两个旧的broker作为3个分区的leader,2个新broker作为一个partition的leader

重新分配后的分区分配:

enter image description here

这是通过运行 ./kafka-preferred-replica-election 命令解决的。

为什么 auto.leader.rebalance.enable 设置为 true 后没有自动触发重新平衡。

另外,为什么 ./kafka-reassign-partition.sh -generate 会产生偏斜的分区分配?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)