Kafka 消费者分区分配器 RangeAssignor

官方网站:https://kafka.apache.org/26/javadoc/org/apache/kafka/clients/consumer/RangeAssignor.html

大概意思

范围分配器在每个主题的基础上工作。 对于每个主题,我们按数字顺序排列可用分区,按字典顺序排列消费者

然后,我们将分区数除以消费者总数,以确定分配给每个消费者的分区数。 如果不均匀划分,那么前几个消费者将有一个额外的分区。

例如,假设有两个消费者 C0 和 C1,两个主题 t0 和 t1,每个主题有 3 个分区,产生分区 t0p0、t0p1、t0p2、t1p0、t1p1 和 t1p2。

任务将是:

  • C0: [t0p0, t0p1, t1p0, t1p1]
  • C1: [t0p2, t1p2]

由于引入了静态成员资格,我们可以利用 group.instance.id 使分配行为更具粘性

对于上面的例子,在一次滚动反弹之后,组协调器将尝试为消费者分配新的 member.id,例如 C0 -> C3 C1 -> C2

作业可以完全改组为

  • C3 (was C0): [t0p2, t1p2] (before was [t0p0, t0p1, t1p0, t1p1])
  • C2 (was C1): [t0p0, t0p1, t1p0, t1p1] (before was [t0p2, t1p2])

赋值变化是由于 member.id 相对顺序变化引起的,可以通过设置 group.instance.id 来避免

消费者将拥有单独的实例 ID I1、I2

只要

  • 成员数量在第 2 代中保持不变
  • 静态成员的身份在第 3 代中保持不变

任何成员的订阅模式都不会改变

  • I0: [t0p0, t0p1, t1p0, t1p1]
  • I1: [t0p2, t1p2]

相关文章

# 前言 现有主流消息中间件都是生产者-消费者模型,主要角色...
错误的根源是:kafka版本过高所致,2.2+=的版本,已经不需要...
DWS层主要是存放大宽表数据,此业务中主要是针对Kafka topic...
不多BB讲原理,只教你怎么用,看了全网没有比我更详细的了,...
终于写完了,其实最开始学kafka的时候是今年2月份,那时候还...
使用GPKafka实现Kafka数据导入Greenplum数据库踩坑问题记录(...