【kafka专栏】消费者组数据积压的查看与处理方法

在本专栏前面的文章已经为大家介绍过"消费者"与“消费者”组,在这里有必要回顾一下,并进行更深入的理解。

  • 消费者组是一组具有共同消费特征的消费者的集合,对于kafka来说,这个特征就是这些消费者共同消费一个或几个主题。
  • 消费者组存在的一个重要原因是:单个消费者无法满足某个主题下的数据处理的速度,所以需要多个消费者来负载

每一个消费者组内的消费者都具备一个共享id,即group id(消费者组id)。在创建消费者的时候,设置group id。默认创建消费者的group id是在KAFKA_HOME/conf/consumer.properties文件中定义的,默认值是test-consumer-group。

一、主题分区与消费者的数量

在开始为大家介绍消费者之前,有必要深入的了解一下“主题分区数量”与“消费者数量”之间的关系。kafka主题分区消费的一个原则是:一个分区

相关文章

文章浏览阅读4.1k次。kafka认证_kafka认证
文章浏览阅读4.8k次,点赞4次,收藏11次。kafka常用参数_kaf...
文章浏览阅读1.4k次,点赞25次,收藏10次。Kafka 生产者发送...
文章浏览阅读854次,点赞22次,收藏24次。点对点模型:适用于...
文章浏览阅读1.5k次,点赞2次,收藏3次。kafka 自动配置在Ka...
文章浏览阅读1.3w次,点赞6次,收藏33次。Offset Explorer(...