java – Kafka:从消费者端动态确定主题中分区数量的最佳方法是什么?

我们有 Java代码来管理读取四个分区主题的Kafka流消费者的线程池(因此我们有四个消费者线程).

什么是动态检索分区数的推荐方法,以便线程池cat中的初始化代码设置正确的线程数?

能够动态调整到越来越多的分区不是必需的.

看一下Java API(v.0.8.1),我找不到一种直接的方法.目前我正在浏览Scala源代码,我看到有希望的类(这个问题的Scala解决方案也受到欢迎),但是我也想向社区询问这个问题,以防有人已经找到了一个很好的方法.

谢谢,

解决方法

您不应该让消费者线程计数与分区计数匹配.只需创建一些消费者线程,以最大限度地提高您的消费能力(例如,如果您正在执行大量CPU,则需要大约2倍的内核,如果您执行大量I / O,则会更多或更少,具体取决于其性质).

相关文章

文章浏览阅读4.1k次。kafka认证_kafka认证
文章浏览阅读4.8k次,点赞4次,收藏11次。kafka常用参数_kaf...
文章浏览阅读1.4k次,点赞25次,收藏10次。Kafka 生产者发送...
文章浏览阅读854次,点赞22次,收藏24次。点对点模型:适用于...
文章浏览阅读1.5k次,点赞2次,收藏3次。kafka 自动配置在Ka...
文章浏览阅读1.3w次,点赞6次,收藏33次。Offset Explorer(...