一个消费者进程在什么情况下可以同时消费多个分区？

编程问答 2022-12-18

问题描述

环境

  • 卡夫卡 1.0.1
  • 水槽 1.9.0

麻烦

使用 Kafka Channel，我正在使用水槽接收器将数据加载到 Hadoop。

水槽属性是：

topicLoader.sinks.k9.hdfs.rollInterval = 180
topicLoader.sinks.k9.hdfs.rollSize = 754974720
topicLoader.sinks.k9.hdfs.rollCount = 0
topicLoader.sinks.k9.hdfs.callTimeout = 100000
topicLoader.sinks.k9.hdfs.round = True
topicLoader.sinks.k9.hdfs.roundValue = 60
topicLoader.sinks.k9.hdfs.roundUnit = minute
topicLoader.sinks.k9.hdfs.batchSize = 2000

我当前使用的主题的分区数是 150。 根据partition数量设置flume channel线程数和sink线程数为150。

然而，一个消费者进程正在消费多个分区。 所以，只有那个分区增加了很多滞后。

我将分区数和进程数设置为相同，但我很好奇为什么会发生这种情况。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

apache-kafkaflume