春季kafka消费者在batchlistener中阅读较少的块

问题描述

我正在构建一个Spring Kafka Consumer应用程序，该应用程序使用来自Kafka Topic的消息并执行数据库任务。每天都会大批量生产消息-因此，该主题在30分钟内加载了大约500万条消息。主题有3个分区。

Spring Kafka使用者（用@KafkaListener注释并使用ConcurrentKafkaListenerContainerFactory批注）是在非常短的时间内触发的。

批处理大小有时仅为1或2条消息。如果它一次可以消耗约500条消息并一起处理（例如，我可以在一个更新SQL中更新数据库），而不是为每条消息连接到数据库，那么这将对性能有所帮助。

是否可以使用其他配置来增加使用方的浴池大小，以便它可以获取至少500条记录，然后调用侦听器？以下是我的配置。有什么叫民意测验记录吗？

spring.kafka.consumer.fetch-min-size = 12000
spring.kafka.consumer.fetch-maxt-wait = 20000
spring.kafka.consumer.max-poll-records = 500
sping.kafka.listener.type = BATCH
sping.kafka.listener.poll-timeout = 20000

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）