Kafka 偏移量卡在消费者组

问题描述

我正在运行这个 kafka 命令:

/opt/kafka_2.11/bin/kafka-consumer-groups.sh --bootstrap-server xxxxx:9092 \
  --describe --group flink-cg

结果是这样的:

TOPIC           PARTITION   CURRENT-OFFSET   LOG-END-OFFSET     LAG    
my_topic           0          481239571       484028280       2788709   

尽管我的 flink 正在运行并且日志文件中没有错误,但偏移量仍然卡住。

如何检查我的偏移量是否正确?恐怕我的当前偏移量的数字有误,因此该值被卡住了。

解决方法

Flink Job 正在运行的唯一事实并不一定意味着偏移量应该改变。这取决于您的作业的配置,但默认情况下偏移量仅在检查点提交,因此首先要检查您的作业是否正确检查点(可能您在检查点之间配置了很长时间)。

如果是,或者如果您启用了 enable.auto.commit,那么您应该检查某些操作符是否可能存在背压,这可能会导致读取记录出现问题。

如果您可以提供有关配置和作业本身的更多信息,会更容易判断。