问题描述
我正在运行这个 kafka 命令:
/opt/kafka_2.11/bin/kafka-consumer-groups.sh --bootstrap-server xxxxx:9092 \
--describe --group flink-cg
结果是这样的:
TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG
my_topic 0 481239571 484028280 2788709
尽管我的 flink 正在运行并且日志文件中没有错误,但偏移量仍然卡住。
如何检查我的偏移量是否正确?恐怕我的当前偏移量的数字有误,因此该值被卡住了。
解决方法
Flink Job 正在运行的唯一事实并不一定意味着偏移量应该改变。这取决于您的作业的配置,但默认情况下偏移量仅在检查点提交,因此首先要检查您的作业是否正确检查点(可能您在检查点之间配置了很长时间)。
如果是,或者如果您启用了 enable.auto.commit
,那么您应该检查某些操作符是否可能存在背压,这可能会导致读取记录出现问题。
如果您可以提供有关配置和作业本身的更多信息,会更容易判断。