KAFKA-STREAM :当偏移量不再存在时卡夫卡流卡住

问题描述

我也在 kafka Jira 上描述了这个问题: https://issues.apache.org/jira/browse/KAFKA-13014

我们有具有多个实例和线程的 kafka-stream。

这个 kafka-stream 消耗了很多主题

其中一个主题分区一天无法访问,主题保留时间为 4 小时。

修复问题后,kafka-stream 试图从不再存在的偏移量中消费:

Kafka-consumer-group 描述:

我们可以看到 KS 正在等待的当前偏移量为 59754934,但该分区的新第一个偏移量为 264896001。

Kafka-stream 不抛出任何异常的问题

这是我看到的唯一日志

enter image description here

08:44:53.924 [talaria-data-mixed-prod-c3d6ac16-516c-49ee-a34e-bde5f3f629dc-StreamThread-2] 信息 OakcciConsumerCoordinator - [消费者客户端 ID=talaria-data-mixed-16c6c3c3 -49ee-a34e-bde5f3f629dc-StreamThread-2-consumer,groupId=talaria-data-mixed-prod] 使用 08:44:53.924 更新分配 [talaria-data-mixed-prod-c3d6ac16-516c-49ee-a33e-Thread62Stream -2] INFO OakcciConsumerCoordinator - [Consumer clientId=talaria-data-mixed-prod-c3d6ac16-516c-49ee-a34e-bde5f3f629dc-StreamThread-2-consumer,groupId=talaria-data-mixed-prod] 使用已分配的更新分区分配:[adm__article_ean_repartition_v3-10,adm__article_itm_repartition_v3-10,adm__article_sign_repartition_v3-10,adm__article_stock_repartition_v3-10]当前拥有的分区:[adm__article_ean_repartition_v3-10,adm__article_itm_repartition_v3-10,adm__article_sign_repartition_v3-10,adm__article_stock_repartition_v3-10]增加分区(转让 - 拥有): [] 撤销的分区(拥有 - 分配): [] 08:44:53.924 [talaria-data-mixed-prod-c3d6ac16-516c-49ee-a34e-bde5f3f629dc-StreamThread-2] INFO ConsumerCoordinaer =talaria-data-mixed-prod-c3d6ac16-516c-49ee-a34e-bde5f3f629dc-StreamThread-2-consumer,groupId=talaria-data-mixed-prod] 通知转让人有关新的分配(partitions=[adm__article_stock_repartition_sign_v3_v3- -10,adm__article_itm_repartition_v3-10,adm__article_ean_repartition_v3-10],userDataSize=398)08:44:53.924 [talaria-data-mixed-prod-c3d6ac16-516c-49ee-a34e-Threadspi25-StreamPart StreamAspide-Stream线程 [talaria-data-mixed-prod-c3d6ac16-516c-49ee-a34e-bde5f3f629dc-StreamThread-2-consumer] 未请求后续重新平衡,重置重新平衡计划。08:44:53.924 [talaria-data-mixed-prod -c3d6ac16-516c-49ee-a34e-bde5f3f629dc-StreamThread-2] 信息 Oakspinternals.TaskManager - stream-t hread [talaria-data-mixed-prod-c3d6ac16-516c-49ee-a34e-bde5f3f629dc-StreamThread-2] 处理新分配:新活动任务:[0_10] 新备用任务:[0_17,0_21] 现有活动任务:[ 0_10] 现有的备用任务:[0_17,0_21]08:44:53.924 [talaria-data-mixed-prod-c3d6ac16-516c-49ee-a34e-bde5f3f629dc-StreamThread-2] INFO oakcciConsumerDataCoordinaerId -mixed-prod-c3d6ac16-516c-49ee-a34e-bde5f3f629dc-StreamThread-2-consumer,groupId=talaria-data-mixed-prod] 添加新分配的分区:

PI:版本代理 kafka:5.3.4-ccs

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)