从Kafka读取Spark作业,单个分区重置为“ 0”

问题描述

我有一个Spark结构化流作业,该作业从具有50个分区的Kafka主题中读取。重批之一。在第一次尝试中,分区30以正确的偏移值开始和结束,该偏移值在这种情况下当然不会改变。

在重试中,分区30(只有30)从第一次尝试停止的地方开始,但是批处理以偏移量为'0'结束。随后的批次显示分区30正在重放其所有记录,直到被追上为止。

任何想法可能是什么原因造成的?我不确定为什么也要重试该特定批次。任何帮助表示赞赏。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)