为什么我的Google Cloud Dataflow管道闲置时会卡住?

问题描述

我有一个流云数据流管道。它从pubsub读取消息。流水线是cdc(更改数据捕获)体系结构的实现,因此不需要事件时间戳,也无需发布。当pubsub主题/订阅闲置了几天(2-3天),即2-3天没有发布任何消息,然后在第三天发布了消息时,我看到消息没有被读取,就像“已读”从pubsub”步骤卡住。水印没有进展,水印停留在2天之前。系统延迟为2天,数据更新已超过所有限制。谁能解释这种行为?

The stats of the step image 该图像拍摄于2020年9月23日

P.S-唯一的解决方案是重新启动数据流,然后平稳地读取订阅中所有未确认的消息。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)