一段时间后,连续模式下的 Hudi Delta 流媒体作业停止

问题描述

我正在提交一个 hudi delta streamer 作业以从 kafka 读取数据并存储在 S3 中。在 AWS EMR 上运行。作业运行了几个小时,突然停止说作业已成功完成。我正在使用 apache livy 通过 rest api 提交作业。我曾尝试将 livy session check 更改为 false,但工作仍会在一段时间后完成。持续时间也各不相同,如 9 小时、14 小时、17 小时等,这让我认为它不是某种超时配置。有人能帮我解决这个问题吗。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)