如何保持 flink 批处理作业在本地连续运行

问题描述

我正在 Windows 10 机器上练习通过 flink 批处理机制读取文件

我从 flink 的官方网站下载了 flink-1.7.2-bin-hadoop24-scala_2.12.tgz 并执行了 start-cluster.bat。

我通过 Flink 的 UI 上传了 jar 并且能够执行作业,但作业在几秒钟内完成。

我想让作业持续运行,以便我可以测试我的用例。

您能否指导我实现这一目标的可能方法

解决方法

在 Flink 中,批处理作业会一直运行,直到它们的所有输入都被处理完毕,此时它们已经完成并被终止。如果您想要连续处理,那么您应该

  • 使用一些部署自动化(在 Flink 之外)来安排根据需要创建新的批处理作业,或者
  • 实现流式作业

就您而言,听起来您可能正在寻找 FileProcessingMode.PROCESS_CONTINUOUSLY 上的 StreamExecutionEnvironment.readfile 选项 -- 有关详细信息,请参阅 docs