如何减少 Flink 内部作业之间的时间并避免重复任务

问题描述

我在独立集群中运行了 Flink 有界作业。然后 Flink 将其分解为 3 个工作。 完成一项工作后,大约需要 10 秒才能开始下一项工作。如何减少工作之间的时间?当观察任务流的细节时,我注意到第二个作业完成了与第一个作业相同的任务,加上新的附加任务,依此类推,第 3 个作业。例如,它会重复从每个作业中的文件中读取数据,然后将其加入。为什么会发生?我是 Flink 新用户。 AFAIK,我们无法在 Flink 中缓存数据集。真的需要帮助来理解它是如何工作的。谢谢。

enter image description here

Here is the code

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)