每次提交作业后,作业管理器中的 flink 磁盘使用量都会增加

问题描述

我已经在 AWS ECS 中部署了自己的 flink 设置。 JobManager 的一项服务和任务管理器的一项服务。我正在为作业管理器运行 1 个 ECS 任务,为任务管理器运行 3 个 ECS 任务。

我有一种批处理作业,我每天使用 flink rest 上传并更改新参数,当我每次提交磁盘内存增加约 600MB 时,我已将检查点指定为 S3 。我还设置了 historyserver.archive.clean-expired-jobs true 。

由于我在 ECS 上运行,无法找到每次 jar 上传和执行时内存增加的原因。

我应该查看哪些 flink 配置参数以确保内存不会在每次新作业上传时激增?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)