AWS Flink (KDA) 震撼 db 检查点大小正在增加并且永远不会下降

问题描述

在我们的应用程序中,flink 检查点的大小正在增加,并且永远不会以 Rocks db 作为 statebackend。(AWS KDA)

Kafka-->do some magic -->ES(Sink)-->Writes to kafka

这里我们使用的键是 UUID 并且永远不会重复。我如何配置以确保检查点大小不会增加或微调岩石数据库删除任何少于 1 天的旧密钥。

解决方法

使用 DataStream API,您可以将 state TTL 配置为在一段时间后自动删除密钥,或者您可以使用 KeyedProcessFunction 中的计时器手动管理状态到期。

如果您使用的是 SQL/Table API,那么您应该配置一个 idle state retention time