长时间处理的 Kafka 流应用程序中的无休止重新平衡

问题描述

我在 Kubernetes 上有一个 Kafka 流（版本 2.6）应用程序，处理时间很长（最多可能需要 2 分钟）。当我部署我的 pod 并且应用程序有很大的优势时，消费者不会停止重新平衡。 当我只部署一个 pod（有 40 个消费者）时，它会停止重新平衡。当我使用 2.1 版运行它时​​，它也会停止重新平衡（多个 pod）。

我将 group.initial.rebalance.delay.ms 更改为 4 分钟，并将 SESSION_TIMEOUT_MS_CONFIG 增加到 180000，将 HEARTBEAT_INTERVAL_MS_CONFIG 增加到 50000，这解决了初始重新平衡（如果我没有消费者没有组，然后我开始一些pods 与应用程序）但我在横向扩展或向内（添加或删除 pods）时仍然遇到问题 当我将 MAX_POLL_INTERVAL_MS_CONFIG 更改为 max.int （我知道这是不好的做法，我只想测试这个理论）它没有解决任何问题（当我删除 SESSION_TIMEOUT_MS_CONFIG 和 HEARTBEAT_INTERVAL_MS_CONFIG 时，初始重新平衡不起作用）。 我的 MAX_POLL_RECORDS_CONFIG 是 10，所以我不想再减少它了。

我还需要在配置中更改什么吗？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）