如何使Kafka Connect均衡地平衡任务/连接器？

问题描述

我试图运行具有5个工作人员和2个接收器连接器的Kafka Connect分布式集群。一个连接器配置了最大任务，实际任务设置为5。另一个连接器配置了6个任务。

如果我对事情的理解正确，那应该意味着需要分配给工人的13个“工作单元”（1个连接器+ 5个任务+ 1个连接器+ 6个任务）。我认为这意味着每个工人大约需要2-3个任务/连接器。

但是，我发现最终的分配如下：

Worker 0: (3 Work Units)
   - Connector 0
   - Connector 1 Task 0
   - Connector 1 Task 1

Worker 1: ( 4 Work units)
   - Connector 1
   - Connector 0 Task 0
   - Connector 0 Task 2
   - Connector 1 Task 3

Worker 2: (2 Work units)
   - Connector 0 Task 3
   - Connector 0 Task 4

Worker 3: (4 Work units)
   - Connector 0 Task 1
   - Connector 1 Task 2
   - Connector 1 Task 4
   - Connector 1 Task 5

Worker 4: ( 0 Work Units)

我正在使用运行2.6.0的Kafka Connect worker和针对2.6.0库构建的连接器。员工被作为业务流程系统中的容器部署（Nomad），并经历了几轮的滚动重启/重新分配，但总的来说似乎不平衡。

基于此，我在以下方面感到茫然：

• 我认为重新启动或移动容器时任务可能会变得有些不平衡，但是我希望一旦最后一个出现并加入集群，最终的平衡就可以解决问题。有人可以指出为什么这种情况可能不会发生吗？
• 是否有建议的方法来触发整个集群的重新平衡？从文档看来，更改连接器的配置或工作人员失败/加入可能会导致重新平衡，但这似乎不是理想的过程。
• 可以始终配置或控制任务平衡过程吗？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）