使用带有 MSK 的 Debezium MySQL 连接器显示“INVALID_REPLICATION_FACTOR”

问题描述

我正在使用带有 MSK 的 Debezium MysqL,设置非常简单。与 MysqL (aurora) 的连接测试良好。 Kafka主题创建,列表都可以。

但是,当我运行连接器时,我得到了很多滚动信息

WARN [Producer clientId=xxx] Error while fetching Metadata with correlation id 1 : {xxx.xxx=INVALID_REP
LICATION_FACTOR} (org.apache.kafka.clients.NetworkClient:1100)

其中很多不断出现,并且连接器无法正常工作。

解决方法

一段时间后,我发现原因是 MSK 上的默认 replication factor 设置遵循 Kafka 最佳实践,即 3,但我只创建了 2 个代理。

配置保持 3,当连接器尝试自动创建具有 3 个副本的主题时失败。奇怪的是,即使我手动创建了一个复制因子为 2 的主题,连接器也会抛出同样的警告。

似乎 Debezium 连接器总是尝试内部主题。

创建一个新版本并将复制因子设置为 2 解决了问题。