如何将分片 MySQL 表 CDC 流式传输到 Kafka 集群

问题描述

我每天都会创建新的共享 MysqL名称"output_table_[date]"。 我想从中捕获 CDC 并流式传输到我的 Kafka 集群,那么我可以使用什么?

我探索了用于 MysqL 的 Debezium 连接器,但找不到任何可以考虑每天创建的新表的配置。例如。在创建连接器时,我们必须为要为其捕获 CDC 的表提供“table.whitelist”,但在我每天创建新表的情况下,我们必须每天手动更新。

那么任何人都可以帮助我为我的用例提供可能的解决方案吗?

解决方法

您可以通过简单地省略 table.include.list 和相关选项来捕获所有表(顺便说一句,您使用 table.whitelist 表示您使用的是旧版本的 Debezium)。注意 Debezium 1.6 我们还计划做一个 PoC 来支持对过滤器配置的更改。