使用KSQL将数据从一个Kafka集群复制到另一个Kafka集群是否可行?

问题描述

我想根据条件将主题 TOPIC_1 的某些数据(日志)从Kafka 集群A 复制到另一个Kafka 集群B 。是否可以使用 Ksql 这样做? 我不想使用MirrorMaker,因为我不想复制所有数据和主题。基本上,我要问的是,是否可以在 WITH子句 中的以下命令中同时配置集群名称主题名称

CREATE STREAM INPUT_STREAM (viewtime bigint,userid varchar,pageid varchar) WITH (kafka_topic='pageviews',value_format='DELIMITED');

如果使用Ksql无法做到这一点,还有其他方法可以实现。

谢谢。

解决方法

在KSQL属性中,只能连接一台boostrap服务器。

您需要从另一个群集中创建MirrorMaker / Confluent Replicator连接器。