在两个不同的云之间将Kinesis Stream写入Kafka主题

问题描述

我有Kinesis流托管在AWS云上，我想将此数据存储到Google云托管的现有Kafka主题中。我不确定连接这两个云并确保数据传输过程中的延迟最小的最有效和安全的方法是什么。

要求：

• 无法更改基础结构或应用程序的部署
• 目的地Kafka主题已有的生产者向该主题提交新消息，因此任何建议覆盖现有主题的解决方案都将无法使用
• 数据安全是重中之重

Option-I 使用Kafka Connect Kinesis源连接器：使用此连接器将Kinesis映射到现有的Kafka主题。

问题：

1. 它是否可扩展，网络会成为瓶颈吗？
2. 它安全吗？什么是理想的配置？

选项2 使用Kafka Connect和Kafka Mirror Maker：Kafka Connect会将Kinesis流转换为Kafka消息，并转换为Kafka主题。 Kafka MirrorMaker将负责群集（和云）之间的复制。

问题：

1. 在现有主题上使用MirrorMaker是否有副作用？
2. 与直接使用Kafka Connect相比，使用Kafka MirrorMaker有什么优势吗？
3. 与选项2相比，它更安全吗？

选项3 还有其他选择吗？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）