建议如何将AWS MSK和Confluent Schema Registry和Confluent Kafka连接在一起使用?

问题描述

我们计划将AWS MSK服务与Confluent的Managed Kafka和Schema Registry and Kafka Connect服务一起使用,以运行我们的连接器(Elasticsearch Sink连接器)。我们计划在EC2中运行Schema Registry and Connectors。

根据Confluent团队的说法,如果我们将MSK用于Kafka,则他们将无法正式支持Confluent Schema Registry和Kafka Connect。

那么,任何人都可以分享他们的经验吗?喜欢 是否在生产环境中Anybuddy一起使用了MSK和Confluent服务的组合?

使用这种组合是否有风险?

是否建议使用此组合?

如果我们将遇到连接器方面的任何问题,那么Confluent社区将如何提供支持

还有其他建议,评论或替代方案吗?

我们已经拥有Confluent Corporate Platform许可证,但是我们希望管理Kafka服务,这就是为什么我们选择AWS MKS,因为根据我们的分析,它比Confluent Cloud具有更高的成本效益?

请提前分享您的想法和感谢。

谢谢

解决方法

客观地回答您的问题是可行的,但这取决于您的主要痛苦所在。

从许可的角度来看,没有什么可以强迫您仅使用Kafka Connect或Schema Registry来拥有Confluent订阅,因为它们分别基于Apache License 2.0和Confluent Community License。

从技术角度来看,您可以在EC2上同时运行Kafka Connect和Schema Registry,并且;只要它们在与MSK群集相同的VPC中运行,它们就可以正常工作。

从成本角度出发,您将必须评估由您和/或您的团队管理Kafka Connect和Schema Registry的成本。不仅要考虑安装和设置阶段,还要考虑管理和演进阶段。该软件可能没有任何成本,但是操作这些组件的工作可以转化为成本。

如果我们将遇到连接器方面的任何问题,那么Confluent社区将如何提供支持?

无论您是向Apache Kafka用户组寻求帮助还是Confluent在Slack中拥有的社区,Kafka社区通常都非常有帮助。当然,这全是尽力而为,您不能依靠他们来获得支持。可能需要几天,一些优秀的撒玛利亚人才会决定帮助您。这也转化为成本:降低和/或等待解决方案的成本是多少?

我不再是Confluent的雇员,因此,我什至不会试图说服您向他们购买。但是您应该评估成本的这一部分,并检查使用Confluent Cloud是否不能为您提供更具成本效益的解决方案,因为它包含Kafka,Kafka Connect和Schema Registry的托管版本。根据我的经验,Confluent Cloud上的托管Kafka并不是那么昂贵,并且托管Schema Registry是“免费的”,但是使用托管连接器可能会非常昂贵,并且根据在托管服务器中配置的任务数量而定,情况可能更糟。连接器。这是您唯一需要注意的陷阱。