Kinesis消费者设计-单个Spring应用程序中有多个消费者

问题描述

我们有10个Kinesis流,每个流包含12个碎片。为了使用此数据,我们还有10个单独的Kinesis消费者。每个使用者都是其自己的spring应用程序,该应用程序使用其自己的记录处理逻辑来更新同一数据库。每个使用者都有自己的HikariCP连接池以与数据库进行通信。消费者基于KCL。

目前,我们在ECS实例上部署了使用者,并根据需要扩展了实例数量。但是,拥有10个单独的使用者会导致可维护性问题,我们想知道对所有10个使用者使用单个春季申请是否可行。

我担心的是:

  • 是否可以在同一spring应用程序中初始化多个使用者?如果是这样,建议吗?

  • 使用这种方法,将在同一应用程序中初始化120个记录处理器(以容纳流及其对应的分片)。

  • HikariCP连接池也需要基于以下条件进行优化 一些基准测试。

  • 在将来扩展时,与为每个流维护不同的消费者应用程序相比,此方法会引起更多问题吗?

  • 灵活性较低,因为在这种情况下扩展ECS实例的数量会影响所有使用者。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)

相关问答

Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其...
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。...
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbc...