AWS Kinesis流的春季使用者

问题描述

当前，我使用的是基于Spring Boot和KCL库的AWS Kinesis Stream，它只有一个分片，只有一个使用者。

现在，我需要扩展我的应用程序并在2个使用者之间分配负载。因此，他们应该属于一个消费者组-避免对同一封邮件进行重复处理。

基于Kinesis文档-我的分片数量应与一个消费者组中的最大消费者数量相同。我又添加了一个碎片。

当我运行第一个使用者时，它将两个分片都锁定在DynamoDB中，而第二个使用者直到我停止第一个使用者时才收到任何消息。

我已经读到我可以尝试将spring.cloud.stream.bindings.<streamName>.consumer.concurrency属性更改为1，并且每个使用者只能创建到一个分片的一个连接。我不确定如果一个消费者死亡会面临什么？永远不会从第二个分片使用数据，因为另一个使用方被限制为只有一个连接？

我的配置：

Kinesis stream: events
Number of shards: 2
Consumer#1: spring.cloud.stream.bindings.eventsIn.group=eventsConsumer
            spring.cloud.stream.bindings.eventsIn.destination=events
            spring.cloud.stream.bindings.eventsIn.content-type=application/json

Consumer#2: spring.cloud.stream.bindings.eventsIn.group=eventsConsumer
            spring.cloud.stream.bindings.eventsIn.destination=events
            spring.cloud.stream.bindings.eventsIn.content-type=application/json

如何在这两个消费者之间分配负载？如果我不使用基于Kinesis流的任何其他AWS集成，也许是时候从Kinesis迁移到Kafka了？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）