问题描述
AWS Lambda 支持 Kinesis 和 DynamoDB 事件源的并行化因子。但它不支持 MSK。我们可以创建 Lambda 函数的保留并发吗，是否有助于从 MSK 主题并发消费
解决方法
文档中的细节非常少。我也在寻找这个，我发现的唯一一件事是： https://amazonmsk-labs.workshop.aws/en/msklambda/tpschemareg/overview.html
在其中，他们从 MSK 读取并发布到 Kinesis，以便 lambda 可以并行处理。如果为真，似乎 MSK 事件源主要用于迁移。只有一个消费者非常有限。
也许尝试更多的人可以留下更好的答案。
krishwin 在本文底部的评论似乎也表明了这一点。 https://dev.to/danieljameskay/triggering-lambda-functions-from-amazon-msk-316o
更好的选择可能是 AWS lambda 接收器连接器。看起来它将运行一个 lambda 进程，最多可达多个分区：
- https://docs.confluent.io/kafka-connect-aws-lambda/current/index.html
- https://github.com/Nordstrom/kafka-connect-lambda
- https://github.com/llofberg/kafka-connect-aws-lambda
- https://camel.apache.org/camel-kafka-connector/latest/connectors/camel-aws2-lambda-kafka-sink-connector.html
您可以在任务设置的 ParallelApplyThreads 中将 TargetMetadata 设置为 1 以上。
检查 this 文档。