问题描述
我设置了一个 glue 作业，它同时运行以处理输入文件并将其写入 S3。 glue 作业定期运行（不是一次性作业）。
S3 中的输出是 csv 文件的形式。要求是将所有这些记录复制到 Aws SQS 中。假设可能有 100 个文件，每个文件包含多达百万条记录。
最初我计划有一个 lambda 事件来逐行发送记录。但是，从文档中我看到 lambda 的时间限制为 15 分钟 - https://aws.amazon.com/about-aws/whats-new/2018/10/aws-lambda-supports-functions-that-can-run-up-to-15-minutes/#:~:text=You%20can%20now%20configure%20your,Lambda%20function%20was%205%20minutes。
使用 AWS Batch 将记录从 S3 复制到 SQS 会更好吗？我相信，AWS Batch 能够在需要时扩展流程并并行执行任务。
我想知道 AWS Batch 是一个正确的选择还是我想让设计更复杂？
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）