问题描述
我想从 Kinesis 分段上传到我的 Amazon S3 存储桶。由于 Amazon S3 是一个文件系统，对于每个条目，它都会在给定的存储桶名称下创建一个文件。
我的 Amazon S3 提供 AWS 粘合作业，因为它会在 Amazon S3 中的特定文件夹中有新文件时触发 Lambda 函数。对于流数据，每秒将有多个文件。
如何在 Kinesis 端控制文件的大小，以便 Kinesis 在达到特定阈值后才将数据推送到 Amazon S3 存储桶上？这样我就可以在达到那个大小时触发我的工作。
解决方法
您可以使用 AWS Glue Triggers 代替 lambda。
例如，为 Glue 设置 cron 时间。