问题描述
我创建了一个管道，该管道将数据从dynamodb表移至S3存储桶。我使用此模板导出数据-https://github.com/amazon-archives/data-pipeline-samples/tree/master/samples/dynamo-db-export-as-csv
该管道运行良好，但是我现在创建了另一个管道，该管道将S3 csv数据移动到RDS服务器中，问题是这需要花费几个小时才能运行，而我需要在不到30分钟的时间内完成。 / p>
我已经决定需要创建多个S3 csv文件，而不是一个大文件，以便为每个文件运行多个数据管道以将其移入RDS服务器。
有没有一种方法可以在导出数据之前查询dynamodb？我有一列venue_id，范围为1至50，因此我想为每个值创建一个新的S3文件。
如果您无法查询dynamodb，是否可以通过设置最大文件大小或其他方式将数据拆分为多个文件？
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）