AWS DataPipeline从S3存储桶中获取JSON对象输入

问题描述

我也希望将数据从S3加载到Redshift。进入S3的数据每秒约5MB {近似大小}。

我需要自动将数据从S3加载到Redshift。到S3的数据正在从kafka-stream消费者应用程序中转储。

文件夹S3数据采用文件夹结构。文件夹示例：bucketName / abc-event / 2020/9/15/10

此文件夹中的文件：

abc-event-2020-9-15-10-00-01-abxwdhf。 5MB

abc-event-2020-9-15-10-00-02-aasdljc。 5MB

abc-event-2020-9-15-10-00-03-thntsfv。 5MB

S3中的文件具有用下一行分隔的json对象。

我正在尝试AWS数据管道。 我需要从S3输入JSON对象。 但是，似乎AWS DataPipeline仅采用CSV和TSC格式作为来自S3节点的输入??

我们能否通过从S3文件获取JSON对象的输入并将其加载到redshift来构建AWS DATA-PIPELINE。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）