问题描述
我需要使用 aws 工具构建一个服务,该工具聚合来自各种 dynamodb 表的数据并将数据存储在 redshift 集群中。还需要对每个数据流进行处理,然后才能将其存储在 redshift 中。
我目前的想法是通过 dynamodb 流将每个数据流发送到 kinesis 数据分析,每个流都有自己的 kinesis 组件。每个 kinesis 组件都会对数据进行处理,然后将处理后的数据写入同一个 redshift 集群。
我担心这不是可扩展的,并且想知道是否有任何方法可以让单个服务接受多个输入流,进行处理,然后将处理后的数据发送到 redshift 集群?这样,对于每个新的 dynamodb 表或 s3 存储桶,我们无需创建全新的 kinesis 分析组件。
供参考,每个dynamodb表中存储的数据不同,处理后的数据也不同。
正在使用的数据量非常大,需要实时处理更新。
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)