问题描述
我们正在使用Postgres RDS实例（db.t3.2xlarge，具有大约2TB的数据）。我们有一个多租户应用程序，因此对于所有注册了我们产品的组织，我们正在创建一个单独的架构来复制我们的数据模型。现在，我们的几个模式（大约5到10个模式）包含几个大表（大约5到7个大表，每个大表包含10到2亿行）。对于UI，我们需要显示一些静态数据和图形，并计算这些静态数据和图形数据，我们需要在大表上执行连接，这会减慢整个数据库服务器的速度。有时我们需要在夜间进行此类查询，以使用户不会遇到任何性能问题。因此，我们正在计划使用一种解决方案在S3中创建一个数据湖，以便我们可以将所有分析负载从RDBMS转移到OLAP解决方案。
第一步，我们需要将数据从RDS传输到S3，并且还要保持同步两个数据源。考虑到以下要求，您能否建议哪种工具对我们来说是更好的选择：
- 我们需要每小时更新最近3天的数据。我们希望不断更新最新数据，因为在3天的时间范围内，它可能会发生变化。 3天后，我们可以认为数据处于“静态”状态，并且可以将其保留在数据湖中，而无需进行任何后续修改。
- 我们目前正在使用多租户系统，并且拥有约350个架构，但是随着越来越多的组织在我们的产品中注册我们，它会越来越多。
- 我们计划进行ETL，因此在转换中，我们计划连接所有表并创建一个非规范化表，并将数据以apache parque格式存储在S3中。这样我们就可以使用Redshift Spectrum，EMR或其他工具对该表执行分析查询。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）