将表格从多个RDS postgres实例复制到一个postgres rds

问题描述

我有8个postgres实例,每个实例都支持我们拥有的8个解决方案的数据库

我想将第8个postgres实例中的所有数据带到一个rds postgres实例中。

这是分析所必需的

这是我到目前为止的工作:

  1. 试图将每个表下载到csv中并将其上载到目标rds实例。对于大小为50GB的表,复制命令失败。我无法一次迁移所有数据,然后设置增量负载。大表在满表加载时失败。(也在此处使用python)

  2. 考虑使用DMS,但是建议对于从rds-postgres到rds-postgres的迁移,他们建议使用pgdump和pgrestore而不是DMS。但是对于pgdump和pgrestore我需要存储密码,而我的组织不允许我这样做

  3. 使用dezzium,但这是一个漫长的过程,老实说,我需要将其启动并很快工作。

理想的情况是将第8个实例中的所有8个数据库都复制到第一个postgres实例中。并且这应该是连续复制。我暂时可以进行批处理(数据可以一天过时)。但是,如果流式传输(例如-debezium)是唯一的方法,那么我也可以。.

请问对此有何想法?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)