数据超过1GB时,Postgres RDS中的wal2json逻辑复制失败

问题描述

我正在使用Kafka-connect通过wal2json逻辑编码从Postgres RDS发送消息,从而将Postgres RDS实例复制到MKS Kafka队列中。

文档https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/CHAP_PostgreSQL.html#PostgreSQL.Concepts.General.version963指定当前仅支持Postgresql附带的test_decoding和wal2json输出插件。每当我在数据库中插入超过500,000条记录时,复制就会失败,因为wal2json的数据更改限制为1gb。 Postgres发布了另一个插件wal2json_streaming,该插件似乎尚未包含在RDS中。

  1. 我们知道什么时候才能在Amazon RDS中启动wal2json_streaming插件吗?
  2. 有人能够使用其他技巧(例如DMS)来恢复大小限制问题吗?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)