将多个独立Redis实例迁移并合并到AWS Elasticache上的新Redis集群中

问题描述

现在,我们将数据分为三个独立的Redis实例,没有集群或分片。我们正在从当前的云服务提供商切换到AWS,并希望将所有这些数据存储在新的Elasticache Redis集群中,以便我们可以水平扩展。

不幸的是,当目标实例处于集群模式并且我无法在ElastiCache中手动使用SLAVEOF命令时,用于迁移的AWS-CLI工具不起作用。看来,dump.rdb文件仅在您首次启动redis服务器或首次创建新EC群集时才能导入。

任何有关如何实现此迁移和合并过程的指针将不胜感激。有没有一种方法可以将多个dump.rdb文件合并为一个?还是以某种方式将每个服务器的数据一一传输到配置端点/主节点?

解决方法

您是否看过RIOT项目:

https://github.com/redis-developer/riot

您可以进行实时迁移。 -我不得不承认我曾经将数据从Elasticache迁移到Redis Cloud,但是您可以在任何方向上使用它。

,

这不是一个优雅的解决方案,但这就是我所做的。我必须将所有Redis数据上传并整合到一个实例中。

启动一个具有足够内存的新Redis实例,以容纳我们所有三个Redis实例的数据,然后安装redis-rdb-tools,该工具可让您解析dump.rdb文件并将其转换为其他格式:

https://github.com/sripathikrishnan/redis-rdb-tools

对于每个dump.rdb文件,我运行以下命令,该命令生成由Redis协议组成的文件,这些文件随后可以通过管道传递到新的Redis服务器中:

rdb -c protocol dump1.rdb > dump1.protocol

将每个生成的文件添加到新的redis实例中:

cat dump1.protocol | redis-cli --pipe

完成此操作后,使用redis-cli运行BGSAVEbackground save command)来生成单个dump.rdb文件。

然后可以在ElastiCache中设置新的Redis集群时,将dump.rdb文件上传到S3并选择它以播种所有数据。