使用 rsync/rclone 进行增量数据传输

问题描述

我们有一个项目将包含大量文件的应用程序传输到另一台服务器。为了尽可能缩短迁移时间,我正在考虑分两步传输文件

  • 第一步:传输文件
  • 第 2 步(迁移日期):转移增量

所以最初我从 rclone 同步到 AWS S3 存储桶开始。这肯定有效。但是由于文件数量庞大,即使只有 1 个文件发生了更改,与 rclone 的增量同步也需要 5 个小时。 rclone检查过程需要很长时间...

我的下一个想法是首先对初始文件进行 tar,然后在初始过程中仅传输 tar。 但是在迁移日期我需要一个过程来找出自第一次初始 tar 以来已添加删除了哪些文件...

对此有什么建议吗?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)