以可扩展的方式跨多台计算机同步大量文件

问题描述

我正在寻找一种将大量计算机(数百台)与远程存储库同步的方法。

存储库由小文件(大约20KB)组成,但是总容量只有几GB,并且会随着时间的增长而不断增长。

目标是使远程存储库中的更改尽快(不超过2秒)传播到所有计算机。 (同步)

有些工具可以提供此功能,例如S3 syncRclone,但有一个主要缺点:

sync命令将需要枚举存储桶中的所有文件,以确定存储桶中是否已经存在本地文件,以及该本地文件是否与本地文件相同。您在存储桶中拥有的文档越多,花费的时间就越长。这意味着一旦铲斗变大,即使很小的改动也将花费大量时间。

我想知道是否有一种方法(工具或方法)仅同步已修改的文件,而不必浏览所有文件。您可以想象在源和远程对元数据进行比较,确定什么是差异并采取相应的行动。

您将如何处理?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)