如何使用rsync和inotify“正确”同步数百万个文件?

假设我有100万个文件,文件列表就像20MB.如果我只添加一个文件,inotify将告诉rsync传输文件列表和新文件.我的网络不好,我可能不得不限制带宽(–bwlimit).

可以一次添加多个文件,并且考虑到网络传输速度,可能会同时运行多个rsyncs.

这值得么?有没有更好的办法?

解决方法

你的情况听起来正好是 lsyncd的制作. 它使用inotify监视目录,并仅使用已更改的文件生成rsync. 它会将更改聚合几秒钟. 因此,当您在一秒钟内进行5次更改时,它只会向目标服务器生成一个新的同步进程.

相关文章

查找全部容器的日志文件 $ sudo find /var/lib/docker/conta...
Linux日志文件中列属性的详细解析
在Linux系统中没有duf命令,如何有效地管理磁盘空间?
深入探讨EncryptPad在Linux操作系统中的功能和优势
原理和应用场景:Linux中ttyload工具的工作原理和实际用途
深度解析SELinux的三种策略类型