如何使用rsync和inotify“正确”同步数百万个文件?

假设我有100万个文件,文件列表就像20MB.如果我只添加一个文件,inotify将告诉rsync传输文件列表和新文件.我的网络不好,我可能不得不限制带宽(–bwlimit).

可以一次添加多个文件,并且考虑到网络传输速度,可能会同时运行多个rsyncs.

这值得么?有没有更好的办法?

解决方法

你的情况听起来正好是 lsyncd的制作. 它使用inotify监视目录,并仅使用已更改的文件生成rsync. 它会将更改聚合几秒钟. 因此,当您在一秒钟内进行5次更改时,它只会向目标服务器生成一个新的同步进程.

相关文章

/etc/sysctl.conf这个目录主要是配置一些系统信息,/etc/sys...
1.作用 useradd或adduser命令用来建立用户帐号和创建用户的起...
它们都是多模式编辑器,不同的是vim 是vi的升级版本,它不仅...
不管是我们在安装软件还是监测软件的使用性能,我们都要随时...
装好Tomcat7后,发现除了本机能访问外界访问不了,岂有此理。...
修改防火墙配置需要修改 /etc/sysconfig/iptables 这个文件,...