跨多个Linux服务器实时文件同步,包含数百万个文件和目录

同步正在运行的生产服务器的大数据的最佳方法是什么?

我们的服务器有超过2000万个文件(小文件,10k,大文件,最大50MB),存储在1个目录中.所有数据的大小约为5 TB(稳步增加).

是否可以使用lsyncd同步数据以及有哪些限制(特别是inotify)? lsyncd需要多少额外空间?负载(cpu和内存)和实时时间怎么样?

另一种解决方案是glusterFS.是否可以在没有停机或停机时间最短的生产中使用glusterFS? glusterFS在x-attributes文件中存储了大量魔法数据,存储量比使用非glusterFS的系统大15%到20%.好像浪费了很多……?负载怎么样?

至少rsync和cronjobs可以完成这项工作. rsync只能在slave上运行…所以主服务器上不需要额外的空间,但每次cron运行时rsync都必须读取完整的目录树…

解决方法

我真的建议在文件系统中使用类似ZFS的东西.

ZFS快照和ZFS发送/接收等内置工具允许您获取文件系统的块级快照并将其发送到第二台服务器.

某些第三方工具(如sanoid/syncoid)可以设置文件系统从一个主机到另一个主机的自动管理/修剪和同步.

这是在块设备级别完成的,因此您可以避免rsync校验和/库存过程.

相关文章

/etc/sysctl.conf这个目录主要是配置一些系统信息,/etc/sys...
1.作用 useradd或adduser命令用来建立用户帐号和创建用户的起...
它们都是多模式编辑器,不同的是vim 是vi的升级版本,它不仅...
不管是我们在安装软件还是监测软件的使用性能,我们都要随时...
装好Tomcat7后,发现除了本机能访问外界访问不了,岂有此理。...
修改防火墙配置需要修改 /etc/sysconfig/iptables 这个文件,...