linux – 传输15TB的小文件

我正在将数据从一台服务器归档到另一台服务器.最初我开始了rsync工作.它花了2周的时间来构建仅5 TB数据的文件列表,并在另一周内传输1 TB的数据.

然后我不得不杀死这份工作,因为我们需要在新服务器上停机一段时间.

我们已经同意将它们放在一边,因为我们可能不需要再次访问它.我想把它分成500 GB的块.在我开始焦油之后,我将通过ssh复制它.我使用焦油和猪,但它仍然太慢.

有没有更好的方法呢?我认为两台服务器都在Redhat上.旧服务器是Ext4,新服务器是XFS.

文件大小从几kb到几mb,在5TB中有2400万jpeg.所以我猜测15TB大约有600-8000万.

编辑:玩rsync,nc,tar,mbuffer和pigz几天后.瓶颈将是磁盘IO.由于数据是在500个SAS磁盘和大约2.5亿个jpeg上划分的.但是,现在我了解了将来可以使用的所有这些好工具.

解决方法

我使用tar,pigz(并行gzip)和nc获得了非常好的结果.

源机器:

tar -cf - -C /path/of/small/files . | pigz | nc -l 9876

目的地机器:

提取:

nc source_machine_ip 9876 | pigz -d | tar -xf - -C /put/stuff/here

保存档案:

nc source_machine_ip 9876 > smallstuff.tar.gz

如果你想在pigz -d之后看到传输速率只是穿过pv!

相关文章

文章浏览阅读1.8k次,点赞63次,收藏54次。Linux下的目录权限...
文章浏览阅读1.6k次,点赞44次,收藏38次。关于Qt的安装、Wi...
本文介绍了使用shell脚本编写一个 Hello
文章浏览阅读1.5k次,点赞37次,收藏43次。【Linux】初识Lin...
文章浏览阅读3k次,点赞34次,收藏156次。Linux超详细笔记,...
文章浏览阅读6.8k次,点赞109次,收藏114次。【Linux】 Open...