我有几个(27)巨大的(每个几GB)bz2存档文件,我需要组合成一个bz2存档.解压缩它们,然后从未压缩的东西创建一个新的存档对我来说不是一个选项,因为压缩,所有27个文件加起来大约100GB,未压缩它大约5-6TB(是的,这是TERAbytes大声笑).
这可以通过某种脚本来完成,还是有另一种压缩格式允许这样做(更容易)？
如果您愿意刻录几天的CPU,这里有一个解决方案,它具有现代UNIX(R)操作系统的神奇管道功能：
bzip2 -dc file*.bz2 | bzip2 >resulting_file.bz2
…实际上,抓住lbzip2版本2.0,并在多核上执行相同的操作,除了使用lbzip2：
lbzip2 -dc file*.bz2 | lbzip2 >resulting_file.bz2
