Bash:在许多文件上并行化md5sum校验和

让我说,我有一个64核服务器,我需要计算/ mnt / data中的所有文件的md5sum,并将结果存储在一个文本文件中:
find /mnt/data -type f -exec md5sum {} \; > md5.txt

上述命令的问题是,只有一个进程在任何给定的时间运行.我想利用我64核的全部力量.理想情况下,我想确保,在任何给定的时间,64个并行的md5进程正在运行(但不超过64个).

也.我需要将所有进程的输出存储到一个文件中.

注意:我并没有寻找一种并行计算一个文件的md5sum的方法.我正在寻找一种方法来并行计算64个不同文件的64 md5sums,只要有任何文件来自find.

使用 GNU parallel.你可以找到更多关于如何实现它的例子 here.
find /mnt/data -type f | parallel -j 64 md5sum > md5.txt

相关文章

用的openwrt路由器,家里宽带申请了动态公网ip,为了方便把2...
#!/bin/bashcommand1&command2&wait从Shell脚本并行...
1.先查出MAMP下面集成的PHP版本cd/Applications/MAMP/bin/ph...
1、先输入locale-a,查看一下现在已安装的语言2、若不存在如...
BashPerlTclsyntaxdiff1.进制数表示Languagebinaryoctalhexa...
正常安装了k8s后,使用kubect工具后接的命令不能直接tab补全...