一个更好的unix找到并行处理?

unix find(1)实用程序非常有用,允许我对符合特定规范的许多文件执行操作,例如:
find /dump -type f -name '*.xml' -exec java -jar ProcessFile.jar {} \;

以上操作可能会在特定目录中的每个XML文件上运行脚本或工具.

假设我的脚本/程序耗费了大量cpu时间,而且我有8个处理器.一次处理多达8个文件会很不错.

GNU make允许使用-j标志进行并行作业处理,但find似乎没有这样的功能.是否有替代通用的作业调度方法

带有-P选项的xargs(进程数).假设我想压缩4-cpu机器上目录中的所有日志文件
find . -name '*.log' -mtime +3 -print0 | xargs -0 -P 4 bzip2

你也可以说-n< number>对于每个进程的最大工作单元数.所以说我有2500个文件,我说:

find . -name '*.log' -mtime +3 -print0 | xargs -0 -n 500 -P 4 bzip2

这将启动4个bzip2进程,每个进程有500个文件,然后当第一个完成另一个进程时,将启动最后500个文件.

不知道为什么以前的答案使用xargs和make,你有两个并行引擎!

相关文章

用的openwrt路由器,家里宽带申请了动态公网ip,为了方便把2...
#!/bin/bashcommand1&command2&wait从Shell脚本并行...
1.先查出MAMP下面集成的PHP版本cd/Applications/MAMP/bin/ph...
1、先输入locale-a,查看一下现在已安装的语言2、若不存在如...
BashPerlTclsyntaxdiff1.进制数表示Languagebinaryoctalhexa...
正常安装了k8s后,使用kubect工具后接的命令不能直接tab补全...