unix – 使用临时文件vs管道的优点和缺点

假设我有一个名为jobs.csv的文件,我想获得Foo完成的前50k工作

我可以这样做:

# cat jobs.csv | sort -u | head -n 50000 > /tmp/jobs.csv
# cat /tmp/jobs.csv | while read line; do Foo --job=$line; done

要么

# cat jobs.csv | sort -u | head -n 50000 | while read line; do Foo --job=$line; done

可以告诉哪一个在系统的IO /内存效率方面更好?

或者甚至更好,可以为此提出更好的解决方案吗?

我通常会选择第二个选项(一直管道),除非其中一个中间输出对我有用.例如,如果在针对50k作业运行Foo之后,您想要针对相同的作业运行Bar,那么使/tmp/jobs.csv可用是有用的.

一直使用管道使系统能够尽早忘记数据,因此可以更有效地使用内存.它还绕过VFS和tmpfs堆栈,因此它使用的CPU略少.链的整体性能也更快,因为在开始下一步之前不需要等待一步完成(除非特定程序需要它).

顺便说一句,在你的例子中,最大的内存用户将是排序阶段,因为它需要将jobs.csv的全部内容保存在内存中以便对其进行排序.您可以通过改进创建jobs.csv的任何内容来提高效率,这样您就不再需要排序-u.

相关文章

用的openwrt路由器,家里宽带申请了动态公网ip,为了方便把2...
#!/bin/bashcommand1&command2&wait从Shell脚本并行...
1.先查出MAMP下面集成的PHP版本cd/Applications/MAMP/bin/ph...
1、先输入locale-a,查看一下现在已安装的语言2、若不存在如...
BashPerlTclsyntaxdiff1.进制数表示Languagebinaryoctalhexa...
正常安装了k8s后,使用kubect工具后接的命令不能直接tab补全...