假设我有一个名为jobs.csv的文件,我想获得Foo完成的前50k工作
我可以这样做：
# cat jobs.csv | sort -u | head -n 50000 > /tmp/jobs.csv # cat /tmp/jobs.csv | while read line; do Foo --job=$line; done
要么
# cat jobs.csv | sort -u | head -n 50000 | while read line; do Foo --job=$line; done
可以告诉哪一个在系统的IO /内存效率方面更好？
或者甚至更好,可以为此提出更好的解决方案吗？
我通常会选择第二个选项(一直管道),除非其中一个中间输出对我有用.例如,如果在针对50k作业运行Foo之后,您想要针对相同的作业运行Bar,那么使/tmp/jobs.csv可用是有用的.
一直使用管道使系统能够尽早忘记数据,因此可以更有效地使用内存.它还绕过VFS和tmpfs堆栈,因此它使用的CPU略少.链的整体性能也更快,因为在开始下一步之前不需要等待一步完成(除非特定程序需要它).
顺便说一句,在你的例子中,最大的内存用户将是排序阶段,因为它需要将jobs.csv的全部内容保存在内存中以便对其进行排序.您可以通过改进创建jobs.csv的任何内容来提高效率,这样您就不再需要排序-u.