linux – 数百万个小文件的文件系统

在以下场景中,您会选择哪种 Linux文件系统以获得最佳速度:

>一亿个文件
平均文件大小约为~2k
>

95% read access

>非常随机的访问
>高并发(> 100个进程)

注意:文件存储在深层次结构树中以避免大目录.每个叶子目录包含大约一千个文件.

你会如何评价它?

解决方法

这里有一些 results comparing all major linux FSes的bonnie可以作为起点.

在随机搜索方面,Reiser赢了,接着是EXT4,接着是JFS.我不确定这是否与目录查找完全相关,但它似乎是一个指标.你必须专门做自己的测试. EXT2因为文件创建时间不足以击败所有内容,可能是因为缺少日记,EXT4除了Reiser之外还有其他一切,因为hans reiser的当前状态你可能不想使用它.

您可能希望查看支持NCQ的驱动器,并确保您的安装已设置为使用它.在大量寻求下它应该提供速度提升.

最后,确保您的机器有一吨内存.由于文件不经常更新,如果它有可用空间,linux将最终缓存大部分文件.如果您的使用模式是正确的,这将为您带来巨大的速度提升.

相关文章

查找全部容器的日志文件 $ sudo find /var/lib/docker/conta...
Linux日志文件中列属性的详细解析
在Linux系统中没有duf命令,如何有效地管理磁盘空间?
深入探讨EncryptPad在Linux操作系统中的功能和优势
原理和应用场景:Linux中ttyload工具的工作原理和实际用途
深度解析SELinux的三种策略类型