ubuntu – 有效处理200万个文件

我有一个基于文件数据库,有3个子目录存储的大约2M文件.
2/2/6253
2/2/6252
...

文件a从30字节到60 KB不等.整个DB是只读的.数据库大约125 GB.

补充:所有文件都是由zlib(python)压缩的

我希望将其全部作为文件系统中的一个文件来处理.哪种文件系统是我最好的选择?

目前我使用以下脚本:

dd if=/dev/zero of=/my_file.iso bs=1024K count=60000
mkfs.ext4 -f /my_file.iso
mount -o loop /my_file.iso /mnt/
您可能只想使用XFS.

它能够满足您的要求,并完成工作.

没有理由使用较少使用的文件系统使其复杂化,这可能带来其他权衡.

请参阅:How does the number of subdirectories impact drive read / write performance on Linux?
The impact of a high directory-to-file ratio on XFS

如果你想要更深奥的东西,带有文件系统的ZFS zvols可以提供一个有趣的替代方案(用于压缩,完整性和可移植性).

见这里:Transparent compression filesystem in conjunction with ext4

相关文章

目录前言一、创建Hadoop用户二、更新apt和安装Vim编辑器三、...
原文连接:https://www.cnblogs.com/yasmi/p/5192694.html ...
电脑重启后,打开VirtualBox,发现一直用的虚拟机莫名的消失...
参见:https://blog.csdn.net/weixin_38883338/article/deta...
Ubuntu 18.04 LTS 已切换到 Netplan 来配置网络接口。Netpla...
介绍每个 Web 服务都可以通过特定的 URL 在 Internet 上访问...