Linux文件系统或CDN,用于复制数百万个文件

请告诉我这个场景的解决方案:

>数百万个文件,位于一个目录中(“img / 8898f6152a0ecd7997a68631768fb72e9ac2efe1_1.jpg”)
平均文件大小约为80k
> 90%随机读取访问权限
>备份(复制)到其他服务器(每5分钟或立即)
>图像元数据保存到数据库

文件数量超过2百万时,我们遇到了随机访问时间慢的问题.
文件系统是带有noatime和dir_index选项的ext3,但不需要使用’ls’或’find’之类的命令.

我认为可行的解决方案:

>继续使用ext3,只需将目录树结构转换为“img / 889 / 8f6 / 152 / a0ecd7997a68631768fb72e9ac2efe1_1.jpg”
>迁移到其他文件系统(ReiserFS,XFS,EXT4等)
>使用分布式文件系统设置存储引擎(举例)
>或者其他……

如果我们选择1或2,我们如何复制? rsync无法处理ext3文件系统上的这么多数据.

对我们来说最好的解决方案是使用Amazon S3,但这对我们的流量来说太贵了…也许你推荐一些类比(便宜的CDN或开源项目)

解决方法

一个目录中的数百万个文件设计糟糕,速度很慢.将它们细分为具有较少条目数的目录.

看看https://unix.stackexchange.com/questions/3733/number-of-files-per-directory

使用RAID和/或SSD.这本身并不能解决访问速度慢的问题,但是如果你引入多个目录并减少每个目录的文件数量,比如一个数量级或两个数量级,它将有助于防止热点.

考虑XFS,特别是在使用多个驱动器和多个目录时,它可能会带来不错的收益(例如,请参阅this线程以获取使用的选项.它为md RAID上的XFS提供了一些提示).

相关文章

Linux中的ARP防火墙主要用于防御ARP欺骗攻击,其效果取决于多...
insmod和modprobe加-f参数导致Invalid module format错误 这...
将ArchLinux安装到U盘 几个月前入门Arch的时候上网搜了不少安...
1、安装Apache。 1)执行如下命令,安装Apache服务及其扩展包...
一、先说一下用ansible批量采集机器信息的实现办法: 1、先把...
安装配置 1. 安装vsftpd 检查是否安装了vsftpd # rpm -qa | ...