nginx – 如何组织数百万个静态文件以便通过网络有效服务？

我想创建一个服务来提供数十万个较小的文件(从5kb到500kb,大多数在10-100kb左右).可以把它想象成一种gravatar.com,它为像https://secure.gravatar.com/avatar/1545f91437e2576b910dbd1023a44756这样的URL上的那些小化身图片提供服务

我想使用没有任何ID或哈希值的描述性URL,例如http://www.server.com/This-is-my-file.ext,没有重复的文件名.

在没有太多开销的情况下,最有效的服务和组织文件的方法是什么？

只需将所有内容放在一个目录中并让Nginx提供文件就会在一定数量的文件后减速,具体取决于文件系统.

一个想法是根据文件名的第一个字符将文件保存在一个简单的目录结构中,因此该示例将在t / h / This-is-my-file.ext中提供,并在Nginx配置中使用简单的重写规则.这将导致分配到不同目录中的非常不均匀.使用from from值可以说文件名的md5哈希会导致良好的分布,但需要更多的计算能力……

我想这听起来像一个关键值存储的完美用例,但是只有文件系统和Nginx才能保持简单吗？

哈希文件名.

The set_md5 instruction doc

# You can do this:
# I didn't test this. 
location /hashed/([0-9a-f]{2})([0-9a-f]*)/(.*) {
  try_files /$1/$2/$3;
}
set_md5 $digest $request_uri;
location / {
  rewrite .* /hashed/$digest/$request_uri;
}