Django / Docker,管理一百万个图像和许多大文件

问题描述

我正在做的项目依赖于许多静态文件。我正在寻找有关如何处理这种情况的指导。先说明情况,再问问题。

情况

需要管理的文件

  • 大约 150 万张 .bmp 图片,大约 100 GB
  • 大约 100 个 .h5 文件,每个文件 250 MB,大约 25 GB

bmp 文件

图像是图像库的一部分,用户可以根据多种不同类型的元数据对其进行过滤。元数据分布在多个模型上,例如:打印机、纸张类型和来源。

在开发过程中,图像位于 Django 项目的 static 文件夹中,现在可以正常工作。

h5 文件

每个应用程序都有自己的一组 .h5 文件。它们用于检查用户生成的图像。检查结果存储在数据库中,图像本身存储在光盘上。

转向生产

既然你对这个问题有了一些了解,现在是时候问我的问题了。

请注意,我之前从未将 Django 项目推送到生产环境。我也是 Docker 的新手。

码头工人

该项目需要部署在多台机器上,为了使这更容易,我决定使用 Docker。我设法在没有 .bmp.h5 文件的情况下构建了映像并运行了容器。到目前为止一切顺利!

如何处理 .h5 文件?构建大小为 25 GB 的图像似乎不是一个好主意。有没有办法在以后下载 .h5 文件?就像构建仅包含代码并稍后下载 .h5 文件的 Docker 映像一样。

图像文件

我很确定 Django 的 collectstatic 命令不是用于移动项目使用的图像数量。我正在考虑将图像直接上传到某种图像服务器。

如果有专门的图像服务器,我很想听听您的建议。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)