问题描述
我想使用Keras在大量的热图上训练自动编码器（带卷积块）。热图为2D，大小为1000 x 1000 x 1（一个颜色通道）。该热图汇总了多个用户的使用情况统计信息（例如Web浏览器使用情况）。我为每个用户创建约1000个热图，总共有100个用户，因此总共有100'000个热图。热图相对稀疏（即，很多零条目）。
我现在的问题是如何有效地存储这些热图。热图不能一次全部保存在内存中。我可以将热图存储为png或jpg文件，但是问题在于，将100'000张热图存储为jpg或png需要很多时间，而且我不知道读取这些文件是否非常有效。另一种可能性是将每个用户的所有热图存储在一个文件中，例如hdf。问题是我想将数据分为训练，验证和测试集，并在运行时加载数据。当我分别存储每个热图（例如以jpg格式）时，可以使用DataGenerator的Keras。但是，当我为每个用户提供一个热图文件时，我不知道如何在训练，验证和测试中进行拆分以在运行时加载热图（如果不是按用户划分拆分图）。 / p>
存储此类热图的最佳方法是什么？
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）