问题描述
它给出了内存错误，但从未达到内存容量。我在SSH上有60 GB的ram，整个数据集过程消耗30 我正在尝试用k-fold训练自动内编码器。没有k折，训练效果很好。原始数据集包含hdf5中的250,000数据。 如果我使用的总数据少于100000，则使用K折功能。 我已将其转换为float32，但仍然无法正常工作。 我也尝试过echo 1，但是会自动杀死python程序
解决方法
考虑到您提供的数据集的尺寸（725000 x 277 x 76）及其数据类型（float64-8字节），您至少需要114 GB左右的空间才能将数据集加载/存储在RAM中。
一种克服此限制的解决方案是：1）通过选择超级数据块读取一定数量的数据集（例如，当时为1 GB的块）并将其加载/存储在内存中； 2）处理它，以及3）重复该过程（即转到步骤1），直到数据集被完全处理为止。这样，您将不会用完RAM内存。