pytorch：使用带有 prefetch_factor 的 dataloader 从 txt 加载数据

问题描述

我在 txt 文件中有一个大小为 (20000000,500) 的二维数组。由于它太大并且无法放入我的计算机，因此我必须预取它并使用 pytorch 训练我的模型。我想我需要使用带有 'prefetch_factor' 参数的 DataLoader。 有谁知道我会怎么做？ 谢谢。

解决方法

只需在DataLoader类中传递prefetch参数

示例：如果您将预取参数作为 3 传递，则将在所有工作器中预取 3 * num_workers 个样本

默认值为 2

详细解释请参考：https://pytorch.org/docs/stable/data.html