如何在 PyTorch 中与另一个数据加载器一起采样

问题描述

假设我的训练/有效/测试数据集 batch_sizeshuffle 正常。

当我进行训练/验证/测试时,我想从每个样本的整个数据集中抽取一定数量(称为 memory_size)的新样本。

例如,我将batch_size设置为256,让数据集打乱,将memory_size设置为80。 在每个 forward 步骤中,不仅使用数据集中的每个样本,还使用整个原始数据集的样本数据,其大小为 memory_size,我想在 {{1} 中使用它}.让新样本作为内存(是的,我想采用 Memory Networks 的想法)。训练集中每个样本之间的记忆可以重叠

我正在使用 PyTorch 和 PyTorch-Lightning。我可以为每个 forwardDataLoadertrain_DataLoader 创建新内存 val_DataLoader 然后使用原始数据加载器加载它吗?或者有没有更好的方法来实现我想要的?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)

相关问答

Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其...
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。...
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbc...