问题描述
- 我将数据分散在多个文件中，例如
f1、f2、f3，其路径为p1、p2、p3。 - 每个文件都有 1000 个样本，可以使用
pandas加载to_pd(path)数据帧。 - 由于我已经拥有一个现有的文件获取系统，因此必须按顺序加载文件。
- 可以随机抽取每个文件中的数据。
我已经看到了 loading from within a single file
的解决方案
而对于 reading a list of files,
但不是为了两者兼而有之。
我想不出只定义自定义 pytorch 数据集的方法，因为我事先没有所有路径，但是它们在运行时出现，只有在我完成最后一个后才加载一个。
>我可以为每个文件创建一个数据集，但随后我必须创建一个知道如何处理这些多个数据集的数据加载器。
在 Pytorch 中执行此操作的正确方法是什么？
如果有帮助，我也在使用 Pytorch 闪电。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）