问题描述
我在一个目录中有一个包含 100 个 Parquet 文件(每个大小约 10 GB)的数据集,我想在该目录上训练基于 DSSM 的模型
现在,鉴于数据量巨大,我对如何从镶木地板零件文件生成批量数据感到困惑。
我正在尝试使用 Keras Sequence API。但是我无法理解 '__ getitem__()' 应该为我们的用例返回什么。一批数据是的,但如何确保该批在 100 个文件以及每个文件内不断循环。
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)