问题描述
我想知道最好的方法是什么 a）读取数据 b）在训练模型时写入数据？
我的数据位于数据流作业中的GCS存储桶中，大约1TB。
对于写入数据（我只需要模型检查点和日志），人们是否只是写入分区永久磁盘？不要写到谷歌云存储。这是一个大型模型，因此检查点占用了相当大的空间。
我似乎无法将数据写入云存储，而不必在所有要写入的地方写上下文管理器和字节字符串代码。
现在可以读取数据： pytorch没有像tensorflow那样从GCS存储桶中读取数据的好方法吗？ 所以我该怎么办，我将gcsfuse整理了一下，我认为它可以工作，当我“装载”存储桶时，我只能看到我选择的存储库中的内容，而不是子目录。这正常吗？
gcsfuse是从GCS加载数据的正确方法吗？
谢谢。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）