问题描述
我有ImageNet的大图像（256,256个），我想训练语义分割任务。因此，输出将为(B,Classes,C,H,W)。我有256节课。对于pytorch定义的CrossEntropyLoss或NLL，我需要使用dtype long Docs。
但是，类型为long的（256,3,256,256）张量仅超过0.4GB的内存，因此无法在GPU中针对超过4的批处理大小进行训练（考虑到该模型需要大量内存以及反向传播算法）。 / p>
我正在使用具有16GB内存的Google Cloud T4。 我可以针对这个问题采取任何技巧来训练更大的批量吗？对于我可以训练的批量大小，需要几个月的时间才能完成训练。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）