为什么运行PyTorch模型[具有足够的GPU内存]时，内存不足？

问题描述

我之所以问这个问题，是因为我成功地在配备8GB VRAM的笔记本电脑上的GTX 2070上训练了分段网络，并且在台式机上使用了与完全相同的代码和完全相同的软件库使用GTX 1080TI时，它仍然会耗尽内存。

为什么会这样，考虑到：

1. 笔记本电脑和PC上都使用相同的Windows 10 + CUDA 10.1 + CUDNN 7.6.5.32 + Nvidia驱动程序418.96（与CUDA 10.1一起提供）。

2. 使用TensorFlow 2.3进行训练的事实在PC上的GPU上运行顺利，但是仅使用PyTorch进行训练却无法分配内存。

3. PyTorch通过以下命令识别GPU（打印GTX 1080 TI）：print(torch.cuda.get_device_name(0))

4. PyTorch在运行以下命令时分配内存：torch.rand(20000,20000).cuda() #allocated 1.5GB of VRAM.

对此有什么解决方案？

解决方法

大多数人（即使在下面的线程中）也跳起来，建议减小batch_size将解决此问题。实际上，在这种情况下并非如此。例如，考虑到在使用11GB VRAM的系统上没有其他应用程序在消耗视频内存，并且安装了完全相同的配置，网络在8GB VRAM上进行训练而在11GB VRAM上进行训练却不可行。使用。

在我的情况下发生这种情况的原因是，当使用DataLoader对象时，我为workers参数设置了很高的（12）值。在我的情况下，将此值减小为4即可解决问题。

实际上，尽管在线程的底部，但尤拉西克在https://github.com/pytorch/pytorch/issues/16417#issuecomment-599137646处提供的答案将我引向了正确的方向。

解决方案：减少PyTorch workers中DataLoader的数量。尽管我不完全了解为什么该解决方案有效，但我认为它与在后台获取数据以获取数据的线程有关。在某些处理器上可能会出现这种错误。