在使用烧瓶时，mxnet通过动态形状输入导致gpu内存泄漏推断

问题描述

对不起，我没有输入任何代码来证明

问题是：

当我使用一个简单的for循环时：

for _ in range(2000):
    rnum = random.randint(1,5)
    img = np.random.rand(rnum,3,112,112)
    mxnet_model.inference(img)

它将正常工作

但是，如果我用烧瓶API覆盖了上面的代码

这将导致GPU内存泄漏... 太可怕了

解决方法

您发现的“泄漏”是由于此用例的内存池策略不合适。每次释放新空间时，为了避免频繁调用内存分配，MXNet会尝试将该空间缓存在内存池中，以备下次使用。 MXNet中的默认内存池策略是使用精确的大小匹配，这不适合由于高速缓存未命中而更改形状的情况。您可以通过设置环境变量MXNET_GPU_MEM_POOL_TYPE = Round来切换到舍入策略。

请参阅参考资料：https://mxnet.apache.org/versions/1.6/api/faq/env_var#memory-options

,

感谢Szha的回答。

但是设置环境变量MXNET_GPU_MEM_POOL_TYPE实际上对我不起作用。

我最终将输入填充为固定大小，并剥离随机的额外输出。