使用Pytorch运行Bert时,CUDA内存不足以前有效

问题描述

我正在使用Pytorch在SageMaker上构建BERT二进制分类

以前,当我运行模型时,我将批处理大小设置为16,并且模型能够成功运行。但是,昨天在我停止SageMaker并于今天早晨重新启动之后,我无法再将Batch size作为16运行该模型。我可以运行批处理大小为8的模型。
但是,该模型不会产生相同的结果(当然)。在这之间我什么都没改变。所有其他设置均相同。 (除了我将SageMaker的容量从30GB更改为200GB。)

有人知道什么可能导致此问题吗?我真的很想重现批次大小为16的结果。

任何答案都会帮助您,并提前谢谢您!

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)

相关问答

Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其...
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。...
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbc...