抱紧脸，阿尔伯特同时在CPU和GPU上加载模型

问题描述

尝试在GPU上加载模型时，模型也会加载到cpu中下面的代码在两个模型中都加载了模型。

MODEL_DEVICE = torch.device('cuda')
MODEL_PATH='./models'
tokenizer = AlbertTokenizer.from_pretrained(MODEL_PATH)
qa_model = AlbertForQuestionAnswering.from_pretrained(MODEL_PATH).to(MODEL_DEVICE)

我已参考以下链接以供参考。 https://huggingface.co/transformers/quickstart.html

该型号同时占用RAM内存（1.5 GB）和GPU内存（650 MB）。我已将割炬设备指定为Cuda，但仍然无法达到预期的效果。指定“ cpu”后，它将运行良好，并且不会加载到GPU中。但是，当指定cuda时，它也会同时加载到cpu和GPU中。我尝试了“ cuda”，“ cuda：0”

我还尝试过更改拥抱面库代码，

state_dict = torch.load(resolved_archive_file,map_location="cpu")

到

state_dict = torch.load(resolved_archive_file,map_location="cuda")

对此有什么解决办法？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

huggingface-transformers pytorch