从TPU保存的pytorch模型在CPU上运行

问题描述

我发现了一个有趣的模型-问题生成器，但无法运行它。我遇到错误：

Traceback (most recent call last):
  File "qg.py",line 5,in <module>
    model = AutoModelWithLMHead.from_pretrained("/home/user/ml-experiments/gamesgen/t5-base-finetuned-question-generation-ap/")
  File "/home/user/.virtualenvs/hugging/lib/python3.7/site-packages/transformers/modeling_auto.py",line 806,in from_pretrained
    return model_class.from_pretrained(pretrained_model_name_or_path,*model_args,config=config,**kwargs)
  File "/home/user/.virtualenvs/hugging/lib/python3.7/site-packages/transformers/modeling_utils.py",line 798,in from_pretrained
    import torch_xla.core.xla_model as xm
ModuleNotFoundError: No module named 'torch_xla'

我简短地搜索了一下，发现“ torch_xla”是用于在TPU上训练pytorch模型的东西。但是我想在cpu上本地运行它（当然是为了进行推断），并且在pytorch尝试加载受tpu约束的张量时出现此错误。我该如何解决？

这是模型，我尝试过：https://huggingface.co/mrm8488/t5-base-finetuned-question-generation-ap

解决方法

按照@cronoik的建议，我已经安装了transformers库格式的github。我克隆了最新版本，并在其目录中执行了python3 setup.py install。该错误已修复，但仍未在python的数据包存储库中发布此修复程序。

huggingface-transformers pytorch