问题描述
我正在使用提炼的bert模型进行问题解答
https://huggingface.co/distilbert-base-cased-distilled-squad
在本地一切正常，但是当尝试在我的celery任务中使用该模型时，辅助线程日志显示
2020-09-24T03：50：05.794556 + 00：00 app [worker.1]：72％|███████▏| 187M / 261M [00:14
下面的代码是我进行导入，模型加载和任务的地方。删除导入和加载可解决内存问题。
from transformers import AutoTokenizer,AutoModelForQuestionAnswering
import torch
tokenizer = AutoTokenizer.from_pretrained("distilbert-base-cased-distilled-squad")
model = AutoModelForQuestionAnswering.from_pretrained("distilbert-base-cased-distilled-squad")
@app.task
def evaluateQuestionAnswer():
我想知道是否需要使用诸如tensorflow服务之类的东西
https://www.tensorflow.org/tfx/guide/serving
还是我缺少有关准备模型生产的东西？
使用docker可以缓解此加载问题吗？
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）