如何从transformer减少Helsinki-NLP/opus-mt-es-en翻译模型的推理时间

问题描述

目前 Helsinki-NLP/opus-mt-es-en 模型需要大约 1.5 秒才能从 Transformer 进行推断。怎么能减少呢？ 同样在尝试将其转换为 onxx 运行时时出现此错误：

ValueError: Unrecognized configuration class 对于这种 AutoModel：AutoModel。 模型类型应该是以下之一ElectraConfig、ReformerConfig、FunnelConfig、LxmertConfig、BertGenerationConfig、DebertaConfig、DPRConfig、XLMProphetNetConfig、ProphetNetConfig、MPNetConfig、TapasConfig。

是否可以将其转换为 onxx 运行时？

解决方法

OPUS 模型最初是用 Marian 训练的，https://github.com/Helsinki-NLP/OPUS-MT 是一个高度优化的机器翻译工具包，完全用 C++ 编写。与 PyTorch 不同，它确实有成为通用深度学习工具包的雄心，因此它可以专注于 MT 效率。有关如何下载模型的 Marian 配置和说明位于 django-auditlog。

Huggingface 的 Transformers 的 OPUS-MT 模型是从原始的 Marian 模型转换而来的，更多的是用于模型的原型设计和分析，而不是用于在类似生产的设置中进行翻译。

在 Marian 中运行模型肯定会比在 Python 中快得多，并且肯定比使用 onxx 运行时运行 Transformers 容易得多。 Marian 还提供了进一步的技巧来加速翻译，例如，通过模型量化，但这是以牺牲翻译质量为代价的。

使用 Marian 和 Transformers，如果使用 GPU 或在解码期间缩小波束宽度（Transformers 中 num_beams 方法中的属性 generate），您可以加快速度。