AllenNLP问题解答的通过长度限制

问题描述

我对AllenNLP还是陌生的，我目前正在使用其预先训练的问题回答模型。我想知道它是否具有通过长度限制来确保其性能？我知道BERT的最大长度为512，并将截断更长的段落。

我在AllenNLP上尝试了更长的文章，它似乎有效，但我只想确认一下。谢谢。

解决方法

是的，此模型确实限制了段落的长度（上下文）以及潜在的问题。您可以在API文档https://docs.allennlp.org/models/master/models/rc/dataset_readers/transformer_squad/中进一步了解其操作方式。

但是总而言之，当段落+问题包含超过stride个标记时，通过在length_limit个标记的窗口上滑动，可以将该段落解析为多个输入实例。