如何使字节级令牌生成器不拆分<adjective>令牌？

问题描述

我有带有自定义标记的文本，例如：<adjective>，我正在尝试准备一个不会拆分它们的字节级标记生成器：

tokenizer.pre_tokenizer = ByteLevel()
tokenizer.pre_tokenizer.pre_tokenize("<adjective>")

[('Ġ<',(0,2)),('adjective',(2,11)),('>',(11,12)]

如何添加<adjective>作为特殊令牌，而不是令牌生成器不应拆分的令牌？

解决方法

可以通过以下方式添加拥抱面转换器API中的分词器新令牌：

tokenizer.add_tokens('<adjective>')

这会将”添加为单个令牌。

这还需要将模型更新为：

model.resize_token_embeddings(len(tokenizer))