在 BertTokenizerFast 中加载自训练的 tokenzier 失败

问题描述

我训练了一个分词器，

tokenizer = ByteLevelBPetokenizer()
tokenizer.train(files=paths,vocab_size=20_000,min_frequency=2,special_tokens=["<s>","<pad>","</s>","<unk>","<mask>"])
tokenizer.save_model('bert_a_tokenizer')

然后我尝试加载它：

tokenizer = BertTokenizerFast.from_pretrained("./bert_a_tokenizer",max_len=512)

它失败了，但如果我使用它可以工作：

tokenizer = RobertaTokenizerFast.from_preenter code heretrained("./bert_a_tokenizer",max_len=512)

我还没有完全理解这里发生了什么。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）