问题描述
我遵循本教程 How to train a new language model from scratch using Transformers and Tokenizers。
在第 2 节训练一个分词器，用我自己的越南语文本数据训练后，我看生成的 .vocab 文件，所有的词都变成这样：
"ĠÄij":268,"nh":269,"ủ":270,"Ãł":271,"Ġch":272,"iá»":273,"á":274,"Ġl":275,"Ġb":276,"Æ°":277,"Ġh":278,"ế":279,有什么办法解决这个问题吗？
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）