为什么在model_params中对Transformer的词汇量进行了硬编码？

问题描述

在tensorflow model_params.py file中，vocab_size被硬编码为33708。

我认为vocab_size中包含model_params是有一定原因的，但是我不明白为什么。

如果我想使用WMT2014英语译成法语，或者使用IWSLT数据集，则词汇量需要更改。但是，如果我使用相同的配置（微小，基本，大），其他超参数将不会更改。

此外，我尝试按照自述文件中的演练进行操作，但是我的vocab_size（vocab文件中的行数）为33945。我没有使用--search选项。因此，即使是用相同的命令创建的，vocab的大小也可能会有所不同？

如果有人可以解释，我将不胜感激。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）