'output_dir' 在transformers.TrainingArguments 中是什么意思？

问题描述

在 Huggingface 站点文档上，它说“将写入模型预测和检查点的输出目录”。我不太明白这是什么意思。我必须为此创建任何文件吗？

解决方法

Huggingface 模型的训练器可以节省很多东西。最重要的是：

• 所使用的标记器的词汇（作为 JSON 文件）

• 模型配置：一个 JSON 文件，说明如何实例化模型对象，即架构和超参数

• 模型检查点：训练期间保存的模型的可训练参数

• 此外，它还可以保存训练期间使用的指标值和训练状态（因此可以从同一位置恢复训练）

所有这些都存储在 output_dir 目录中的文件中。目录不必事先创建，但目录的路径至少要存在。