使用/指定 attention_mask 使用 Trainer & TrainingArguments 训练 GPT2

问题描述

我正在使用 Trainer & TrainingArguments 来训练 GPT2 模型,但似乎效果不佳。

我的数据集有我的语料库标记的 id 和每个文本的掩码,以指示在哪里应用注意力:

Dataset({
features: ['attention_mask','input_ids','labels'],num_rows: 2012860
}))

我正在使用 Trainer & TrainingArguments 进行训练,按如下方式传递我的模型和我之前的数据集。但是我没有指定关于 attention_mask 的任何内容

training_args = TrainingArguments(
output_dir=path_save_checkpoints,overwrite_output_dir=True,num_train_epochs=1,per_device_train_batch_size = 4,gradient_accumulation_steps = 4,logging_steps = 5_000,save_steps=5_000,fp16=True,deepspeed="ds_config.json",remove_unused_columns = True,debug = True
)

trainer = Trainer(
model=model,args=training_args,data_collator=data_collator,train_dataset=dataset,tokenizer=tokenizer,)

trainer.train()

我应该如何告诉训练师使用这个功能(attention_mask)? 如果您查看文件 /transformers/trainer.py,则没有提及“注意”或“面具”。

提前致谢!

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)