问题描述
我目前正在使用 Huggingface 包来训练我的 layoutlm 模型。但是，我遇到了令牌分类任务的过度拟合。我的数据集仅包含 400 个文档。我知道这是非常小的数据集，但我没有其他机会收集更多数据。
我的结果如下表所示。我已经尝试过 weight_decay=0.1，在我看来这是一个很高的数字，并且还尝试过根据 f1 分数和损失分别进行提前停止，但它们没有奏效。
我应该额外尝试哪些正则化技术？对于类似 bert 模型的小数据集，您有什么解决方案吗？
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）