微调休闲语言模型

问题描述

我想通过特定对话交流中的拥抱脸微调变压器模型,以便教它像特定的说话者一样聊天。例如,训练模型像哈利波特一样说话,考虑到他在电影中的所有对话交流,或者像任何角色/个人一样说话,考虑到他们与另一个人之间的对话交流。

我见过 Huggingface 的 conversational ai article,但它似乎比必要的复杂,包括“个性”,并且不使用 Huggingface 库。

我研究了 Huggingface 的 DialoGPT,它说要对其进行微调,我们应该使用“因果语言建模训练”,并且应该以与 GPT-2 相同的方式对其进行微调。我找不到任何使用拥抱脸变压器完成的例子。它指的是论文,这对我也没有多大帮助。

我之前使用 Huggingface 对 BART 进行了条件生成微调,这非常简单直观。我想知道是否存在一些类似的方法来微调给定示例对话的 GPT/GPT-2/DialoGPT。

提前致谢

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)