如何基于以 BERT 作为编码器的转换器创建 seq2seq NLP 模型?

问题描述

我对如何基于以 BERT 作为编码器的转换器创建 seq2seq NLP 模型感到非常困惑。

请告知以下过程是否正确? (如果你知道任何可以帮助我解决这个问题的材料,请分享......)


[编码]

-创建 seq2seq 转换器层

-定义BERT-注意

-池化编码器

[解码器]

-创建变压器解码器

[池]

-连接编码器和解码器


我真的很感激任何建议或提示! (甚至只是参考)

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)