使用Transformer进行文本汇总

问题描述

我正在使用faceface变压器模型进行文本摘要。 目前，我正在测试不同的模型，例如 T5 和飞马座。 现在，这些模型已经过训练，可以将大文本总结成非常短的内容，最多只能包含两个句子。现在我有了任务，我想要摘要，大约是文本大小的一半，因此，生成的摘要对于我的目的来说太小了。

我现在的问题是，是否有办法告诉模型另一个句子出现在前面？ 有点类似于有状态RNN中的逻辑（尽管我知道它们的工作原理完全不同）。 如果可以，我可以在句子上方的小窗口中总显示以前的内容。

这只是我的想法吗？我不能相信我是唯一一个想要创建较短的摘要的人，但不仅要创建一两个句子的摘要。

谢谢

解决方法

为什么不转移学习？在您的特定文字和摘要上对其进行培训。

我在5个时期内以特定的受限文本训练了T5，并取得了很好的效果。我从这里开始按照我的需要使用代码https://github.com/patil-suraj/exploring-T5/blob/master/t5_fine_tuning.ipynb

如果您有特定的培训问题，请告诉我。