5分钟NLP：Text-To-Text Transfer Transformer (T5)统一的文本到文本任务模型

本文将解释如下术语：T5，C4，Unified Text-to-Text Tasks

迁移学习在NLP中的有效性来自对具有自监督任务的丰富无标记的文本数据进行预训练的模型，例如语言建模或填写缺失的单词。通过预先训练后，可以在较小的标记数据集上微调模型，通常比单独使用标记的数据训练更好的性能。迁移学习被诸如GPT，Bert，XLNet，Roberta，Albert和Reformer等模型所证明。

Text-To-Text Transfer Transformer (T5)

该论文“Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer”（2019年出版）提出了一项大规模的经验调查，展示了哪种迁移学习技术最有效，并应用这些见解创建新的被称为Text-To-Text Transfer Transformer (T5)模型。

迁移学习的重要部分是用于预训练的未标记数据集，这不仅应该是高质量和多样化的，而且还应该是大量。以前的预训练数据集并不符合所有这三个标准，因为：

• Wikipedia的文字高质量，但风格均匀，适合我们的目的相对较小
• 来自Common Crawl Web抓取的文字是巨大的，高度多样，但质量相对较低。

所以论文中开发了一个新的数据集：Colossal Clean Crawled Corpus (C4)，这是一个Common Crawl 的“清洁”版本，比维基百科大两个数量级。

在C4上预先训练的T5模型可在许多NLP基准上获得最先进的结果，同时足够灵活，可以对几个下游任务进行微调。

对文本到文本格式进行统一

使用T5，所有NLP任务都可以被转换为统一的文本到文本格式，任务的输入和输出始终是文本字符串。

该框架提供了一致的训练目标，用于预训练和微调。无论任务如何，该模型都具有最大似然目标。如果要指定模型应该哪一类的任务，需要在将其送到模型之前将任务的目标标识.作为特定的文本前缀添加到原始输入序列中。

这个框架允许在任何NLP任务上使用相同的模型、损失函数和超参数，例如机器翻译、文档摘要、问答和分类任务。

完整文章：

https://www.overfit.cn/post/a0e9aaeaabf04087a278aea6f06d14d6