蜗牛派谷歌于去年年底发布了一个精简型的机器语义分析项目：飞马（PEGASUS）：预先机器学习及训练后的自动文章摘要项目。近期这个项目迎来的新的版本，这个小型项目可以非常精准的自动提取出文章中的摘要，并且只用一千个训练模型就可以生成媲美人类的摘要内容。
当对包括文本摘要在内的下游NLP任务进行微调时，最近针对大型文本语料库进行自我学习的目标的预训练工作已显示出巨大的成功。
但是，尚未探讨为抽象文本摘要量身定制的预训练目标。此外，缺乏跨不同领域的系统评估。在这项工作中，我们提出了在大规模文本语料库上使用新的自我训练目标对基于大型编解码器模型进行预训练的方法。在PEGASUS中，重要句子从输入文档中删除/掩盖，并作为其余句子的一个输出序列一起生成，类似于摘录摘要。
我们在涉及新闻，科学，故事，说明，电子邮件，专利和立法法案的12个下游汇总任务中评估了最佳PEGASUS模型。
实验表明，在通过ROUGE分数衡量的所有12个下游数据集上，它均达到了最先进的性能。我们的模型还显示了在低资源汇总方面的令人惊讶的性能，超过了仅使用1000个学习后的6个数据集上的最新结果。
最后，我们使用人工评估验证了我们的结果，并表明我们的模型摘要可在多个数据集上实现人工表现。
