当对包括文本摘要在内的下游NLP任务进行微调时，最近针对大型文本语料库进行自我学习的目标的预训练工作已显示出巨大的成功。

但是，尚未探讨为抽象文本摘要量身定制的预训练目标。此外，缺乏跨不同领域的系统评估。在这项工作中，我们提出了在大规模文本语料库上使用新的自我训练目标对基于大型编解码器模型进行预训练的方法。在PEGASUS中，重要句子从输入文档中删除/掩盖，并作为其余句子的一个输出序列一起生成，类似于摘录摘要。

我们在涉及新闻，科学，故事，说明，电子邮件，专利和立法法案的12个下游汇总任务中评估了最佳PEGASUS模型。

实验表明，在通过ROUGE分数衡量的所有12个下游数据集上，它均达到了最先进的性能。我们的模型还显示了在低资源汇总方面的令人惊讶的性能，超过了仅使用1000个学习后的6个数据集上的最新结果。

最后，我们使用人工评估验证了我们的结果，并表明我们的模型摘要可在多个数据集上实现人工表现。

免责声明：本文版权归原作者所有，文章系作者个人观点不代表蜗牛派立场，如若转载请联系原作者；本站仅提供信息存储空间服务，内容仅为传递更多信息之目的，如涉及作品内容、版权等其它问题都请联系kefu@woniupai.net反馈！