文本摘要任务，过去大家总担心大模型（LLM）做不好，但北京大学的一项最新研究表明：LLM 在摘要生成上已经全面超越人类和传统微调模型，甚至可以说“传统摘要研究几乎要退出历史舞台”了。本教程将带你深入了解这项研究的核心发现、实验方法以及背后隐藏的挑战，帮助你快速掌握 LLM 在文本摘要领域的真实水平。
一、研究背景：为什么我们需要重新审视文本摘要？
文本摘要是自然语言生成（NLG）中的一项基础任务，目标是将长文本压缩成简短、准确的摘要。过去，研究人员通常会在特定数据集上微调模型（如 BART、T5）来提升效果。然而，随着大模型（LLM）的兴起，这种传统方法是否仍然有效？LLM 到底能不能胜任摘要生成？
为了回答这个问题，来自北京大学的研究者在论文 《Summarization is (Almost) Dead》 中进行了系统性的实验。他们构建了包含 单条新闻、多条新闻、对话、源代码和跨语言摘要 五种任务的评估数据集，并让人类评估员对 LLM 生成的摘要、人工撰写的摘要以及微调模型生成的摘要进行打分。
核心结论：LLM 生成的摘要 在所有任务中均获得人类评估者的最高偏好，甚至超过了人工撰写的“完美”摘要。
小提示：这项研究还抽样检查了过去三年 ACL、EMNLP、NAACL 和 COLING 上 100 篇论文，发现约 70% 的论文主要贡献是提出新的摘要方法并在标准数据集上验证——这恰恰说明传统摘要研究范式正面临碘伏。
二、研究方法与数据集构建
研究者为每个任务分别构建了包含 50 个样本 的新数据集，确保数据来源最新、覆盖全面：
- 单条新闻、多条新闻、对话摘要：采用与 CNN/DailyMail、Multi-News 相同的数据构建方法。
- 跨语言摘要：遵循 Zhu 等人提出的策略。
- 代码摘要：采用 Bahrami 等人提出的方法。
对比的模型与方法
实验选用了当前主流的微调模型和 LLM 进行对比：
- 单条新闻：BART、T5
- 多条新闻：Pegasus、BART
- 对话：T5、BART
- 跨语言：MT5、MBART
- 源代码：Codet5
人类评估员对每种摘要的整体质量进行 盲评，结果如图 1 所示：
常见问题：为什么 LLM 能胜过人类撰写的摘要？
答案：研究者通过进一步分析发现，LLM 生成的摘要具有 极高的流畅性和连贯性，而人工撰写的摘要中常常出现信息不完整、语句别扭甚至事实错误（幻觉）的问题。例如，在图 2(a) 中，人工摘要存在信息缺失；图 2(b) 中甚至出现了与原文不符的幻觉内容。
三、关键发现：LLM 的优势与人类摘要的“错觉”
1. 幻觉对比：人类摘要并不比 LLM 更可靠
研究者招募注释者，专门统计了人类与 LLM 生成摘要中 含有幻觉（事实错误）的句子比例。结果如表 1 所示：
令人意外的是，人工书写的摘要表现出的幻觉比例 与 GPT-4 持平甚至更高。特别是在多条新闻和代码摘要这类任务中，人工摘要的事实一致性明显更差。
表 2 进一步展示了具体数值：
2. 长度与主题覆盖：LLM 更加灵活
微调模型生成的摘要往往有 固定的、严格的长度，而 LLM 能根据输入信息自动调整输出长度。此外，当输入包含多个主题时，微调模型对主题的覆盖率较低（如图 3 左），而 LLM 能够 完整捕获所有主题（图 3 右）：
3. 人类偏好：LLM 明显更受欢迎
图 4 总结了人类对各类摘要的偏好分数：LLM（如 GPT-4）的偏好分数超过 50%，而微调模型和人工摘要均低于 30%。这表明人们强烈偏爱 LLM 生成的摘要。
小提示：你可以在自己的项目中直接使用 GPT-4、Claude 等大模型来做文本摘要，效果通常优于传统微调模型。但需要注意，LLM 仍可能产生幻觉，建议对关键事实进行人工复核。
四、结论与未来挑战
尽管 LLM 在摘要任务上表现优异，研究者仍然指出该领域存在 需要解决的挑战：
- 更高质量的参考数据集：当前人工撰写的参考摘要本身存在大量缺陷，导致评估基准不可靠。
- 改进评估方法：传统 ROUGE 等自动指标与人类偏好差距较大，需要开发更贴近真实质量的新指标。
- 幻觉控制：虽然 LLM 在大部分任务中幻觉较少，但在高风险场景（如医疗、法律）中仍需严格检测。
总结来说，“摘要（几乎）已死” 并非危言耸听——大模型已经彻底改变了文本摘要的格局。未来研究重点将不再是设计新的微调架构，而是转向如何更好地利用 LLM、如何构建更高质量的评估数据集以及如何解决剩余的安全与可靠性问题。
常见问题：既然 LLM 这么好，我们还需要学习传统摘要方法吗？
答案：如果你只是日常使用，直接调用大模型 API 就足够了。但如果你想深入理解原理（比如如何微调一个小模型用于特定领域），传统方法仍有学习价值。此外，对于资源受限的场景（如边缘设备），轻量级微调模型依然有应用空间。