引言：为什么我们需要关注大型语言模型的“突现能力”？
近年来，大型语言模型所展现出的强大能力（例如思维链、便签本）引发了广泛关注，相关研究也日益增多。我们将这类能力统称为大模型的突现能力——这些能力通常仅存在于大尺寸模型中，而在较小模型中难以体现，因此被命名为“突现”。
许多能力令人印象深刻，例如复杂推理、知识推理以及分布外鲁棒性，后续我们将深入探讨。值得注意的是，这些能力与NLP领域数十年来追求的目标高度契合，预示着一个潜在的研究范式转变：从微调小模型转向利用大模型进行上下文学习。
对于先行者而言，范式转变或许显而易见。然而，从科学严谨的角度出发， 我们有必要给出明确而充分的理由，说明为何应当转向大型语言模型——即便这些模型成本高昂、使用复杂且效果未必稳定 。本文将细致审视这些能力的本质，探讨大型语言模型的潜在优势，以及它们在更广泛的NLP/ML任务中的应用价值。
阅读前需知
前提：我们假设读者具备以下知识：
- 预训练、精调、提示（普通从业者应具备的自然语言处理/深度学习能力）
- 思维链提示、便签本（普通从业者可能不太了解，但不影响阅读）
一、什么是“突现能力”？
图片来自于 Wei. et. al. 2022. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models。X轴为模型尺寸。GSM8K是是一个小学水平的数学问题集。
在上述效果图中，我们可以观察模型的表现：
- 当模型尺寸相对较小时，性能提升并不显著
- 当模型规模显著增大时，性能出现明显跃升
这从根本上说明，某些能力可能并不存在于小模型中，而是随着模型规模的扩大而涌现。
我们关注哪些突现能力？
突现能力种类繁多，例如 Wei 等人在 2022年[5] 所梳理的清单。部分能力虽有趣但不在本文讨论范围内，比如last latter concatenation（我们认为这更适合由Python而非语言模型处理），或三位数加法（更适合由计算器完成）。
在本文中，我们主要聚焦于以下几类能力：
- NLP 社区多年来持续关注但尚未充分实现的能力
- 传统 NLP 模型难以企及的能力
- 源自人类语言深层本质的能力
- 可能达到人类智力最高水平的能力
二、突现能力的三个典型例子
许多有趣的能力都可归入上述类别，其中我们重点讨论以下三种典型能力：
- 复杂推理
- 知识推理
- 分布外鲁棒性
接下来逐一详细探讨。
2.1 复杂推理
下面是一个GSM8K数据集中的示例，展示提示词效果显著超过精调：
问题：克莱儿每天早饭都用 3 颗蛋做蛋卷，她 4 周会吃掉多少打鸡蛋？克莱儿每天早饭都用3颗蛋做蛋卷。一周有 7 天。所以她一周会吃 3 * 7 = 21 颗蛋。她4周会吃掉 4 * 21 = 84 颗蛋。一打里面是 12 颗蛋。所以 84 / 12 = 7。答案是7。虽然这道题对于10岁儿童来说轻而易举，但对语言模型却颇具挑战，主要源于数学与语言的混合交织。
GSM8K 最初由 OpenAI 于 2021 年 10 月[6] 提出。当时他们使用第一版GPT3在完整训练集上进行精调，准确率约为 35% 。该结果令作者相当悲观，因为他们观察到了语言模型的缩放规律：模型大小呈指数增长时，性能仅呈线性提升。因此，他们在第 4.1 节中推测：
“175B 模型似乎需要至少额外两个数量级的训练数据才能达到 80% 的求解率。 ”
三个月后，即 2022 年 1 月，Wei 等人[7] 基于 540B PaLM 模型，仅使用8个思维链提示示例便将准确率提升至56.6% （无需将训练集扩大两个数量级）。随后在 2022 年 3 月 ，Wang 等人[8] 基于相同的 540B PaLM 模型，通过多数投票方法将准确率提高到 74.4% 。当前最优结果来自我在 AI2 的工作（Fu et. al. Nov 2022[9]），我们通过使用复杂的思维链在 175B Codex 上实现了 82.9% 的准确率。从上述进展可见，技术进步确实呈现指数级增长。
思维链提示是展示模型能力随规模突现的典型范例：
- 从突现能力来看：尽管无需达到 17500B，但模型规模确实需要大于 100B 才能使思维链的效果优于仅回答提示。因此，这种能力仅存在于大型模型中。
- 从效果来看：思维链提示的性能显著优于之前的精调方法（目前尚无公平对比提示词与微调的工作，但思维链提出时，尽管比较可能存在不公，其效果确实优于精调）。
- 从标注效率来看：思维链提示仅需 8 个示例的注释，而微调需要完整的训练集。
有些读者可能认为模型能做小学数学并不代表什么（从某种意义上说，确实不够酷）。但 GSM8K 仅仅是一个起点，最近的工作已将前沿问题推进到高中[10]、大学[11]，甚至国际数学奥林匹克问题[12]。现在是否更酷了呢？