约束语言规划教程：从大模型中蒸馏脚本知识
本教程将带你深入了解复旦大学知识工场实验室的最新研究成果——《Distilling Script Knowledge from Large Language Models for Constrained Language Planning》（已被ACL 2023主会录用）。我们将用通俗易懂的方式，讲解什么是约束语言规划、大型语言模型（LLMs）在此任务上的表现、以及如何通过“超生成然后过滤”的方法构建高质量数据集，最终让小模型也能拥有媲美大模型的规划能力。
一、什么是约束语言规划？
在日常生活中，我们常常按照“逐步指令”来达成目标。比如，做蛋糕需要先收集材料、预热烤箱……这种逐步指令被称为“目标导向的脚本”。传统的脚本规划针对的是抽象目标（如“制作蛋糕”），但现实中的目标往往带有特定约束，比如“为糖尿病患者做蛋糕”、“用微波炉做蛋糕”、“为生日派对做蛋糕”。
约束语言规划的核心就是：让系统在给定约束条件下，生成合理且忠于约束的步骤脚本。下图展示了InstructGPT为“为糖尿病患者做蛋糕”生成的目标规划步骤。
研究人员将约束分为三类，如下表所示：
二、研究背景与挑战：为什么现有LLM做不好？
已有研究表明，大型语言模型（如GPT-3、InstructGPT、PaLM）可以零样本或少量样本地将抽象目标分解为步骤。但它们对带约束的特定目标规划效果很差。原因是：
- 之前的数据集（如proScript）只关注典型活动的抽象目标，不包含“糖尿病患者”这类约束。
- LLMs生成的脚本语义上完整，但常常忽略约束，比如在做“巧克力蛋糕”的步骤中却出现“加香草精”。
为了测试LLMs的能力，研究人员先用InstructGPT从wikiHow的抽象目标中生成带约束的具体目标（见表2），然后让LLMs为这些具体目标生成脚本。结果（表3）显示，准确率普遍较低，即使是表现最好的InstructGPT也远未达到实用要求。
通过错误分析（图2），研究人员发现主要问题出在约束忠实度不足，而非脚本的语义完整性。
三、我们的方法：超生成然后过滤
针对LLMs忽略约束的问题，作者提出了一个简单而有效的框架：过度生成然后过滤。具体流程如下：
- 超生成：对同一个带约束的目标，让InstructGPT生成K个不同的脚本样本（K较大）。
- 过滤：开发一个过滤模型，从K个样本中挑选出忠于约束的脚本。
过滤的核心是利用语义相似度：将目标文本和脚本文本分别通过InstructGPT的嵌入层，计算余弦相似度。同时，额外奖励那些在脚本中明确出现了约束关键词的样本。只有目标得分最高的脚本才被保留。
实验结果（表3中“本文方法”一行）显示，这种方法使InstructGPT的脚本准确率平均提升26%。如果替换嵌入模型（如用其他预训练模型），性能会下降，说明InstructGPT自身的嵌入最有效。
四、CoScript数据集：从大模型中蒸馏知识
为了降低对LLMs的依赖（大模型成本高、速度慢），需要为小模型提供训练数据。但手动标注带约束的脚本成本极高。因此，作者使用符号知识蒸馏技术，从InstructGPT中自动提取高质量数据，构建了CoScript数据集。
CoScript包含55,000个具体目标及其对应的脚本，其中2,000个作为验证集，3,000个作为测试集（经过人工校对，准确率达97.8%和94.98%）。与其他数据集对比（表4）：
- 比proScript规模更大
- 每个脚本的步骤数更多
- 词汇多样性更高
约束分布（图4）显示，CoScript覆盖了多种约束类型，甚至出现了“如果有人对乳糖不耐受，则……”这样的假设性约束，这为未来反事实推理研究提供了方向。
五、小模型的约束规划能力
有了CoScript，就可以训练更小的模型（如T5、GPT-2）来完成约束语言规划任务。实验（表5）显示：
- 在CoScript上训练的模型，性能明显优于在wikiHow上训练的模型。
- T5（编码器-解码器）在约束忠实度上优于GPT-2（仅解码器），但GPT-2在其他文本生成指标上更好。
- 使用检索示例增强模型，可以提升语义完整性。
最有价值的发现是：在CoScript上微调T5（3B），其脚本生成准确率超过了表3中大多数LLMs（见表6）。这证明，只要数据质量足够高，小模型完全可以在特定任务上超越大模型。
常见问题（FAQ）
Q1: 为什么不用更先进的大模型（如GPT-4）来做超生成？
A: 本文研究时间点在GPT-4发布之前，主要基于InstructGPT。但方法通用，理论上升级到GPT-4会得到更好的基线结果。另外，作者的目标是证明“蒸馏+小模型”的可行性，即使大模型本身较弱，通过过滤也能提升。
Q2: 过滤模型中的相似度阈值如何设定？
A: 实践中，作者没有设定固定阈值，而是采用“竞争选择”：对于每个具体目标，从K个候选脚本中选一个得分最高的（即与目标最相似的）。如果最高分仍然很低，则丢弃该目标。相对排名比绝对阈值更鲁棒。
Q3: CoScript数据集可以用于其他任务吗？
A: 可以。除了约束语言规划，还可以用于数据增强、多步推理评估、反事实脚本生成等。作者在论文中开放了数据集下载链接（具体可查阅原文）。
Q4: 小模型如何部署在实际机器人系统中？
A: 将训练好的T5（3B）模型部署到边缘设备可能仍需优化（如量化、剪枝）。但相比于调用GPT-3接口，本地模型延迟更低、无隐私风险。实际应用时，还需要结合机器人动作空间进行适配。
总结
本教程介绍了约束语言规划的定义、挑战及解决方案。核心贡献包括：
- 定义了约束语言规划问题，并提出了三类约束。
- 验证了LLMs在约束规划上的不足，并设计“超生成+过滤”框架将准确率提升26%。
- 构建了高质量数据集CoScript（55,000个具体目标脚本），并开源。
- 证明小模型在CoScript上微调后，性能可以超越大模型。
希望这份教程能帮助你理解自然语言规划的最新进展，并启发你在实际场景中应用类似方法。