LIMA：仅用1000条数据微调，性能媲美GPT-4——对齐方法的新突破

昨天，Meta AI与CMU联合发表的一篇论文在Twitter上引发了轰动。该文提出的LIMA模型，仅使用1000个精心挑选的样本对65B参数的LLaMA模型进行微调，无需RLHF（基于人类反馈的强化学习），即可在多项任务上达到甚至超越GPT-4的水平！这彻底碘伏了“对齐必须依赖海量数据”的传统认知。

论文标题：LIMA: Less Is More for Alignment
论文地址：https://arxiv.org/pdf/2305.11206.pdf

一、核心理论：表面对齐假说

长期以来，为了让预训练语言模型（如LLaMA）与用户偏好“对齐”，研究人员不得不使用百万级别的示例数据集进行指令微调（Instruction Tuning），再配合RLHF才能达到ChatGPT级别的效果。而这篇论文提出了一个碘伏性的观点——表面对齐假说：

对齐本质上是一个“格式化”过程：模型在预训练阶段已经学会了海量的知识和能力，而对齐只需要教会模型以何种风格或格式与用户交互即可。因此，少量高质量的微调样本就能激活预训练中早已存在的潜力。