想要为大语言模型注入特定领域的专业知识，或者让它在有限资源下高效适配新任务？监督式微调（SFT）和低秩自适应（LoRA）是两种最核心的技术。下面，我们将用生动的比喻和清晰的对比，带你一次性掌握它们的原理、操作方法和适用场景。

一、什么是 SFT？—— 定制你的专属 AI 助手

SFT（Supervised Fine-Tuning），即监督式微调。要理解它，先听个故事：

• 假设你有一个上知天文、下知地理的朋友（就像预训练大模型），但当你问他“如何制造高精度芯片”时，他却答不上来。
• 这时你需要给他“培训”——收集大量芯片制造的专业问答数据，让他反复学习。经过训练，他就能在芯片领域成为专家了。

大语言模型的 SFT 同理：预训练模型虽然强大，但在医疗、法律、金融等特定领域不够精准。我们需要准备大量标注好的领域数据，这些数据包含明确的输入和期望输出。模型像学生做练习题一样，通过不断调整自身参数（内部权重），逐渐掌握领域知识。

小提示： SFT 的效果高度依赖数据质量。如果标注数据错误或数量不足，模型可能会“学歪”。建议先清洗数据，并确保每个领域问题至少有几百个样本。

常见问题： SFT 需要多少数据才有效？

答： 没有固定标准。通常对于简单分类任务，几百条数据即可；对于复杂对话或生成任务，可能需要数千条甚至更多。关键是要覆盖领域内的典型场景和边缘案例。如果数据太少，可以考虑结合数据增强或半监督方法。

二、什么是 LoRA？—— 精打细算的模型优化师

LoRA（Low-Rank Adaptation），低秩自适应。名字虽抽象，但例子一讲就懂：

• 想象你要搭建一个巨大的积木城堡（好比大模型），每一块积木就是一个参数。
• 传统微调就像把城堡推倒重搭，费时费力。
• 而 LoRA 发现：城堡的某些部分只需在旁边增加一些小积木块（新增的低秩矩阵），只调整这些小积木，就能让城堡变出新的功能。

技术细节：LoRA 保持原始大模型参数完全冻结，只在模型的部分层（如注意力层）旁边注入两个小型低秩矩阵。这两个矩阵的参数很少，训练时只优化它们。计算时，它们与原参数矩阵共同完成运算，从而适配新任务。

小提示： LoRA 通常只需训练原模型参数量的 0.1%~1%，显存消耗大幅降低。例如，7B 模型的 LoRA 微调可以在单张 24GB 显存的 GPU 上完成，而全量 SFT 至少需要 80GB 显存。

常见问题： 为什么叫“低秩”？

答： “秩”是数学中矩阵的独立维度数。LoRA 假设模型参数更新量（ΔW）是低秩的，即可以用两个更小的矩阵相乘来近似。这种方法既能捕捉关键调整方向，又大幅减少参数量。

三、LoRA 和 SFT 的核心区别

1. 数据依赖程度

• SFT 非常依赖大量标注数据：就像学生需要大量练习题才能提高成绩。数据越多、质量越高，效果越好。
• LoRA 对数据依赖相对较小：它通过巧妙的参数冻结和低秩适配，即使数据量不大（如几百条），也能在一定程度上提升性能。但数据太少时仍会过拟合。

2. 参数调整方式

• SFT 调整部分或全部原模型参数：通过在特定任务数据上训练，直接更新模型权重，让模型“记住”新知识。
• LoRA 冻结原模型，只训练新增的低秩矩阵：原参数不动，只是额外添加两个小型矩阵来适配任务。这就像给模型配了“可拆卸的插件”，随时能换。

3. 资源需求

• SFT 计算资源需求高：需要处理大量数据，更新大量参数，对 GPU 显存和训练时间要求较高。比如全量微调一个 70B 模型可能需要多台 H100 集群。
• LoRA 计算资源需求低：仅训练少量参数，显存和计算量可降低 90% 以上。个人开发者用单卡就能微调大模型。

总结一下：SFT 追求极致的领域能力，适合预算充足、数据丰富的团队；LoRA 追求高效灵活，适合资源有限或需要快速迭代的场景。两者并非对立，很多实际项目会先用 LoRA 验证效果，再用 SFT 进行最终精调。随着 AI 后训练技术的演进，它们将继续扮演至关重要的角色，帮助我们把大模型打磨成真正好用的“行业专家”。