大语言模型（LLM）的发展，正以肉眼可见的速度推动生成式AI走向新高度。以ChatGPT为代表的现象级产品，不仅刷新了人们对AI的认知，也把这波浪潮推向了顶峰。通用大模型固然强大，但在面对具体业务场景时，往往显得有些“水土不服”。从零开始训练一个模型，成本高得离谱——据估算，GPT-3单次训练成本就高达140万美元，更别提后期的硬件和电力消耗了。对大多数团队来说，既没必要，也烧不起。因此，基于预训练模型进行微调（Fine-tuning），成为一个既务实又高效的研究方向。这不光能省下大笔开销，还能让模型变得更“懂行”、更专业。下图直观展示了这一过程：用户以预训练模型为基础，选用合适的微调技术，结合定制化数据集，最终得到一个性能更优的微调模型。

本文系统梳理了LLM微调的常规流程与主流技术，重点介绍了全量参数微调与高效参数微调两类思路，并深入解析了RLHF（基于人类反馈的强化学习）。考虑到全量微调成本过高、应用场景有限，本文将重点放在Adapter、Prefix Tuning、LoRA、RLHF这四种常用技术上。通过整理相关论文与资料，希望能为微调技术的选型提供一些参考。

1 基本概念

微调的定义

先说清楚什么是微调。大模型微调，本质上是在一个预训练好的基础模型之上，利用高质量标注数据或人类反馈机制，对模型进行二次训练，最终得到一个在特定领域表现更强的模型。这个过程，可以理解为给一位通才做“专科培训”。

微调的必要性

全量训练成本高昂。国盛证券的报告《ChatGPT 需要多少算力》中提到，GPT-3单次训练的估算成本是140万美元。更大规模的LLM，成本则在200万到1200万美元之间。以ChatGPT在2023年1月的独立访客数（约1300万）来算，对应的芯片需求是3万多片英伟达A100 GPU，初始硬件投入就高达8亿美元，每天的电费就要5万美元左右。这个数字，足以让绝大多数团队望而却步。

通用模型难以满足特定领域需求。举个例子，一个通用语言模型在回答“感冒了怎么办？”时，可能只会给出“多喝水，严重时看医生”这样宽泛的建议。但经过高质量医疗数据微调后，模型就能结合多轮对话上下文，给出更精准、更专业的指导。差距显而易见。

微调的价值

微调后的模型，在特定任务上的表现会显著提升，无论是问答、文本生成，还是命名实体识别、情感分析、摘要提取等，都能拿出更亮眼的成绩。比如，用财经新闻微调的模型，在金融分析和股票预测上会更有谱；用医疗数据微调的模型，则能给出更靠谱的咨询建议。一句话：微调让模型变得“更专、更精”。

2 微调技术

微调流程

模型微调不是一步到位的，而是一个循序渐进、不断迭代的系统工程。通常包含以下步骤：模型选取、任务定义、数据准备、策略选择、模型配置、模型微调、结果评估、优化迭代、模型测试、模型部署。每一步都环环相扣，缺一不可。简单来说：

• 模型选取：选一个好的基础模型，比如ChatGPT或LLaMA2，有大厂背书和活跃社区支持，质量有保障。
• 任务定义：明确要解决什么问题，比如上面提到的医疗问答。
• 数据准备：收集并标注好专业数据，划分训练集和测试集。
• 策略选择：选择最合适的微调方法，比如PERT或RLHF。
• 模型配置：以选定的基础模型为起点，完成前期配置。
• 模型微调：按选定方法进行迭代训练，实时调整参数并监控损失函数和精度。
• 结果评估：用测试集验证微调效果。
• 优化迭代：根据评估结果反复调整，直到满意为止。
• 模型测试：最终验证模型性能。
• 模型部署：将达标的模型投入实际使用。

Fine-Tuning

全量参数微调，即Fine-Tuning，意味着所有模型参数都要参与训练，成本极高，现在已经很少用了。因此，本文重点介绍高效参数微调方法，它们通过冻结大部分参数、只微调局部，大幅提升了效率。

PERT

Adapter

论文《Parameter-Efficient Transfer Learning for NLP》提出的Adapter方法，思路很巧妙：在预训练模型的每一层中插入适配下游任务的参数，训练时冻结模型主体，只训练这些新增参数。实验表明，在GLUE基准测试中，每个任务只新增3.6%的参数，性能差异却仅在0.4%以内，几乎可以忽略不计。具体来说，Adapter结构被放在Transformer Layer的多头注意力投影之后和第二个前馈层之后。每个Adapter由两个全连接层组成：第一个将高维特征d投影到低维特征m（控制参数量），经过非线性层后，第二个再将其还原为d维，作为输出。

实验结果非常明确：只训练少量参数，性能就能追上全量微调。Adapter无疑是一种高效的微调方案。

Prefix Tuning

受Prompt设计的启发，斯坦福团队提出了Prefix Tuning。这是一种更轻量级的方法：冻结模型参数，只训练一组连续的、针对特定任务的虚拟Token（即Prefix）。不同于人工设计模板，这些虚拟Token是可微调的，训练时只需要更新它们，效率极高。

对于Decoder-only的GPT，Prefix加在句首；对于Encoder-Decoder的BART，则同时加在编码器和解码器的开头。

LoRA

Prefix Tuning虽然方便，但有两个明显的痛点：一是训练难度大，论文指出效果并不随prefix参数量线性增长；二是它会挤压原始文本prompt的表达空间，因为输入长度固定，prefix占用了本属于原始文本的位置。那有没有更好的办法？LoRA（Low-Rank Adaptation）就是来解决问题的。由微软团队提出，它的核心是：冻结预训练参数，在Transformer的每一层中插入两个可训练的低秩矩阵A和B（一个降维、一个升维），从而大幅减少参数量。

左侧是全参微调，参数分为预训练权重W和增量权重ΔW；右侧是LoRA，用矩阵A和B近似替代ΔW。其中r是秩，A按高斯初始化，B初始化为零。这样，微调参数量从d×d降到d×r+r×d，输出维度不变。论文还引入了一个超参α来调整性能。根据论文数据，用LoRA微调GPT-3 175B时，显存消耗从1.2TB骤降至350GB，降幅惊人。

RLHF

RLHF（Reinforcement Learning from Human Feedback）引入了人类反馈来强化学习。传统Prompt生成的结果缺乏主观偏好，而RLHF用人类反馈作为性能标杆，不断优化模型，使其输出更符合人类预期。整个过程分为三个核心阶段：

• 预训练：用标注数据调整预训练模型。比如OpenAI的InstructGPT用了较小版本的GPT-3，Anthropic则用1000万到520亿参数的Transformer。
• 训练奖励模型：奖励模型（RM）负责评估文本质量，返回一个数值来反映“人类偏好程度”。训练数据通常由多个模型生成的文本序列构成，经人工或其他模型（如ChatGPT）打分。
• 基于强化学习微调：用奖励值作为指导，结合强化学习进一步微调。这里需要定义状态空间（输入序列）、动作空间（全部token）、策略函数和价值函数，目标是最大化奖励。

3 讨论与展望

本文介绍的几种微调技术，各有千秋。在实际应用中，可以根据场景和需求灵活选型，以获得最佳性能。下表总结了它们的特点：

选择哪条路，最终取决于具体的目标和资源。