大型预训练模型（如 GPT-3、BERT）在自然语言处理领域表现出色，但高昂的训练成本让众多研究者望而却步。参数高效微调（Parameter-Efficient Fine-Tuning，简称 PEFT）技术逐渐兴起，通过仅调整少量参数，即可使预训练模型快速适应新任务，大幅降低计算资源与时间开销。接下来，我们将深入剖析 PEFT 的几种主流方法，帮助你理解其原理、设计思路与实际效果。

Adapter Tuning

谷歌研究者在论文《Parameter-Efficient Transfer Learning for NLP》中首次提出了针对 BERT 的 PEFT 方法。他们发现，Full-finetuning（全参数微调）效率较低，而仅微调靠近下游任务的几层参数又难以达到理想效果。为此，他们设计了下图所示的 Adapter 结构，并将其嵌入 Transformer 中。

训练时，固定原始预训练模型的所有参数，仅更新新增的 Adapter。Adapter 采用“瓶颈”设计：先通过 down-project 层将高维特征映射到低维，再经过非线性层，最后用 up-project 层恢复原维度。同时引入 skip-connection 结构，确保即使效果不佳也能退化为恒等映射。

实验表明，仅增加约 3.6% 的额外参数，Adapter 就能取得与 Full-finetuning 接近的效果（GLUE 指标差距在 0.4% 以内）。