随着大模型参数规模持续增长，全量微调的计算成本变得极为高昂。针对这一难题，上海交通大学研究团队提出了一种全新的高效微调（PEFT）框架——子空间微调，旨在将现有多种PEFT方法归纳到统一的理论体系中。简而言之，该方法不直接修改整个参数矩阵，而是专注于调整原始参数的子空间，涵盖重构与扩展两个方向。
那么，子空间微调的具体机制是什么？研究团队从分解理论出发，梳理了不同PEFT方法在子空间操作上的数学原理，并构建了一个完整的理论框架，用以解释这些方法之间的性能差异与内在动态。基于该框架，他们还提出了两种全新的PEFT方法——仅需调整0.02%的参数，即可实现接近全量微调的效果。
图1：子空间调整框架。a, 子空间调整的目标是确定最优权重 W∗ 在由 ϕ(W) 基所张成的子空间上的最大投影。其中，ϕ(W) 表示原始冻结权重 W 的子空间变换。b, 子空间重构通过重新缩放 W 的子空间来逼近 W∗，或构建从原始权重派生的新子空间。子空间扩展则旨在调整原始权重 W 的子空间，使其接近甚至包含 W∗。子空间组合则融合了重构与扩展两种操作。c, 子空间调整的数值视角：重构涉及修改原始冻结参数，而扩展则涉及添加新的可调参数。
子空间微调框架
该框架的核心思路非常直观：与其调整海量参数，不如只针对那些对任务性能影响最大的参数子集进行优化。这样一来，需要调整的参数数量大幅减少，计算和存储的压力也随之降低。
具体而言，该框架的理论基础是参数敏感性分析。通过评估每个参数对模型输出变化的影响程度，能够精准识别出“关键参数”，并将这些参数划入待优化的子空间。在实际实现中，有多种算法可用于定义子空间，例如基于梯度的方法、基于权重的方法，甚至可以通过先验知识手动划定。
新型PEFT方法
动态子空间调整：该方法在训练过程中动态调整子空间的定义——根据模型当前的表现，增加或减少子空间中的参数数量。这种灵活性使模型能够更好地适应数据分布不均匀的情况。
优化子空间选择：该方法通过全局优化算法（如遗传算法、模拟退火等）来寻找最优的子空间配置。它会在不同子空间设置下评估模型性能，然后选出能最大化效果的配置。
这两种方法已在多个公共数据集上完成了实验验证。结果表明，它们不仅大幅减少了需要调整的参数数量，而且在多数场景下能够保持甚至提升模型性能。这充分证明了子空间微调框架在实际应用中的可行性和有效性，尤其在资源受限的环境中，其价值尤为显著。