引言：当大模型遇上微调瓶颈
近年来，大规模深度神经网络在AI领域取得的成就确实令人瞩目——无论是计算机视觉、自然语言理解还是语音识别，这些动辄上亿参数的模型都展现出了前所未有的性能。但问题也随之而来：当我们需要将这些庞然大物适配到特定任务时，传统的全参数微调显得既昂贵又笨重。有没有一种方法，既能保持预训练模型的强大能力，又只需调整极少数参数？这就是我们今天要讨论的核心——广义LoRA（GLoRA）。
GLoRA是一种面向通用参数高效微调（PEFT）的先进方法，它在经典LoRA的基础上做了关键升级：通过广义提示模块优化来调整预训练模型权重和中间层激活函数，从而为不同任务和数据集提供更大的灵活性。从数学上看，GLoRA源于一个统一的公式，天然具备强大的迁移学习、少样本学习和域泛化能力——它通过权重和激活的附加维度来适应新任务。
实验数据相当亮眼：在自然、专业和结构化基准测试中，GLoRA全面超越了以往所有方法，在更少的参数和计算开销下实现了更高的准确率。更关键的是，其结构重参数化设计确保推理阶段零额外成本——这对于资源受限的应用场景来说，是真正的实用解决方案。
已有方法及其局限性
在深入GLoRA之前，先快速回顾一下当前主流的PEFT方法，以及它们各自“卡脖子”的地方。
Visual Prompt Tuning (VPT)
VPT通过在输入空间中插入少量任务相关的可学习参数，同时冻结整个预训练Transformer主干。它有两种策略：VPT-Shallow和VPT-Deep。VPT-Shallow只在第一层插入提示，而VPT-Deep则在每一层都插入。
VPT-Deep在大多数视觉任务上优于全量微调，低数据场景下也表现更好——但问题是，它无法在推理时重参数化，因此会带来额外的计算开销。
AdaptFormer
AdaptFormer在MLP块上引入了一个并行的可学习分支（两个线性层加ReLU），训练时只学习这个分支，其他部分冻结。
同样的问题：推理时无法合并回主干，额外计算难以避免。
LoRA
LoRA冻结预训练权重，并在每一层注入可训练的低秩分解矩阵。它只学习残差，在GPT-2系列上超过了prompt learning和adapter等方法，且推理时可以通过重参数化消除额外参数。但LoRA有两个短板：一是无法扩展到更大的矩阵，二是其适应能力被限制在权重空间内——只调整ΔW，无法触及特征空间。
Scaling & Shifting Features (SSF)
SSF在训练时对MLP、MHSA、LayerNorm模块进行特征缩放和移位，推理时重参数化。其结构是线性的，因此可以合并——但它只能调整特征空间中的缩放和偏移，无法学习权重空间的变化（即ΔW）。
FacT
FacT将权重张量化为单个3D张量，再分解为轻量级因子，微调时只更新因子。它有两种分解方式：
RepAdapter
RepAdapter将轻量级线性网络插入MLP和MHA中，训练后通过重参数化合并到相邻投影权重。它由下采样层和分组上采样层组成，同样可以合并——但依旧局限于特征空间或权重空间的单一调整。
共性问题
梳理下来，现有方法的局限性很清楚：VPT和Adapter会增加推理时间，因为无法重参数化；提示调优本身设计困难，需要大量超参数调整；LoRA推理时可以重参数化，但无法扩展到更大矩阵，且适应能力受限于权重空间；SSF/RepAdapter无法学习权重变化（ΔW），LoRA/FacT则无法有效学习特征变化（ΔH）。当从大型模型进行迁移学习时，特征空间和权重空间都需要灵活性——这正是GLoRA要解决的。
One-for-All 统一公式
GLoRA的核心是一个整合了所有可调维度的统一数学公式，涵盖权重空间和特征空间。并且通过重参数化，推理时所有辅助参数可以合并到相邻投影权重中。从广义上讲，GLoRA是之前所有解决方案的超集——只要将不同的支持张量设为零，它就能退化为任何一种现有方法。
其中 A、B、C、D、E 是下游任务的可训练张量，W₀和b₀冻结。A用于缩放权重，B用于缩放输入并移动权重，C服务于VPT-Deep，D和E表示逐层提示（分别用于缩放和移动偏差）。整个流程如下：
Prompt Modules——提示模块设计
对于A、B、C、D、E这五个张量，GLoRA为每一层设计了分层适配器或提示模块。它们可以是标量、向量、低秩分解或None。基于作用不同，可分类如下：
这种权重纠缠策略可以在不增加参数数量的前提下扩大搜索空间，同时由于子网间的权重共享，收敛速度也更快。
结构重参数化与推理效率
重参数化的关键在于消除相邻变换中的非线性层——去掉这些非线性层不会对性能产生负面影响。GLoRA的重参数化策略如下：
最终，统一训练后的权重和偏差可通过以下方式合并：
这意味着推理时零额外计算开销——这是GLoRA资源高效性的关键。
最优分层配置的进化搜索
GLoRA的适配器设计是逐层独立的，允许各层采用不同配置。为了找到每一层的最佳组合，采用进化搜索方法——在效率和效果之间取得平衡。虽然搜索会增加训练时间，但相比现有方法需要进行的大量超参数调优，这个代价是合理的。此外，权重共享策略让每个支持张量定义单个矩阵，训练时按组件索引子矩阵，进一步提升了参数效率。
更高容量：理论分析
模型容量指模型近似各种函数的能力。GLoRA通过调整假设空间来调节容量，使用Vapnik-Chervonenkis维数（VC维）进行度量。其定义如下：
实验验证
VTAB-1K基准测试
在VTAB-1K上（包含19个图像分类任务，分为自然、专业和结构化三大领域），GLoRA训练了三种不同参数量的超网配置。参数灵活性允许用户自定义可训练参数数量。结果如下表所示：将SOTA的PEFT方法提升了2.9%，即使最小模型也大幅优于所有现有方法。
值得注意的是，GLoRA在19个数据集中的14个上取得了最优性能，其余数据集上也表现极有竞争力——没有出现以往某些方法在某些数据集上完全失败的情况，这证明了GLoRA的高泛化能力。
少样本学习
在5个细粒度视觉识别数据集（Food101、OxfordFlowers102、StanfordCars、OxfordPets、FGVCAircraft）上，用1、2、4、8、16个样本进行测试。GLoRA在大多数场景下显著优于LoRA、Adapter、VPT和NOAH，且参数数量相当。
有趣的是，Flowers102数据集因为整体精度已经很高，各方法差距不大；Food101上GLoRA与NOAH平均精度相当。但总体来看，在高样本场景下优势更明显，低样本时效果依然显著。
域泛化能力
用ImageNet-1K上训练（16-shot）的GLoRA模型测试域外数据集：ImageNetV2、ImageNet Sketch、ImageNet-A、ImageNet-R。结果如下表：与LoRA相比，GLoRA在ImageNet-A上提升了100%，在ImageNet-Sketch上提升了50%。
总结
GLoRA提出了一种广义参数高效微调方法，通过低秩自适应和重参数化框架，成功减少了微调所需的参数和计算量。实验全面证明了其优于现有PEFT技术的性能，展示了良好的可扩展性和适应性。这项工作不仅改进了大规模预训练模型的微调流程，也为未来探索广义低秩自适应、混合方法开发以及搜索优化算法打开了新方向——这些研究有望让迁移学习在更广泛的应用中变得更加可及和高效。