本文第一作者为明尼苏达大学博士生张子健，指导老师为洪明毅教授。其他作者包括北京大学的胡日臻，Amazon的Hongzhou Lin，明尼苏达大学的Athanasios Glentis、Dawei Li、Chung-Yiu Yau。

先说说核心结论：强化学习（RL）后训练，可能真的不需要动那么多层。

当前主流的大语言模型RL后训练方法，几乎清一色都会对所有Transformer层进行统一更新。这背后其实隐藏着一个很少被验证的假设：每一层对RL最终收益的贡献都是相同的。但来自明尼苏达大学、北京大学和亚马逊的团队，通过一场涵盖7个模型、2个模型家族、3种RL算法、3个任务领域的系统性实验，彻底推翻了这一假设。他们发现，RL的收益实际上高度集中在一小部分中间层，而非均匀分布。更令人惊喜的是，只训练单个Transformer层，就能达到甚至超越全参数训练的效果。而且，基于这一发现所设计的训练策略，能够稳定超越标准的全参数RL方法。

• 论文标题：《Is One Layer Enough? Training a Single Transformer Layer Can Match Full-Parameter RL Training》

• 论文链接：https://arxiv.org/abs/2607.01232

背景与动机：RL的收益到底从哪来？

强化学习与可验证奖励（RLVR）已经成为大语言模型后训练中的核心环节，在数学推理、代码生成和智能体决策等任务上，性能提升十分显著。但一个有趣的现象是：大量研究都在关注更高效的RL目标函数、奖励模型和优化算法，却很少有人去追问一个更基础的问题——

RL带来的这些提升，究竟是来源于网络的哪个部分？是所有层均匀发力，还是集中在某些特定层上？

实际上，预训练LLM的层级结构本身就高度不均匀，这一点早有研究反复证实。在推理阶段，移除某些层会导致性能崩溃，但移除另一些层却几乎没什么影响。有些研究甚至找到了所谓的“基石层”，一旦移除，性能直接掉到接近随机水平。在监督微调（SFT）阶段，也有研究提出了随机采样层更新、重要性感知采样、基于梯度统计的动态层选择等策略。更值得关注的是，这些被识别出的重要层，在不同数据集和训练设置之间表现出很强的稳定性，暗示预训练模型内部确实存在一个稳定的层级组织。

但问题在于，这些研究主要集中在推理行为分析和监督微调场景。RL后训练是否也存在类似的层级结构化模式？比如，是否某些层对RL的贡献特别大？这个问题，此前几乎没有人系统探索过。弄清楚这个层级结构，不仅能帮助我们理解RL是如何重塑预训练模型的，还可能为改进RL后训练提供全新的算法设计思路。

现有的RL后训练方法（如GRPO、Dr. GRPO、GiGPO）统一更新所有Transformer层，这隐含着一个假设：每一层对最终性能提升的贡献是相似的。而这篇工作通过系统性的逐层实验，对这个假设提出了有力挑战。

核心方法：层贡献度（Layer Contribution）

为了量化每一层在RL后训练中的作用，研究团队提出了一个简单而有效的指标——层贡献度 C(k)：

对于一个有L层的LLM，冻结除第k层以外的所有参数（包括Embedding和LM Head），只靠RL训练这一层，然后把它带来的性能提升与全参数RL基线进行对比：

其中，S_base是预训练模型的评测分数，S_full是全参数RL训练后的评测分数，S_k是只训练第k层后的评测分数。C(k) = 1.0表示单层训练的效果与全参数RL持平，C(k) > 1.0则表示单层训练超越了全参数RL。

这个框架的关键设计在于：梯度仍然通过整个网络反向传播计算，但参数更新只限制在第k层。这样，每一层都在相同的信息环境下被评估，差异仅反映该层本身的学习能力。

举个具体例子：在Qwen3-1.7B-Base上，预训练模型的数学（涵盖MATH、GSM8K、AMC、OlympiadBench）平均分是44.1%。之后用Numina-COT数据集对模型进行GRPO训练。经过多轮全参数GRPO的训练和调优，结果提升到了50.8%（提升了6.7个百分点）。但有意思的是，当只训练Layer 10时，分数达到了51.8%，对应的层贡献度C = (51.8 − 44.1) / (50.8 − 44.1) = 1.14，也就是说，只训练这一层，就恢复了全参数训练114%的收益。而最弱的Layer 24只达到了46.1%，C = 0.28，仅恢复了28%的收益。同一个模型内，最好层与最差层的差距可以超过4倍。

实验设置

研究团队在7个模型上进行了系统性实验，覆盖了多个维度的变化：

• 多种模型大小和家族：Qwen3（1.7B/4B/8B）、Qwen2.5（1.5B/3B/DeepSeek-Distilled-7B）
• 多种RL算法：GRPO、Dr. GRPO、GiGPO
• 多个任务领域：数学推理（NuminaMath-CoT、DeepScaleR、MATH、Skywork）、代码生成（DeepCoder）、智能体决策（ALFWorld）

评估体系方面，对于Qwen3主实验，研究团队在12个基准测试上进行了评估，覆盖四大类别：数学（MATH500、GSM8K、OlympiadBench、AMC）作为域内评估，以及三个域外类别——代码（HumanEval+、MBPP、LiveCodeBench）、推理（GPQA-Diamond、MMLU-Pro）和语言（C-Eval、IFEval、MGSM）。总分是四个类别分数的等权平均。对于Qwen2.5-Math-1.5B和DeepSeek-Distilled-Qwen-7B实验，则在6个数学基准（AIME 2024、AIME 2025、AMC、MATH500、Minerva Math、OlympiadBench）上评估。对于智能体实验，在ALFWorld的6类家务任务上评估成功率。

公平比较协议：为了确保单层训练和全参数训练的比较能真实反映层级差异，而不是由超参数差异造成的，研究团队采取了严格的实验协议：先为全参数基线调优学习率并选最佳值，然后将该学习率统一应用到所有单层训练上，确保没有任何层获得不公平的优势。所有配置使用相同的超参数（batch size、KL系数、clip range、epoch数），并且训练到收敛。此外，还通过学习率消融实验验证了，改变学习率并不会改变层贡献度的排序。

发现一：中间层主导RL收益，且与训练设置无关，高度一致

在所有7个模型上，同样的结构性规律反复出现：位于网络深度40%到60%的层，始终拥有最高的层贡献度，而靠近输入端和输出端的层，贡献度明显偏低。

跨数据集一致性

为了验证层贡献度是否依赖于特定的训练数据，研究团队在Qwen3-1.7B-Base上使用了三个不同的数据集分别进行单层训练：NuminaMath-CoT（数学）、DeepScaleR（数学）和DeepCoder（代码）。对比NuminaMath-CoT和DeepScaleR两个数学数据集，虽然数据组成和难度不同，但28层的贡献度排序呈现强相关（Spearman ρ = 0.76, p < 0.001）——在一个数据集上排名高的层，在另一个数据集上同样排名高。

跨任务一致性

更有意思的是跨任务的验证：把NuminaMath-CoT（数学）和DeepCoder（代码）进行对比，这两个任务训练的是完全不同的能力，但层贡献度排序仍然显著相关（Spearman ρ = 0.59, p < 0.001）。也就是说，即使训练目标从数学推理切换到代码生成，同样的层仍然倾向于拥有最高贡献。

跨模型家族和RL算法一致性

在Qwen2.5-Math-1.5B上使用Dr. GRPO（而非GRPO）训练，层贡献度曲线保持了相同的中间高、两端低的结构。最高贡献层集中在Layer 14（C = 1.01）和Layer 16（C = 1.00），而最低贡献层位于网络后段（Layer 23，C = 0.42）。最佳层的贡献度是最差层的两倍以上。

跨任务领域一致性

在智能体任务ALFWorld上使用GiGPO训练Qwen2.5-1.5B-Instruct和Qwen2.5-3B-Instruct，虽然任务性质从数学推理完全切换到了多步交互式决策，而且RL的增益幅度远大于数学场景（83.7和66.0个百分点，而数学任务只有6到10个百分点），但中间层集中的结构仍然保持不变。这说明这个模式不仅适用于小幅度的适应，对大幅度的能力习得同样成立。结果显示，使用Layer 14训练Qwen2.5-1.5B-instruct模型，在ALFWorld任务上能获得超越全量训练的结果（包括他们自己设立的训练baseline以及GiGPO的官方结果）。使用Layer 16训练Qwen2.5-3B-instruct模型，也能同样获得超越全量训练的结果。

这些结果共同表明，层贡献度是预训练模型的一种内在结构属性，由模型权重决定，而不是取决于训练数据或任务。

发现二：单层训练可以超越全参数RL

在测试的每一个模型上，最佳单层都达到或超过了全参数训练（C ≥ 1.0）：

这个结果的意义在于，它从根本上挑战了当前RL后训练的一个隐含假设——RL带来的能力提升需要整个网络的协调适应。事实恰恰相反——大部分RL收益可以被压缩到极少数层的参数变化中。也就是说，RL后训练对模型的修改，远比我们想象的更局部化：它不是在重塑整个网络，更像是在调整几个关键的“旋钮”。

一个自然的推论是：标准的全参数RL训练可能本身就是次优的。当所有层被统一训练时，低贡献层的更新不仅没有贡献，反而可能引入噪声，或者与高贡献层的学习发生干扰，稀释整体提升。这个推论在下文的选择性训练实验中得到了直接验证——冻结低贡献层后，模型性能反而超过了全参数训练。

实用策略：基于层贡献度的训练优化

基于上述发现，研究团队提出了三种简单且有效的基于层贡献度的训练策略：

策略一：层自适应学习率

对高贡献层使用更高的学习率（1e-5），其他层保持默认率（5e-6）。在所有模型规模上均带来了稳定提升：在Qwen3-1.7B上，Boost B10达到53.70%，而基线是50.82%（提升了2.88个百分点）；在Qwen3-8B上，Boost B10达到67.42%，基线是66.43%（提升了0.99个百分点）。

作为对照实验，研究团队也测试了提升最低贡献层学习率的效果（Boost W5/W10）。结果在所有三个模型上均导致性能下降，这确认了改进来自贡献度引导的选择，而不是学习率调整本身。

策略二：层选择性训练

只训练贡献度最高的k层，冻结其余所有层。效果非常显著：

• Qwen3-8B：只训练top-10层 → 69.11%，全参数RL是66.43%（提升了2.68个百分点，相当于全参数RL总增益的32%）

• Qwen3-4B：只训练top-5层 → 65.87%，全参数RL是62.97%（提升了2.90个百分点，相当于25%的额外增益）

• Qwen3-1.7B：只训练top-5层 → 51.53%，全参数RL是50.82%（提升了0.71个百分点）

相反，只训练最低贡献的k层则导致性能大幅下降（比如Only W5在1.7B上只有46.87%，4B上59.40%，8B上62.04%）。这说明在较大规模上，低贡献层的更新可能并不有益，冻结它们反而能产生更干净的优化。

策略三：零分析启发式

对于一个模型，可以不需要任何层贡献度信息，直接按位置选择中间5层进行训练，就能获得效果提升。具体来说，对于28层的模型选择Layer 11到15，对于36层的模型选择Layer 15到19。

在Qwen3-1.7B-Base上，中间5层启发式达到51.35%，而贡献度引导选择的是51.53%（Only B5），全参数基线是50.82%。在Qwen3-8B-Base上，达到68.19%，而贡献度引导选择的是68.97%（Only B5），全参数基线是66.43%，额外增益代表了全参数RL总增益的21%。

实用启示：在所有三个模型规模上，这个简单启发式均超越了全参数RL基线。不需要对新模型、新任务去分析层贡献度，简单训练中间层就是一个强大的默认策略。

深入分析：不是参数变化量，而是参数空间质量

一个自然的疑问是：中间层贡献高，是不是因为它们在全局参数训练中参数变化更大？如果全参数训练后，只有中间层的权重发生了显著变化，那么中间层贡献度高就是一个自然且不令人惊讶的结论。

为此，研究团队在Qwen3-1.7B-Base上测量了每层的权重变化幅度 ‖Δθ_k‖₂，得到了两个关键观察：

观察一：全参数训练下，权重变化是均匀的。所有层的权重L2范数的变化幅度在0.5到0.8之间，分布非常均匀。中间层并没有比其他层变化更多。然而，它们在单独训练时，却能产生远超其他层的性能提升。这种“权重变化均匀但贡献度高度不均匀”的脱钩，表明层贡献度不能用参数变化幅度来解释。

观察二：单层训练时，所有层的权重变化幅度也是相似的。当一个层被单独训练时，无论它是高贡献层还是低贡献层，其权重L2范数的变化幅度都在0.8到1.0之间——显著大于全参数训练时的变化（0.5到0.7），这表明单层需要在参数空间中移动更远来补偿其他层的冻结。但关键是，高贡献层和低贡献层经历了相似幅度的权重变化，却产生了截然不同的性能结果。

这两个观察共同表明：层贡献度反映的是一层参数子空间捕获RL改进的有效性，而不是参数变化的幅度。某些层的参数空间，天生就更适合承载RL带来的能力提升。

总结

这篇文章揭示了RL后训练的一个此前未被认识的结构性属性：

1. RL收益高度集中：大部分RL提升集中在一小部分中间层，而不是均匀分布在整个网络。训练单个层，就能匹敌甚至超越全参数RL。

2. 层贡献度具有一致的结构：中间层贡献最高这一规律，在不同模型家族、RL算法、数据集和任务领域间保持稳定，是预训练模型的内在属性。

3. 可直接指导训练优化：简单的基于层贡献度的训练策略（自适应学习率、选择性训练、中间层启发式），都能持续超越标准全参数RL训练。

这些发现，为理解RL如何改变大语言模型提供了全新的视角，也为改进RL后训练提供了实用的新方向。