深入探索AI强化学习中的意外现象，剖析异常奖励如何提升模型推理能力。本教程将带您全面了解强化学习（RL）与可验证奖励（RLVR）的传统认知、异常奖励对模型性能的意外影响及其分类，并探讨该现象对RLVR机制的重新思考与未来训练策略的启示。

当随意的奖励信号仍能大幅提升模型性能，便迫使我们重新思考：强化学习究竟是在学习，还是在放大某种“先验”行为？

大家好，我是肆〇柒。今天，我们来聊AI领域一个格外引人深思的现象。在强化学习（RL）中，尤其是具有可验证奖励的强化学习（RLVR）这一分支，通常我们认为模型的奖励信号必须与正确答案紧密关联，才能有效提升模型的推理能力。然而，近期由华盛顿大学、艾伦人工智能研究所（Allen Institute for Artificial Intelligence）和加州大学伯克利分校联合发布的论文《Spurious Rewards: Rethinking Training Signals in RLVR》却揭示了一个令人意外的事实：某些模型，如Qwen2.5-Math，在面对与正确答案相关性极低甚至呈负相关的异常奖励信号时，其数学推理能力反而实现了显著提升。这一发现，不仅挑战了我们对RLVR的传统认知，更为模型训练策略的创新开辟了全新路径，引发了学界对RLVR机制的深刻反思。

RLVR在提升LLM数学推理能力方面已展现出显著成效。众多研究表明，通过RLVR，模型能够基于正确答案的反馈持续优化自身推理过程，从而在MATH-500等基准测试中取得优异成绩。然而，异常奖励现象的出现，为我们提供了一个全新视角，促使我们重新审视RLVR的内部运作机制。深入探究这一现象，不仅有助于我们更精准地把握模型训练过程，还可能催生出更高效、更经济的模型训练方法。下面，让我们一同来看看。

异常奖励的定义与分类

在RLVR的语境下，异常奖励特指那些与正确答案相关性极低或呈负相关的奖励信号。这些奖励信号无法直接反映模型输出的正确性，却在某些特定条件下对模型性能的提升产生了意想不到的影响。

分类及特点

• 随机奖励：此类奖励完全独立于模型输出，以随机方式赋予模型rollout。例如，设定一个固定概率γ，模型的每个rollout随机获得奖励1（概率γ）或0（概率1-γ）。这种奖励机制完全忽视模型输出的质量与内容，仅依靠概率来决定奖励的赋予。
• 错误标签奖励：基于错误答案的奖励信号。可能是由于数据标注错误，或故意设计的错误标签，模型在训练过程中被错误引导，却在这种“误导”下意外地提升了推理能力。
• 格式奖励：仅关注模型输出的格式是否符合要求，而不考虑输出内容的正确性。例如，只要模型输出中包含至少一个非空的boxed{}表达式，无论其中的答案是否正确，模型都将获得奖励。这种奖励机制旨在激励模型遵循特定的输出格式规范。

不同类型异常奖励对模型性能的影响

• 短期与长期影响：部分异常奖励在训练初期能迅速激发模型性能的显著提升，但随着训练推进，其效果可能逐渐趋于平稳；而另一些异常奖励则可能在长期训练过程中持续发挥作用，逐步引导模型性能稳步提升。例如，随机奖励在训练初期可能通过引入多样性来拓宽模型的探索空间，从而快速提升性能；而在后期，模型可能会逐渐适应这种随机性，并在此基础上进一步优化自身的推理策略。
• 不同问题类型的差异：不同类型数学问题对模型推理能力的要求各异，异常奖励对模型在不同类型问题上的性能影响也呈现出明显差异。以代数问题为例，模型可能更依赖于对数学公式和规则的灵活运用，随机奖励在这种情况下可能有助于模型发现新的解题思路和方法；而在几何问题中，模型可能更注重图形的理解与空间关系的分析，格式奖励则可能通过引导模型规范输出几何图形的描述方式，从而提升其在几何问题上的表现。