这是一篇关于DeepSeek最新研究成果的深度解读，旨在系统梳理其在“推理时扩展性”这一前沿领域的关键突破。通过本文，您将清晰了解一种名为自我原则批评调整（SPCT）的全新学习方法，以及它如何催生了性能强大的DeepSeek-GRM-27B模型，并展望由此带来的技术变革方向。
核心内容：三大突破性技术方向
本次研究围绕三个核心主题展开，它们是理解整个技术革新的关键线索：
- 强化学习的深度应用：探索如何将强化学习（RL）更有效地应用于提升大语言模型（LLM）的推理能力，从而实现推理阶段的性能提升。
- 创新的奖励模型：提出一种名为逐点生成奖励模型（GRM）的创新方法，用于解决在复杂领域中获取精准奖励信号的难题。
- 性能表现与未来展望：展示基于以上技术训练的DeepSeek-GRM-27B模型的卓越性能，并对其在未来通用奖励系统中的应用前景进行展望。
一种全新的学习方法正在重塑我们对AI奖励机制的理解。
背景与挑战：为什么需要新方法？
当前，强化学习（RL）已被广泛用于大语言模型（LLM）的训练后期。近期RL对LLM推理能力的成功激励表明，适当的学习方法可以实现有效的推理时间可扩展性。然而，RL面临一个关键挑战：如何在没有现成的可验证问题或复杂人工规则的情况下，在各个领域为LLM的训练提供准确、可靠的奖励信号？
GRM：解决奖励信号难题的关键
在本周五提交的一项工作中，来自DeepSeek、清华大学的研究人员深入探索了奖励模型（RM）的不同方法。他们发现逐点生成奖励模型（GRM）能够以统一的纯语言表示形式，对单个、成对以及多个响应进行评分，从而成功克服了这一挑战。研究者进一步探索发现，某些原则可以指导GRM在适当的评判标准内生成奖励，从而全面提高奖励的质量。
论文信息
- 论文标题：Inference-Time Scaling for Generalist Reward Modeling
- 论文链接：https://arxiv.org/abs/2504.02495
研究者们提出了一种新方法：自我原则批评调整（SPCT），用于提升通用奖励模型在推理阶段的可扩展性，并由此训练出DeepSeek-GRM系列模型。同时，他们进一步引入了一种元奖励模型（meta RM），使DeepSeek-GRM的推理效果在超越传统投票机制的基础上得到进一步提升。
实验证明，SPCT在生成质量和推理阶段的可扩展性方面，明显优于现有方法，并超过了多个强大的开源模型。
SPCT的训练方案还被应用到更大规模的语言模型上。研究者们发现推理阶段的扩展性收益甚至超过了通过增加模型规模所带来的训练效果提升。
深入技术细节：SPCT如何工作？
基于这一初步成果，作者提出了一种名为自我原则批评调整（SPCT）的新学习方法。其核心目标是促进GRM在推理过程中实现高效的可扩展行为。通过利用基于规则的在线RL，SPCT使GRM能够根据输入的查询和响应，自适应地提出原则和批评，从而在更广泛的通用场景中生成更优质的奖励。
SPCT的两个核心阶段
如图3所示，SPCT方法包含两个关键阶段：
- 拒绝式微调（冷启动阶段）：这是模型的基础启动阶段，主要目的是让GRM学会生成格式正确、能够适配多种输入类型的原则与批判。
- 基于规则的在线强化学习：通过持续的优化，不断改进模型生成的准则和评论，进一步增强其通用奖励生成能力。
小提示：SPCT方法与DeepSeek R1的训练方式不同。R1侧重于格式奖励，而SPCT更注重于避免严重偏差，并使用较大的KL惩罚系数来确保格式正确。
研究者们观察到，高质量的准则是提升奖励模型表现的关键因素，它能够在特定的评判标准下有效引导奖励的生成。然而，对于通用型奖励模型而言，如何自动生成适应性强、指导性强的准则仍是一个核心难题。为此，他们提出将准则的角色从传统的辅助性输入，转变为奖励生成过程中的核心组成部分。具体而言，模型不再依赖于外部的提示信息，而是在生成过程中主动生成并运用准则，从而实现了更强的奖励泛化能力与推理阶段的可扩展性。
拒绝式微调（冷启动阶段）
这个阶段的核心目标是使GRM能够生成格式正确且适配多种输入类型的原则与批判。与以往方法不同，DeepSeek采用第2.1节提出的逐点GRM，能以统一格式为任意数量响应生成奖励。
数据构建方面，除通用指令数据外，DeepSeek还通过预训练GRM对RM数据中不同响应数量的查询-响应对进行轨迹采样，每个查询-响应对采样次。拒绝策略采用统一标准：拒绝预测奖励与真实值不符（错误）的轨迹，以及所有次轨迹均正确（过于简单）的查询-响应对。这里需确保真实奖励仅包含一个最大值。
常见问题：为什么需要“拒绝式微调”？
解答：预训练的GRM在有限采样次数内，可能难以对部分查询及其响应生成正确的奖励。通过拒绝那些预测错误的轨迹，可以筛选出高质量的样本，为后续的强化学习阶段提供一个更可靠、更一致的“冷启动”基础。
基于规则的在线强化学习
通过基于规则的在线RL，研究者对GRM进行了进一步的微调。与DeepSeek R1不同的是，没有使用格式奖励。相反，为了确保格式和避免严重偏差，KL惩罚采用了较大的系数。奖励函数的核心是鼓励GRM通过在线优化原则和批判来区分最佳响应，从而实现有效的推理时间扩展。
常见问题：在线强化学习是如何优化原则和批判的？
解答：GRM会基于当前模型生成的原则和批判，对候选响应给出一个奖励。这个奖励会与真实标准（例如，人类标注的偏好）进行比较。如果奖励不准确，模型就会根据误差“惩罚”自己生成原则和批判的方式。通过反复尝试和调整，模型会学习到哪些原则和批判能够产生更准确的奖励。
推理时的扩展策略
为了充分利用更多的计算能力来生成更高质量的奖励，研究者探索了基于采样的推理策略。
策略一：利用生成奖励进行投票
投票过程将奖励空间扩大k倍，使GRM能够生成大量原则，有助于提高最终奖励的质量和粒度。一个直观的解释是，如果每个原则都可以被视为判断视角的代表，那么更多的原则可能会更准确地反映真实的分布情况，从而提高效率。为了避免位置偏差和多样性，在采样之前会对回答进行洗牌。
策略二：元奖励模型指导投票
由于随机性或模型自身的局限，少数生成的原则和评论可能质量不高。因此，研究者训练了一个元奖励模型（meta RM）来指导投票过程。元RM会对k个采样奖励输出元奖励，最终结果由k_meta ≤ k个元奖励的奖励投票决定，从而过滤掉低质量样本，提升最终结果的可靠性。
性能表现与数据支撑
基于SPCT技术，DeepSeek提出了DeepSeek-GRM-27B模型，它基于Gemma-2-27B，并使用SPCT方法进行后训练。对于推理时间扩展，它通过多次采样来扩展计算使用量。通过并行采样，DeepSeek-GRM可以生成不同的原则集和相应的批评，然后投票选出最终的奖励。
基准测试结果
推理阶段扩展性能
消融实验
规模扩展性对比
研究者们还进一步研究了DeepSeek-GRM-27B在推理阶段和训练阶段的扩展性能，通过在不同规模的LLM上进行后训练进行评估。所有模型均在Reward Bench上进行测试，结果如图4所示。
- 从实验结果上看，SPCT显著提高了GRM的质量和可扩展性，在多个综合RM基准测试中优于现有方法和模型，且没有严重的领域偏差。
- 作者还将DeepSeek-GRM-27B的推理时间扩展性能与多达671B个参数的较大模型进行了比较，发现它在模型大小上可以获得比训练时间扩展更好的性能。
小提示：这意味着，对于某些任务，通过增加模型“思考”时间（推理计算）来提升性能，可能比简单地增加模型参数量更有效、更经济。
未来展望与局限性
虽然当前方法在效率和特定任务方面仍面临挑战，但DeepSeek相信，凭借SPCT之外的努力，具有增强可扩展性和效率的GRM可以作为通用奖励系统的多功能接口，推动LLM后训练和推理的前沿发展。
常见问题：当前方法面临的主要挑战是什么？
解答：主要挑战在于效率和特定任务的优化。例如，为了获得更准确的奖励，需要进行多次采样和投票，这会增加推理时的计算成本。此外，模型在处理高度专业化的领域（如医学诊断或法律条文分析）时，可能还需要进一步的微调。
总结与展望
本研究不仅为奖励模型的发展提供了新的视角，也展示了推理时扩展性的巨大潜力。通过自我原则批评调整（SPCT），DeepSeek使得奖励模型能够像大语言模型一样，通过分配更多的“思考”时间来提升决策质量。这预示着，在未来的AI系统中，我们可能无需无止境地追求更大的模型参数，而是通过优化算法和激励机制，让模型在有限的计算资源下发挥出更强大的性能。随着DeepSeek-GRM系列模型的进一步发展，通用奖励系统的效率和应用范围将得到显著提升，从而加速整个AI领域向更智能、更可靠、更可控的方向演进。