RLVR（基于可验证奖励的强化学习）已被业界广泛验证为提升大模型推理能力的关键后训练技术路径。在数学推理、代码生成以及任何需要复杂逻辑推理的应用场景中，该方法都展现出极强的竞争力与潜力。

具体操作层面，模型会针对同一个提示词（prompt）生成多条长链式推理回答，随后通过可验证奖励机制判断其正确性，并据此更新策略。这套流程看似直接，但背后却隐藏着一个现实难题：训练成本居高不下。每个训练步骤都需要执行大量 rollout，而这些 rollout 本质上就是反复调用大模型生成长答案，导致计算开销与显存消耗都十分惊人。

那么，是否有可能换一种思路，不再“平均用力”，而是先让一个小模型做出判断：哪些 prompt 更值得投入训练资源，哪些则可以暂时放一放？

来自清华大学与腾讯的研究者提出的 Generalizable Predictive Prompt Selection（GPS），正是为了解决这一难题而设计。其核心思路非常直接：首先训练一个小型、具备泛化能力的 Prompt Predictive Model（PPM），让它学会预测不同 prompt 在当前模型下的难度水平；然后，基于难度评估与 batch 多样性来筛选训练样本，从而大幅减少无效 rollout 的产生。

实验效果令人瞩目。相比 Uniform 随机采样策略，GPS 在训练步数上实现了 1.4×–2.0× 的加速效果；而与需要真实评估的 DS（Dynamic Sampling）Oracle 基线相比，GPS 在保持相近甚至更优性能的前提下，最多可减少 69% 的 rollout 成本，同时训练时间也缩短了 28%–47%。更值得关注的是，训练过程中学习到的小型预测模型，还能复用到测试阶段的计算资源分配中：在固定预算下，最高可提升 3.2% 的性能；或者在性能不下降的情况下，最多节省 36.4% 的推理计算开销。

论文标题：Small Generalizable Prompt Predictive Models Can Steer Efficient RL Post-Training of Large Reasoning Models
论文地址：https://arxiv.org/abs/2602.01970
代码地址：https://github.com/thu-rllab/GPS
论文作者：Yun Qu、Cheems Wang、Yixiu Mao、Heming Zou、Yuhang Jiang、Weijie Liu、Clive Bai、Kai Yang、Yangkun Chen、Saiyong Yang、Xiangyang Ji
机构：清华大学自动化系季向阳教授团队、腾讯混元（LLM Department, Tencent）

研究背景：RL 后训练效果显著，但 rollout 成本成为瓶颈

近年来，大语言模型在数学、代码及复杂问题求解领域的突破性进展，在很大程度上得益于强化学习后训练技术的推动。尤其是 RLVR 这条技术路线，已被大量实践证明极为有效。

然而，其代价同样不容忽视。原因在于：每个训练步骤都需要执行大量 rollout，而 rollout 需要真实调用大模型去生成长答案，计算与显存开销均十分庞大。

更关键的是，并非所有 prompt 都具有同等的训练价值。如果一道题目过于简单，模型几乎每次都能答对，奖励信号缺乏变化，梯度信息就会很弱；反之，如果题目过于困难，模型几乎每次都答错，同样难以提供有效的学习信号。真正具有训练价值的，往往是那些“模型有时能答对、有时会答错”的中等难度 prompt。

这引出了 RL 后训练的一个核心问题：能否在每一轮训练开始前，先精准识别出那些更值得投入资源的 prompt？

目前已有的方法大致可分为两类。一类是基于真实评估的方法，例如 Dynamic Sampling（DS），它会对候选 prompt 额外执行真实 rollout，再过滤掉无效样本。这种方法效果不错，但额外评估本身就非常昂贵。另一类是基于预测的方法，如 MoPPS、GRESO 等，它们尝试根据历史奖励信息来估计 prompt 难度，从而避免大量额外 rollout。然而，这些方法通常将每个 prompt 视为独立对象进行建模：某个 prompt 被采样次数越多，难度估计就越准确；采样次数少，则信息稀疏。更棘手的是，大模型在训练过程中持续变化，同一 prompt 的难度也会随之动态调整，独立建模方式很难跟上这种变化。

因此，论文提出了一个更直接的问题：能否构建一个轻量但具备泛化能力的 PPM，让它充分利用整个优化历史，在不同 prompt 之间共享信息，并通过更优的 batch 选择策略来提升 RL 后训练的效率？

GPS 正是围绕这一核心问题展开的。它不再依赖每一步都进行昂贵的真实评估，而是通过一个轻量 PPM 提前预估 prompt 的训练价值，从而大幅降低成本。

方法：借助小型可泛化 PPM，精准预测哪些 prompt 更值得训练

GPS 的目标并非替代大模型，也不是改变 RLVR 算法本身，而是在训练数据选择环节扮演一个“智能导航器”的角色。

1. 从“单题记账”到“共享历史”：构建可泛化的 Prompt Predictive Model

传统的 prompt-specific PPM 方法，其问题在于它更像是为每道题单独建立一本账本：仅依赖这道题过去答对几次、答错几次的历史记录来估计当前难度。

但模型能力的变化并不是按题目孤立发生的。在训练过程中，当模型在某一类题型上变强后，语义相近、结构相似的其他题目也可能会随之变得容易。为此，GPS 引入了一个全局潜变量，即论文中所说的 difficulty context。可以将其理解为一个压缩后的“当前训练状态”，用于记录模型在过去优化过程中积累的难度信息。

这样一来，即使某个 prompt 过去很少被采样，GPS 也不至于完全缺乏判断依据，它仍然可以参考相似 prompt 的历史表现来估计难度。论文还提供了理论分析：在历史信息确实包含额外预测信号的情况下，使用完整优化历史进行预测，相比仅使用 prompt-specific 历史，能够获得更低的预测均方误差。

2. 不仅挑选“中等难度”，还要避免 batch 内重复

仅仅预测难度还不够，关键在于如何选择一整个 batch。GPS 采用了一个统一的 batch utility，它由两部分组成。

第一部分是难度收益。GPS 更倾向于选择成功率接近 0.5 的 prompt，因为在二值奖励场景中，这类样本更容易产生非零奖励方差，也更可能为 GRPO 等算法提供有效梯度。

第二部分是多样性收益。GPS 不希望一个 batch 中的 prompt 都来自相似题型，否则训练信号会趋于冗余。它同时考虑：batch 内 prompt 之间需要保持足够的分散度；当前 batch 与上一轮 batch 之间也要维持探索性。这种设计在论文中被称为 history-anchored diversity。直观理解就是：既要选择“难度适中”的题目，也要让训练覆盖更多不同区域，避免模型在局部题型上反复打转。

3. 测试时也能复用：将 PPM 转化为计算预算分配器

GPS 的另一个亮点在于，PPM 不仅服务于训练阶段。

对于特别简单的题目，少量采样即可；对于几乎不可解的题目，增加采样也未必有用；真正值得投入更多计算资源的，是那些“有挑战性但仍有可能解出来”的题目。GPS 训练得到的 PPM 可以预测测试 prompt 的难度，并据此将测试样本划分到不同区间：容易题和近乎不可解的题目少分配预算，中等偏难、仍有希望的题目多分配预算。训练阶段学到的难度判断能力，也就能继续用于测试阶段的计算预算分配。

实验设置：数学推理与逻辑推理，两类任务全面验证

论文在两类代表性推理任务上验证了 GPS 的有效性。数学推理方面，训练集使用 DeepScaler，包含 40.3k 个竞赛级数学问题；模型包括 DeepSeek-R1 Distill 1.5B 和 7B；评测集涵盖 MATH500、OlympiadBench、Minerva Math、AMC23、AIME24 等。同时，论文还使用 MMLU-Pro、ARC-c、GPQA-diamond 测试了 out-of-distribution 泛化能力。

逻辑推理方面，论文使用 Countdown Number Game，在 Countdown-34 的 20k 子集上训练，并在 CD34 和更难的 CD4 上评测；模型包括 Qwen3-4B-Base、Qwen3-8B-Base，以及附录中的 Llama-3.2-3B-Instruct。

对比方法包括：Uniform（随机采样 prompt）、MoPPS（为每个 prompt 维护独立 Beta 后验）、PCL（使用 LLM 估计 prompt 难度）、GRESO（基于历史奖励统计进行概率过滤）、DS / DS Oracle（通过真实额外评估筛选 prompt，效果强但成本高）。

实验结果一：GPS 能够快速学会预测 prompt 难度

论文首先考察了 PPM 的预测质量，使用 Spearman rank correlation 来衡量预测难度与经验成功率之间的排序相关性。结果显示，GPS 仅需很少的训练步数，就能快速建立有效的相关性；随着优化历史的积累，相关性持续提升，p-value 也快速降低。换句话说，PPM 学到的并非某几道题的孤立记录，而是训练过程中逐渐形成的 prompt 难度排序。

进一步比较发现，GPS 的难度预测质量显著优于 MoPPS；同时，在有效样本比例 ESR 上，GPS 也明显高于 Uniform 和 MoPPS。这里的 ESR 指一个 batch 中能够产生非零奖励方差的 prompt 比例。ESR 越高，说明该 batch 中真正能提供训练信号的样本越多。

实验结果二：训练速度更快，性能表现也更优

在训练曲线上，GPS 在 Countdown 4B、Countdown 8B、DeepScaler 1.5B、DeepScaler 7B 等多种设置下，均比 Uniform 更快达到相同的性能水平。论文报告，相比 Uniform，GPS 在训练步数上实现了 1.4×–2.0× 的加速。

如果将横轴从训练 step 替换为 rollout 数量，GPS 的优势会更加明显。因为 DS 需要额外真实评估候选 prompt，虽然它在 step 维度上是强基线，但 rollout 成本显著更高。相比 DS，GPS 最多可减少 69% 的 rollout，同时仍然保持相当甚至更优的最终效果。

数学推理结果

数学推理结果中，GPS 的优势主要体现在两个方面：一是平均准确率达到或超过 DS Oracle，二是在多数设置下训练时间更短。

可以看到，在 DSR-1.5B 上，GPS 的 ID 平均准确率达到 56.5，与 DS Oracle 持平，但训练时间仅为 16h，而 DS Oracle 需要 30h；在 OOD 平均准确率上，GPS 达到 33.5，是该组最优结果。在 DSR-7B 上，GPS 的 ID 平均准确率达到 67.4，超过了 DS Oracle 的 67.0；OOD 平均准确率达到 51.5，同样是最好成绩。与此同时，GPS 训练时间为 49h，显著低于 DS Oracle 的 77h。

逻辑推理结果

Countdown 结果也延续了类似的趋势。

在 Qwen3-4B 上，GPS 平均准确率达到 66.6，高于 DS 的 66.2，训练时间为 3.4h，低于 DS 的 4.9h。在 Qwen3-8B 上，GPS 平均准确率达到 68.6，也略高于 DS 的 68.5，训练时间为 5.0h，显著低于 DS 的 6.9h。

因此，GPS 的收益并非简单地用性能换取成本。在这些设置下，它一边减少了 rollout 或训练时间，一边维持甚至提升了平均准确率。论文总结称，相比 Uniform，GPS 在数学任务上带来 1.6–1.9 个百分点的平均提升，在逻辑任务上带来 4.1–5.7 个百分点的平均提升。

实验结果三：测试时计算分配也能实现复用

GPS 的 PPM 在训练过程中学会了 prompt 难度评估后，还能泛化到测试 prompt。论文在多个数学和逻辑测试集上验证了这一点。结果显示，在多数未见测试集上，PPM 预测难度与经验成功率之间仍保持统计显著的相关性。

结果显示，相比默认的固定分配方式，GPS 在固定预算下最高可带来 3.2% 的相对性能提升；或者在性能不损失的前提下，最多节省 36.4% 的计算预算。

这里值得特别指出的一点是：PPM 在训练阶段学到的难度判断能力，并没有仅仅停留在样本选择环节，而是可以迁移到测试阶段，用于决定哪些题目值得分配更多的采样预算。

消融实验：多样性与潜变量均至关重要

论文还进行了算法兼容性与消融实验。在算法兼容性方面，GPS 不仅适用于 GRPO，也能与 PPO 和 Reinforce++ 结合使用。在 Countdown 实验中，GPS 在两种算法下都持续优于 Uniform。这一点非常重要，因为 DS 这类基于真实评估的方法通常依赖每个 prompt 生成多条回答；而 PPO 可能是单响应生成设置，DS 的适配性会受到限制。GPS 依靠预测模型，无需这种额外真实评估，因此更容易迁移到不同的 RLVR 流程中。

在消融实验中，去掉 history-anchored diversity 会导致明显的性能下降；仅去掉 inter-step exploration，也会带来一定程度的下降；如果将生成式 PPM 改为不含潜变量 z 的确定性 PPM，效果同样会变差。

消融结果也印证了 GPS 的设计动机：共享历史负责提升难度预测的泛化能力，batch 多样性用于减少样本冗余，而潜在 difficulty context 则用于刻画训练过程中不断变化的模型状态。

总结：RL 后训练不一定要更“蛮力”，也可以更“会选题”

这篇工作的价值，不在于提出一个更复杂的 RLVR 更新算法，而在于将 prompt 选择这一环节单独拎出来进行优化。对于 RL 后训练而言，真正有价值的样本往往不是最简单的题，也不是完全解不出来的题，而是那些能够产生有效奖励差异的中等难度 prompt。GPS 通过一个小模型提前识别这些样本，并在 batch 中兼顾多样性，从而让大模型减少无效 rollout 的执行。

更进一步，训练阶段学到的难度预测能力还可以迁移到测试阶段，帮助模型将采样预算花在更值得尝试的问题上。在训练成本持续攀升的背景下，这类方法带来的启示非常直接：未来的大模型后训练，可能不再只是单纯地堆砌 GPU 和 rollout，而是先判断哪些题值得练、哪些计算值得花。

主要作者

曲云，清华大学自动化本科博士，在强化学习、大模型效率优化等领域发表顶级期刊 Nat Com 和 CCF-A 类论文 20 余篇，相关成果获得图灵奖得主及国际知名院士 / Fellow 团队引用并正面评价，并受到 Meta、Apple、千问、混元等全球领先科技企业的关注。曾任腾讯混元“青云计划”实习生，深度参与大模型训练与优化，以及智能体系统落地实践，积累了丰富的行业经验。