* **论文标题**：Small Generalizable Prompt Predictive Models Can Steer Efficient RL Post-Training of Large Reasoning Models
* **论文地址**：https://arxiv.org/abs/2602.01970
* **代码地址**：https://github.com/thu-rllab/GPS
* **论文作者**：Yun Qu、Cheems Wang、Yixiu Mao、Heming Zou、Yuhang Jiang、Weijie Liu、Clive Bai、Kai Yang、Yangkun Chen、Saiyong Yang、Xiangyang Ji
* **机构**：清华大学自动化系季向阳教授团队、腾讯混元（LLM Department, Tencent）
研究背景：RL后训练能力强大，但rollout成本居高不下
近年来，大语言模型在数学、代码和复杂问题求解上的显著进步，很大程度上依赖于强化学习后训练。 尤其是 RLVR：模型针对一个提示生成多条长链式推理回答，再通过可验证奖励函数判断对错，最后用 GRPO、PPO、Reinforce++ 等算法更新策略。 这种方法有效，但代价非常高昂。原因很直接：每个训练步骤都需要大量 rollout，而 rollout 需要真实调用大模型生成长答案，计算和显存开销都很大。 更关键的是，并非所有提示都具有同等的训练价值。 如果一个题目过于简单，模型几乎每次都能答对，奖励没有变化，梯度信号很弱；如果一个题目过于困难，模型几乎每次都答错，同样很难提供有效学习信号。真正有价值的，往往是那些 “模型有时能答对、有时会答错” 的中等难度提示。 这意味着，RL 后训练的核心问题之一不是 “能不能多训练”，而是：能否在每一步训练前，先找出更值得训练的提示？ 已有的方法大致分为两类。一类是基于真实评估的方法，例如 Dynamic Sampling（DS）。它会对候选提示额外做真实 rollout，再筛掉无效样本。这类方法效果不错，但额外评估本身就非常昂贵。另一类是基于预测的方法，例如 MoPPS、GRESO 等。它们试图根据历史奖励估计提示难度，避免大量额外 rollout。但这些方法通常把每个提示当成独立对象建模：某个提示被采样得多，难度估计就更准；采样得少，信息就很稀疏。更麻烦的是，大模型在训练中不断变化，同一个提示的难度也会随时间动态变化，独立建模很难跟上这种变化。 因此，论文提出了一个更直接的问题：是否可以构建一个轻量但可泛化的 PPM，让它利用整个优化历史，在不同提示之间共享信息，并用更好的批次选择策略提升 RL 后训练效率？ GPS 正是围绕这个问题展开：它不再依赖每一步都做昂贵的真实评估，而是用一个轻量 PPM 提前估计提示的训练价值。方法：用小型可泛化PPM，预测哪些提示更值得训练
GPS 的目标不是替代大模型，也不是改变 RLVR 算法本身，而是在训练数据选择环节充当 “导航器”。它先用 Generalizable PPM 预测候选提示的难度，再结合中等难度收益和批次多样性挑选训练样本。训练完成后，这个 PPM 还可以继续用于测试阶段，根据题目难度分配 Best-of-N 采样预算。从“单题记账”到“共享历史”：可泛化的Prompt Predictive Model
传统 prompt-specific PPM 的问题在于，它更像是给每道题单独建一本账：这道题过去答对几次、答错几次，就用这点历史估计它现在的难度。但模型能力的变化并不是按题目孤立发生的。训练过程中，模型在某一类题型上变强后，语义相近、结构相似的其他题也可能随之变得容易。 为此，GPS 引入了一个全局潜变量，也就是论文中所说的 difficulty context。它可以被理解为一个压缩后的 “当前训练状态”，用于记录模型在过去优化过程中积累出的难度信息。在第 t 步训练时，GPS 会根据历史生成 difficulty context，再结合候选提示，预测该提示的成功率。这个可以理解为当前大模型解决这个提示的概率。因此，即便某个提示过去很少被采样，GPS 也不至于完全缺少依据，它仍然可以参考相似提示的历史表现来估计难度。 论文还给出了理论分析：在历史信息确实包含额外预测信号时，使用完整优化历史进行预测，相比只使用 prompt-specific 历史，能够获得更低的预测均方误差。不只挑“中等难度”，还要避免batch内重复
只预测难度还不够，关键是如何选择一整个批次。GPS 采用了一个统一的 batch utility，它由两部分组成。第一部分是难度收益。GPS 更偏好成功率接近 0.5 的提示，因为在二值奖励场景中，这类样本更容易产生非零奖励方差，也更可能给 GRPO 等算法提供有效梯度。第二部分是多样性收益。GPS 不希望一个批次里的提示都来自相似题型，否则训练信号会冗余。它同时考虑：批次内提示之间要有足够分散度；当前批次与上一轮批次之间也要保持探索性。这种设计被论文称为 **history-anchored diversity**。直观理解就是：既要选 “难度刚好” 的题，也要让训练覆盖更多不同区域，避免模型在局部题型上反复打转。测试时也能用：把PPM变成计算预算分配器
GPS 的另一个亮点是，PPM 不只服务训练。在测试时，大模型常常会用 Best-of-N 采样：同一道题生成多次答案，再从中选更好的结果。但如果每道题都分配同样的采样次数，就会浪费预算。对特别简单的题，少采样就够了；对几乎不可解的题，多采样也未必有用；真正值得投入更多计算的，是 “有挑战但仍可能解出来” 的题。GPS 训练得到的 PPM 可以预测测试提示的难度，并据此把测试样本分成不同区间：容易题和近乎不可解的题少分配预算，中等偏难、仍有希望的题多分配预算。训练阶段学到的难度判断，也就可以继续用于测试阶段的计算预算分配。实验设置：数学推理与逻辑推理，两类任务全面验证
论文在两类代表性推理任务上验证 GPS。数学推理方面，训练集使用 DeepScaler，包含 40.3k 个竞赛级数学问题；模型包括 DeepSeek-R1 Distill 1.5B 和 7B；评测集包括 MATH500、OlympiadBench、Minerva Math、AMC23、AIME24 等。同时，论文还用 MMLU-Pro、ARC-c、GPQA-diamond 测试 out-of-distribution 泛化能力。逻辑推理方面，论文使用 Countdown Number Game，在 Countdown-34 的 20k 子集上训练，并在 CD34 和更难的 CD4 上评测；模型包括 Qwen3-4B-Base、Qwen3-8B-Base，以及附录中的 Llama-3.2-3B-Instruct。 对比方法包括：Uniform（随机采样提示）、MoPPS（为每个提示维护独立 Beta 后验）、PCL（使用 LLM 估计提示难度）、GRESO（基于历史奖励统计进行概率过滤）、DS/DS Oracle（通过真实额外评估筛选提示，效果强但成本高）。实验结果一：GPS很快学会预测提示难度
论文首先考察 PPM 的预测质量，使用 Spearman rank correlation 衡量预测难度与经验成功率之间的排序相关性。结果显示，GPS 只需要很少训练步数，就能快速建立有效相关性；随着优化历史积累，相关性继续提升，p-value 也快速降低。换句话说，PPM 学到的不是某几道题的孤立记录，而是训练过程中逐渐形成的提示难度排序。
进一步比较发现，GPS 的难度预测质量显著优于 MoPPS；同时，在有效样本比例 ESR 上，GPS 也明显高于 Uniform 和 MoPPS。这里的 ESR 指一个批次中能够产生非零奖励方差的提示比例。ESR 越高，说明这个批次中真正能提供训练信号的样本越多。
实验结果二：训练更快，性能也更高
在训练曲线上，GPS 在 Countdown 4B、Countdown 8B、DeepScaler 1.5B、DeepScaler 7B 等多种设置下，都比 Uniform 更快达到相同性能水平。论文报告，相比 Uniform，GPS 在训练步数上带来1.4×–2.0×加速。
如果把横轴从训练步数换成 rollout 数量，GPS 的优势会更明显。因为 DS 需要额外真实评估候选提示，虽然它在步数维度上是强基线，但 rollout 成本显著更高。相比 DS，GPS 最多减少69% rollout，同时仍保持相当甚至更好的最终效果。
数学推理结果
数学推理结果中，GPS 的优势主要体现在两个方面：一是平均准确率达到或超过 DS Oracle，二是在多数设置下训练时间更短。可以看到，在 DSR-1.5B 上，GPS 的 ID 平均准确率达到 56.5，与 DS Oracle 持平，但训练时间只有 16h，而 DS Oracle 需要 30h；在 OOD 平均准确率上，GPS 达到 33.5，是该组最好结果。在 DSR-7B 上，GPS 的 ID 平均准确率达到 67.4，超过 DS Oracle 的 67.0；OOD 平均准确率达到 51.5，同样是最好结果。与此同时，GPS 训练时间为 49h，明显低于 DS Oracle 的 77h。逻辑推理结果
Countdown 结果也延续了类似趋势。
在 Qwen3-4B 上，GPS 平均准确率达到 66.6，高于 DS 的 66.2，训练时间为 3.4h，低于 DS 的 4.9h。在 Qwen3-8B 上，GPS 平均准确率达到 68.6，也略高于 DS 的 68.5，训练时间为 5.0h，明显低于 DS 的 6.9h。
因此，GPS 的收益不是简单用性能换成本。在这些设置下，它一边减少了 rollout 或训练时间，一边维持甚至提升了平均准确率。论文总结称，相比 Uniform，GPS 在数学任务上带来1.6–1.9 个点的平均提升，在逻辑任务上带来4.1–5.7 个点的平均提升。
实验结果三：测试时计算分配也能复用
GPS 的 PPM 在训练中学到提示难度后，还能泛化到测试提示。论文在多个数学和逻辑测试集上验证了这一点。结果显示，在多数未见测试集上，PPM 预测难度与经验成功率之间仍保持统计显著相关。进一步地，研究者用 PPM 指导测试时计算分配：不再给每道题固定相同的 Best-of-N 采样预算，而是根据难度分配不同样本数。结果显示，相比默认固定分配，GPS 可以在固定预算下最高带来3.2%相对提升；或者在性能无损的情况下最多节省36.4%计算预算。
这里值得注意的是：PPM 在训练阶段学到的难度判断，并没有只停留在样本选择上，还可以迁移到测试阶段，用来决定哪些题值得分配更多采样预算。
消融实验：多样性和潜变量都很关键
论文还进行了算法兼容性与消融实验。在算法兼容性方面，GPS 不只适用于 GRPO，也能与 PPO 和 Reinforce++ 结合。在 Countdown 实验中，GPS 在两种算法下都持续优于 Uniform。这点很重要，因为 DS 这类基于真实评估的方法通常依赖每个提示生成多条回答；而 PPO 可能是单响应生成设置，DS 的适配性会受到限制。GPS 依靠预测模型，不需要这种额外真实评估，因此更容易迁移到不同 RLVR 流程。 在消融实验中，去掉 history-anchored diversity 会造成明显性能下降；只去掉 inter-step exploration，也会带来一定下降；如果把生成式 PPM 改成不含潜变量 z 的确定性 PPM，效果同样变差。消融结果也能对应回 GPS 的设计动机：共享历史负责提升难度预测的泛化能力，批次多样性减少样本冗余，潜在 difficulty context 则用于刻画训练过程中不断变化的模型状态。