让一个小模型提前判断：哪些prompt更值得拿来训练。

RLVR已经成为提升大模型推理能力的重要后训练路线。

在数学推理、代码生成和复杂逻辑任务中，模型会针对同一个prompt生成多条Chain-of-Thought，再通过可验证奖励判断对错，并据此更新策略。

但这条路线有一个很现实的问题：成本高。每个训练step都需要大量rollout，而这些rollout往往意味着反复调用大模型生成长答案。

那么，有没有可能不再“平均用力”，而是让一个小模型提前判断：哪些prompt更值得拿来训练？

来自清华大学与腾讯的研究者提出了Generalizable Predictive Prompt Selection（GPS）。GPS的做法很直接：先训练一个小型、可泛化的Prompt Predictive Model（PPM），让它预测不同prompt在当前模型下的难度；再根据难度和batch多样性选择训练样本，从而减少无效rollout。

实验显示，GPS在数学推理和逻辑推理任务上都带来了明显收益：相比Uniform随机采样，训练步数加速达到1.4×–2.0×；相比需要真实评估的DS（Dynamic Sampling）Oracle基线，GPS在保持相近甚至更优性能的同时，最多减少69% rollout成本，训练时间减少28%–47%。更有意思的是，这个训练过程中学到的小预测模型，还可以复用到测试时计算分配中：在固定预算下最高提升3.2%，或在性能不下降的情况下最多节省36.4%推理计算。

研究背景：RL后训练很强，但rollout成本太高

近年来，大语言模型在数学、代码和复杂问题求解上的进步，很大程度上依赖强化学习后训练。

尤其是RLVR：模型针对一个prompt生成多条长链式推理回答，再通过可验证奖励函数判断对错，最后用GRPO、PPO、Reinforce++等算法更新策略。

这种方法有效，但代价非常高。原因很直接：每个训练step都需要大量rollout，而rollout需要真实调用大模型生成长答案，计算和显存开销都很大。

更关键的是，并不是所有prompt都同样有训练价值。

如果一个题太简单，模型几乎每次都能答对，奖励没有变化，梯度信号很弱；如果一个题太难，模型几乎每次都答错，同样很难提供有效学习信号。真正有价值的，往往是那些“模型有时能答对、有时会答错”的中等难度prompt。

这意味着，RL后训练的核心问题之一不是“能不能多训练”，而是：

能不能在每一步训练前，先找出更值得训练的prompt？

已有方法大致分为两类。

一类是基于真实评估的方法，例如Dynamic Sampling（DS）。它会对候选prompt额外做真实rollout，再筛掉无效样本。这类方法效果不错，但额外评估本身就非常昂贵。

另一类是基于预测的方法，例如MoPPS、GRESO等。它们试图根据历史奖励估计prompt难度，避免大量额外rollout。但这些方法通常把每个prompt当成独立对象建模：某个prompt被采样得多，难度估计就更准；采样得少，信息就很稀疏。更麻烦的是，大模型在训练中不断变化，同一个prompt的难度也会随时间变化，独立建模很难跟上这种动态变化。

因此，论文提出了一个更直接的问题：

是否可以构建一个轻量但可泛化的PPM，让它利用整个优化历史，在不同prompt之间共享信息，并用更好的batch选择策略提升RL后训练效率？

GPS正是围绕这个问题展开：它不再依赖每一步都做昂贵的真实评估，而是用一个轻量PPM提前估计prompt的训练价值。

方法：用小型可泛化PPM，预测哪些prompt更值得训练

GPS的目标不是替代大模型，也不是改变RLVR算法本身，而是在训练数据选择环节充当“导航器”。

它先用Generalizable PPM预测候选prompt的难度，再结合中等难度收益和batch多样性挑选训练样本。训练完成后，这个PPM还可以继续用于测试阶段，根据题目难度分配Best-of-N采样预算。

1. 从“单题记账”到“共享历史”：可泛化的Prompt Predictive Model

传统prompt-specific PPM的问题在于，它更像是给每道题单独建一本账：这道题过去答对几次、答错几次，就用这点历史估计它现在的难度。

但模型能力的变化并不是按题目孤立发生的。训练过程中，模型在某一类题型上变强后，语义相近、结构相似的其他题也可能随之变容易。

为此，GPS引入了一个全局潜变量，也就是论文中所说的difficulty context。它可以被理解为一个压缩后的“当前训练状态”，用于记录模型在过去优化过程中积累出的难度信息。

在第t步训练时，GPS会根据历史轨迹生成difficulty context，再结合候选prompt，预测该prompt的成功率。这个成功率可以理解为当前大模型解决这个prompt的概率。

因此，即便某个prompt过去很少被采样，GPS也不至于完全缺少依据，它仍然可以参考相似prompt的历史表现来估计难度。

论文还给出了理论分析：在历史信息确实包含额外预测信号时，使用完整优化历史进行预测，相比只使用prompt-specific历史，能够获得更低的预测均方误差。

2. 不只挑“中等难度”，还要避免batch内重复

只预测难度还不够，关键是如何选择一整个batch。

GPS采用了一个统一的batch utility。它由两部分组成。

第一部分是难度收益。GPS更偏好成功率接近0.5的prompt，因为在二值奖励场景中，这类样本更容易产生非零奖励方差，也更可能给GRPO等算法提供有效梯度。

第二部分是多样性收益。GPS不希望一个batch里的prompt都来自相似题型，否则训练信号会冗余。它同时考虑：

• batch内prompt之间要有足够分散度；
• 当前batch与上一轮batch之间也要保持探索性。

这种设计被论文称为history-anchored diversity。直观理解就是：既要选“难度刚好”的题，也要让训练覆盖更多不同区域，避免模型在局部题型上反复打转。

3. 测试时也能用：把PPM变成计算预算分配器

GPS的另一个亮点是，PPM不只服务训练。

在测试时，大模型常常会用Best-of-N采样：同一道题生成多次答案，再从中选更好的结果。但如果每道题都分配同样的采样次数，就会浪费预算。

对特别简单的题，少采样就够了；对几乎不可解的题，多采样也未必有用；真正值得投入更多计算的，是“有挑战但仍可能解出来”的题。

GPS训练得到的PPM可以预测测试prompt的难度，并据此把测试样本分成不同区间：容易题和近乎不可解的题少分配预算，中等偏难、仍有希望的题多分配预算。

训练阶段学到的难度判断，也就可以继续用于测试阶段的计算预算分配。

实验设置：数学推理与逻辑推理，两类任务全面验证

论文在两类代表性推理任务上验证GPS。

数学推理方面，训练集使用DeepScaler，包含40.3k个竞赛级数学问题；模型包括DeepSeek-R1 Distill 1.5B和7B；评测集包括MATH500、OlympiadBench、Minerva Math、AMC23、AIME24等。同时，论文还用MMLU-Pro、ARC-c、GPQA-diamond测试out-of-distribution泛化能力。

逻辑推理方面，论文使用Countdown Number Game，在Countdown-34的20k子集上训练，并在CD34和更难的CD4上评测；模型包括Qwen3-4B-Base、Qwen3-8B-Base，以及附录中的Llama-3.2-3B-Instruct。

对比方法包括：

• Uniform：随机采样prompt；
• MoPPS：为每个prompt维护独立Beta后验；
• PCL：使用LLM估计prompt难度；
• GRESO：基于历史奖励统计进行概率过滤；
• DS / DS Oracle：通过真实额外评估筛选prompt，效果强但成本高。

实验结果

实验结果一：GPS很快学会预测prompt难度

论文首先考察PPM的预测质量，使用Spearman rank correlation衡量预测难度与经验成功率之间的排序相关性。

结果显示，GPS只需要很少训练步数，就能快速建立有效相关性；随着优化历史积累，相关性继续提升，p-value也快速降低。换句话说，PPM学到的不是某几道题的孤立记录，而是训练过程中逐渐形成的prompt难度排序。

进一步比较发现，GPS的难度预测质量显著优于MoPPS；同时，在有效样本比例ESR上，GPS也明显高于Uniform和MoPPS。

这里的ESR指一个batch中能够产生非零奖励方差的prompt比例。ESR越高，说明这个batch中真正能提供训练信号的样本越多。

实验结果二：训练更快，性能也更高

在训练曲线上，GPS在Countdown 4B、Countdown 8B、DeepScaler 1.5B、DeepScaler 7B等多种设置下，都比Uniform更快达到相同性能水平。

论文报告，相比Uniform，GPS在训练步数上带来1.4×–2.0×加速。

如果把横轴从训练step换成rollout数量，GPS的优势会更明显。

因为DS需要额外真实评估候选prompt，虽然它在step维度上是强基线，但rollout成本显著更高。相比DS，GPS最多减少69%rollout，同时仍保持相当甚至更好的最终效果。

数学推理结果

数学推理结果中，GPS的优势主要体现在两个方面：一是平均准确率达到或超过DS Oracle，二是在多数设置下训练时间更短。

可以看到，在DSR-1.5B上，GPS的ID平均准确率达到56.5，与DS Oracle持平，但训练时间只有16h，而DS Oracle需要30h；在OOD平均准确率上，GPS达到33.5，是该组最好结果。

在DSR-7B上，GPS的ID平均准确率达到67.4，超过DS Oracle的67.0；OOD平均准确率达到51.5，同样是最好结果。与此同时，GPS训练时间为49h，明显低于DS Oracle的77h。

逻辑推理结果

Countdown结果也延续了类似趋势。

在Qwen3-4B上，GPS平均准确率达到66.6，高于DS的66.2，训练时间为3.4h，低于DS的4.9h。

在Qwen3-8B上，GPS平均准确率达到68.6，也略高于DS的68.5，训练时间为5.0h，明显低于DS的6.9h。

因此，GPS的收益不是简单用性能换成本。在这些设置下，它一边减少了rollout或训练时间，一边维持甚至提升了平均准确率。论文总结称，相比Uniform，GPS在数学任务上带来1.6–1.9个点的平均提升，在逻辑任务上带来4.1–5.7个点的平均提升。

实验结果三：测试时计算分配也能复用

GPS的PPM在训练中学到prompt难度后，还能泛化到测试prompt。

论文在多个数学和逻辑测试集上验证了这一点。结果显示，在多数未见测试集上，PPM预测难度与经验成功率之间仍保持统计显著相关。

进一步地，研究者用PPM指导测试时计算分配：不再给每道题固定相同的Best-of-N采样预算，而是根据难度分配不同样本数。

结果显示，相比默认固定分配，GPS可以在固定预算下最高带来3.2%相对提升；或者在性能无损的情况下最多节省36.4%计算预算。

这里值得注意的是：PPM在训练阶段学到的难度判断，并没有只停留在样本选择上，还可以迁移到测试阶段，用来决定哪些题值得分配更多采样预算。

消融实验：多样性和潜变量都很关键

论文还进行了算法兼容性与消融实验。

在算法兼容性方面，GPS不只适用于GRPO，也能与PPO和Reinforce++结合。在Countdown实验中，GPS在两种算法下都持续优于Uniform。

这点很重要，因为DS这类基于真实评估的方法通常依赖每个prompt生成多条回答；而PPO可能是单响应生成设置，DS的适配性会受到限制。GPS依靠预测模型，不需要这种额外真实评估，因此更容易迁移到不同RLVR流程。

在消融实验中，去掉history-anchored diversity会造成明显性能下降；只去掉inter-step exploration，也会带来一定下降；如果把生成式PPM改成不含潜变量z的确定性PPM，效果同样变差。

消融结果也能对应回GPS的设计动机：共享历史负责提升难度预测的泛化能力，batch多样性减少样本冗余，潜在difficulty context则用于刻画训练过程中不断变化的模型状态。

总结：RL后训练不一定要更“蛮力”，也可以更“会选题”

这篇工作的价值，不在于提出一个更复杂的RLVR更新算法，而在于把prompt选择这个环节单独拎了出来。

对RL后训练来说，真正有价值的样本往往不是最简单的题，也不是完全解不出来的题，而是那些能够产生有效奖励差异的中等难度prompt。GPS用一个小模型提前识别这些样本，并在batch里兼顾多样性，从而让大模型少做无效rollout。

更进一步，训练阶段学到的难度预测能力还可以迁移到测试阶段，帮助模型把采样预算花在更值得尝试的问题上。

在训练成本越来越高的背景下，这类方法给出的启发很直接：未来的大模型后训练，可能不只是继续堆GPU和rollout，而是先判断哪些题值得练、哪些计算值得花。

主要作者

曲云，清华大学自动化本科博士，在强化学习、大模型效率优化等领域发表顶级期刊Nat Com和CCF-A类论文20余篇，相关成果获得图灵奖得主及国际知名院士/Fellow团队引用并正面评价，并受到Meta、Apple、千问、混元等全球领先科技企业关注。

曾任腾讯混元“青云计划”实习生，深度参与大模型训练与优化，及智能体系统落地经验。