这项由伊利诺伊大学厄巴纳-香槟分校研究员主导的研究，于2026年6月30日以预印本形式发表，论文编号为arXiv:2607.00152。感兴趣的读者可直接使用此编号查阅原始论文。
**一个你可能忽略的核心问题**
首先需要明确一个关键判断。当前市面上表现最强的AI推理系统——能够解决复杂数学题、编写代码并进行抽象逻辑推理的模型——其背后的训练机制，绝大多数人并不了解，甚至连部分AI从业者也仅略知一二。过去几年，研究界陆续提出了三种训练方法，每种方法都拥有独立的名称、论文以及改进逻辑。然而，这两位研究者完成了一件看似简单却极具洞察力的工作：他们彻底拆解并并列对比了这三种方法的数学推导过程，最终发现——这三种方法并非三项独立的发明，而只是对同一个数值进行了三种不同的数学处理。
这个数值就是“标准差”。更精确地说，是同一道题多次作答中，正确答案与错误答案之间的分歧程度。
**一、AI学习的底层机制：为何要让模型反复作答同一道题**
要理解这一发现的重要性，需先了解这类AI是如何被训练出来的。
现代AI推理模型的训练方式与我们通常理解的“刷题”存在根本差异。在训练阶段，系统会将同一道题目交给模型进行多次回答——例如8次或16次。这些重复回答并非向用户展示，而是供训练系统自行分析。每次作答后，自动检验程序（如同一名不知疲倦的阅卷老师）会进行评分：答对得1分，答错得0分。
为何要如此操作？逻辑其实很简单：如果模型八次全部答错，说明它完全不会解答此题，没有任何成功路径可供借鉴；如果八次全部答对，则表明它已熟练掌握，没有失败案例可供警示。只有当部分答对、部分答错时，训练系统才能进行真正有意义的操作——它能够对比“答对时的思考路径”与“答错时的思考路径”之间的差异，然后引导模型：朝着正确的方向前进，远离错误的路径。
这种分歧，即所谓的“组内标准差”。当答案一半对一半错时，分歧最大，标准差最高；当全部一致时，分歧为零，标准差也为零。
**二、三种方法的真实面貌：同一个旋钮，三种调节方式**
接下来介绍这三种方法。
第一种名为GRPO（群体相对策略优化，Group Relative Policy Optimization），是目前应用最广泛的方法，由DeepSeek团队在训练数学推理模型时推广开来。其核心操作是：计算出该题的“分歧程度”（即标准差σ），然后将训练信号**除以**这个数值。此操作的效果是，对所有题目的训练强度进行一种特殊的均衡——特别难和特别简单的题目会获得更大的训练权重。
第二种名为Dr. GRPO（正确版GRPO，Dr. GRPO），由另一个团队针对GRPO的“纠错”版本提出。他们认为GRPO存在一个问题——极端难度的题目被过度关注。于是他们的解决方案是：**直接去除除法**。不再除以标准差，而是直接使用原始训练信号。这样一来，每道题所获得的关注度仅与“这道题有多大比例答对了”成正比，不再特别偏向某个难度区间。
第三种名为DAPO（解耦裁剪动态采样策略优化，Decoupled Clipping and Dynamic Sampling Policy Optimization），它关注的则是另一个麻烦：如果一道题八次全对或全错，标准差为零，根本无法产生任何训练信号。DAPO的解决方案非常直接：**直接丢弃这种全对或全错的题目组**，并额外采集一些有分歧的题目进行补充。
将这三种方法并列对比，研究者发现了一个共同点：它们都在处理同一个数值——标准差σ。GRPO将其作为分母，Dr. GRPO去掉了这个分母，DAPO则过滤掉了使其为零的情况。正如论文标题所言，这就是“三种操作”——并非三项独立的发明，而是同一个旋钮被拨向了三个不同的位置。
**三、那个精妙的等式：学习信号恰好等于分歧程度本身**
研究者接着证明了一个在数学上极为简洁的结论，这也是该篇论文的核心定理。
通俗来讲：假设对同一道题进行了G次采样，其中k次答对、G−k次答错。那么GRPO对该道题产生的实际训练更新，恰好等于√(k×(G−k)/G)——即该题的“组内标准差”——再乘以“正确答案的平均特征与错误答案的平均特征之差”。
这个等式无论使用何种基准线（baseline）进行减法都成立，无论模型拥有多少参数、在哪个维度的参数空间中操作，均永远成立。这就是论文所称的“群体标准差恒等式”。
这个等式的意义在于：标准差不仅仅是一个用于做除法的分母，它本身就是训练信号的大小。一道答案五五开、半对半错的题目，会产生最强的学习信号；一道答案一边倒的题目，学习信号则为零。分歧程度，即学习量。
打个比方：这就像学生面对一套测试题，只有那些“有时做对、有时做错”的题目，才是真正值得反复练习的。每次都能做对的，无需再练；每次都做错的，暂时也无从下手——因为你连一个可以参照的正确版本都没有。只有那些摇摆不定的题目，才是当下最有价值的练习材料。
**四、这个发现带来的三个具体实用结论**
从这个核心等式出发，研究者推导出了三个可以直接应用于实践中的结论，每一个都能回应AI训练中常见的难点问题。
第一个结论关于“每道题应采样几次”。采样越多，越能准确感知该题的真实难度，但计算资源有限。研究者推导出了一个简洁的公式：如果想让一道题的训练信号达到理论最大值的至少(1−ε)倍，所需的采样次数G约为1/(8εp(1−p))，其中p是该题被答对的概率。
这个公式揭示了一个有趣的现象：难度越极端的题目，所需采样次数越多。一道答对概率恰为50%的“中等难度”题，大约采样10到11次即可；而一道答对概率仅为5%的“超难题”，要达到相同精度，需要接近70次。换句话说，固定的采样数量（如常用的G=8），对中等难度题已足够，但对极难题严重不足——在G=8时，超难题只能实现约54%的理论最大学习信号，而中等难度题能实现93%。
这并非泛泛的定性结论，而是有具体数字可查的。研究者提供了一张对照表：在不同难度、不同目标精度（90%、95%、99%）下，各自需要多少次采样。例如，需要99%精度、题目答对率为5%时，需273次采样；而相同精度、答对率50%时，仅需51次。
第二个结论关于“有多少训练资源被白白浪费了”。当一道题全部答对或全部答错时，标准差为零，整组训练数据产生零学习信号——这种情况被称为“沉默组”。沉默组的概率精确等于p的G次方加(1−p)的G次方，其中p是该题的答对概率。
研究者将这个公式应用于真实数据。他们使用了一个名为Big-Math的大型数学题数据集，包含215,608道题，每道题都有Llama-3.1-8B模型进行了64次尝试的实际答对率。在这份数据中，当采样次数G=8时，44%的题目组形成了沉默组，产生零学习信号；即使将采样次数增加到64，仍有17%的题目组保持沉默。更麻烦的是，其中11.2%的题目在任何采样次数下都永远沉默——因为它们要么每次都答对（太简单），要么每次都答错（太难），无论抽取多少次样，都不会出现有对有错的分歧局面。这正是DAPO需要额外动态替换采样的原因：它实际上是在系统性地消除这些沉默组。
第三个结论关于“GRPO和Dr. GRPO究竟优化的是什么目标”。当采样次数趋近无穷大时，GRPO的训练方向等价于优化一个称为“反正弦变换”的数学函数：2×arcsin(√p)，而Dr. GRPO优化的是原始的答对率p本身。这两个目标在数学形状上存在显著区别：反正弦变换对极端难度的题目赋予了更高的边际权重，而原始答对率则对所有难度一视同仁。
具体来说，GRPO给每道题赋予的“边际学习权重”等于1/√(p(1−p))。当题目难度恰为50%时，权重为2；当难度为5%时，权重约4.6——是中等难度题的两倍多。这就是Dr. GRPO论文中所提到的“难度偏差”：GRPO会自动过度关注极难和极简单的题目。而Dr. GRPO去除了除法后，每道题的权重变为固定的1，没有任何难度偏向。
这个发现的重要性在于：这种“难度偏差”并非GRPO的意外副作用或设计失误，而是它在数学上必然带来的结果——只要你用标准差做除法，你就是在隐式地优化那个反正弦变换，就必然会得到这种难度偏向的权重分配。理解了这一点，你才能有意识地做出选择：是采用GRPO那种偏向极端难度的优化方式，还是Dr. GRPO那种均等对待所有难度的方式。
**五、在真实数据上的验证：理论预测与现实高度吻合**
研究者在Big-Math数据集上验证了以上所有理论预测，并开展了一次受控的模拟训练实验。
在数据集分析部分，他们首先描述了Big-Math的难度分布：该数据呈现明显的双峰分布，4%的题目从未被答对（答对率为0），7.2%的题目每次都被答对（答对率为1），中间区域存在广泛分布。这表明极端难度的题目在现实数据中占据了真实比例，绝非理论上的边缘案例。
在梯度预算分配方面，对比了GRPO和Dr. GRPO在该数据上的实际差异：GRPO将24.7%的有效训练梯度分配给了极端难度题目（答对率低于10%或高于90%），而Dr. GRPO仅分配了13.9%——差距接近1.8倍。相应地，GRPO对中等难度题分配的梯度比例（17.5%）低于Dr. GRPO（22.8%）。这一差异并非小数字游戏，而是训练信号分布的实质性改变。
在模拟训练实验中，研究者构建了6,000个简化版“模型”，每个模型对应一道题，初始难度从Big-Math的真实分布中抽取，然后分别使用GRPO、Dr. GRPO和DAPO三种规则进行150步训练。
实验结果与理论预测的吻合程度令人印象深刻。沉默组比率的变化曲线与理论公式的预测值达到了R²=0.999的契合度——几乎完美。梯度质量分布也与有限采样下的理论修正公式精确匹配。在学习轨迹方面，对于初始最难的那25%题目，GRPO在150步后将平均答对率提升至0.99，Dr. GRPO仅达到0.88，而DAPO（动态替换沉默组）最快达到高答对率，但代价是需要3.5倍的额外采样开销。
这个实验不仅验证了数学公式，还展示了三种方法在实际训练动态上的差异：GRPO因对极端难度题目赋予更高权重，因此在最难掌握的题目上进步更快；Dr. GRPO进步更均匀，但对极难题目的推进较慢；DAPO通过避免在沉默组上浪费计算资源，将所有资源都集中到有实际学习信号的题目上，速度最快，但需要持续检测和替换采样。
**六、这个发现对AI训练实践意味着什么**
研究者在论文中非常谨慎地指出：这项研究的结论并非“哪种方法最好”，而是揭示了这三种方法的实质差异，让从业者能有意识地做出选择。
选择GRPO，意味着你认为对极端难度的题目施加更多训练压力是值得的——这样可以更有效地“攻克”那些极难题目，但代价是你的隐式目标变成了那个反正弦变换，而非原始答对率。选择Dr. GRPO，意味着你希望模型在整体答对率上均匀提升，不偏不倚地对待每个难度层级。选择DAPO的动态采样策略，意味着你重视计算效率——宁愿多花费几次采样来确保每次更新都有实际意义，而不是将更新浪费在全对或全错的无效题目组上。
论文还有一个更深层的启示：这种“单组精确核算”的分析框架，可以被推广到其他训练设计选择上。基于排名的优势函数、基于分位数的奖励、奖励裁剪、长度归一化——每一种都可以用同样的方式，从“一道题、一组采样、一次精确更新”出发进行分析，将各种看似神秘的工程选择还原为可理解的数学操作。
当然，这项研究的局限性同样值得提及。论文中的核心等式专门针对二元奖励（答对得1，答错得0）和单次在线更新的情况。对于奖励裁剪、KL惩罚项、离策略更新、非二元奖励等情况，相同的分析框架需要额外处理。受控实验是在一个大幅简化的标量模型上进行的，真实语言模型的训练动态会更加复杂。不过，研究者指出，核心等式本身在数学上对任意维度的策略都成立，真实语言模型的训练日志中，理应能观察到相同的现象。
归根结底，这项研究完成了一件非常朴素的事情：将三个独立讨论的方法，找到了它们共同的根源。那个根源，是一个可以直接从采样数据中计算出的数值——组内标准差。它不仅仅是一个用于做除法的分母，它就是这道题当前能够产生的学习量本身。分歧越大，学习越多；完全没有分歧，就什么都学不到。
有兴趣深入了解完整数学推导和实验细节的读者，可通过arXiv编号2607.00152查阅原始论文。研究团队还在GitHub上开放了全部代码，供任何人复现验证。
Q&A
Q1：GRPO和Dr. GRPO到底有什么实质区别，哪个效果更好？
A：GRPO在计算训练信号时多了一个“除以组内标准差”的步骤，这使得它在数学上等价于优化反正弦变换目标，会给极难和极简单的题目赋予更高的训练权重；Dr. GRPO则去除了这个除法，优化的是原始答对率，对所有难度一视同仁。没有绝对更好的说法，具体取决于训练目标：想要更侧重攻克极难题目就选择GRPO，希望整体均匀提升则选择Dr. GRPO。
Q2：GRPO训练时为什么要让AI对同一道题做很多遍，不是很浪费资源吗？
A：这些重复回答并非真正的“浪费”，而是用于测量AI当前对该题的不确定性。只有当部分尝试答对、部分答错时，才能比较两种路径的差异，从而产生有效的学习信号。如果全答对或全答错，根本没有对比可做，重复多少遍都是零学习信号。重复采样的目的，正是为了找到这种“有分歧”的状态。
Q3：DAPO的动态采样是什么意思，它解决的是什么问题？
A：DAPO发现，当AI对某道题的所有尝试结果完全一致（全对或全错）时，组内标准差为零，这组数据完全无法产生任何训练更新。DAPO的解决方案是检测到这种“沉默组”后直接丢弃，再换一道有对有错分歧的题目顶替。在包含215,608道题的Big-Math数据集里，G=8时有44%的题目组会出现这种沉默情况，DAPO通过动态替换将这部分计算资源用到了关键地方。
