北大千问团队推出数学专用版CriticGPT，“找茬”让大模型进步更快

批评是进步的阶梯——这一道理在大模型领域同样适用。

OpenAI 曾基于这一思路打造了一款“纠错模型”CriticGPT。巧合的是，就在 CriticGPT 发布前数日，北京大学联合千问等团队以相近的思路，设计了一款“数学领域专用版”CriticGPT。

在无需额外训练的条件下，该验证器能在推理阶段辅助模型，将 GSM8K 上的准确率从 86.6% 提升至 88.2%。

换言之，在 GSM8K 数据集上，它能让模型的准确率从 86.6% 直接跃升至 88.2%。

CriticGPT 的核心思想，简而言之，就是人为地在代码中植入若干缺陷并加以详尽标注，再利用这些数据训练一个具备调试能力的模型。北大团队发现，这一思路不仅在代码领域有效，对数学问题的求解同样适用。于是他们将代码替换为数学题目，推出了“数学版 CriticGPT”——Math-Minos。

借助 GPT-4 逐步提出修正建议

在数学推理领域，验证解答的正确性是保障推理质量的关键环节。然而，现有的大多数数学验证器依赖于二元分类标签进行训练，这种方式只能提供“对或错”的判断，解释性明显不足，无法为验证器提供足够充分的监督信号。

Math-Minos 突破了这一限制，引入了逐步的自然语言反馈作为理由标签，不仅能判断对错，还能逐步骤分析错误来源，极大丰富了验证器的训练信息。

不过，在获取自然语言反馈的过程中，研究团队起初也遇到了一些问题。他们尝试使用 GPT-4 生成训练数据，但实验表明，即使是 GPT-4，在逐步评价数学推理任务时也会出错。为了避免这一情况，团队在提示中加入了步骤级别的二元分类标签，简化了 GPT-4 的任务，使其能够更准确地生成评估。

具体的训练流程分为两个阶段：首先，通过监督式微调，利用自然语言反馈数据提升模型的评估能力；其次，通过标准 ORM（输出奖励模型）和 PRM（过程奖励模型）的训练实现高效推理。这一设计带来了两个益处。

其一，二元分类数据与监督微调数据可以解耦。由于监督信号相对稀疏，二元分类数据通常远多于监督微调数据，而研究显示，仅需少量监督微调数据，就能显著增强模型的评估能力。

其二，在验证阶段，无需显式生成自然语言反馈，从而使得推理过程更加高效。

ORM 任务表现取得明显提升

总体而言，研究人员在训练过程中仅添加了 30K 自然语言反馈数据，便使 Mistral-7B 验证器的数学能力得到了显著改善。在 Best-of-256 的实验设置下：

在 ORM 设置中，Math-Minos 将 Mistral-7B 在 GSM8K 数据集上的准确率从 86.2% 提升至 87.3%，在 MATH 数据集上从 35.9% 提升至 37.4%。

在 PRM 设置中，准确率在 GSM8K 数据集上从 87.1% 提升到 87.6%，在 MATH 数据集上从 36.7% 提升到 37.8%。

在与 Self-Consistency 结合的场景下，Math-Minos 将准确率在 GSM8K 数据集上从 87.1% 提升至 88.2%，在 MATH 数据集上从 37.8% 提升至 38.6%。

可以看出，在 ORM 和 PRM 任务中，Math-Minos 均表现稳定，其中 ORM 上的改进尤为突出。

研究团队还对生成器在步骤级别的错误进行了深入分析，将其归纳为五类——无关错误、累积错误、计算错误、逻辑错误及其他错误。结果表明，多步骤推理中的错误原因多种多样，模型在各种错误类型上均可能出错，这进一步凸显了引入自然语言反馈来指导学习的必要性。

实验发现，在两个数据集上，累积错误（即一个步骤出错后，后续步骤基本全部跟随出错）在所有错误类型中占比最高。不同数据集上的错误分布也各有特点：在相对简单的 GSM8K 上，计算错误更为常见；而在难度更高的 MATH 数据集上，逻辑错误则占据主导。

团队还构建了元评估集，专门用于评估验证器在没有生成器影响下独立判断答案的能力。结果显示，Math-Minos 在训练过程中的元评估始终优于传统 ORM，收敛速度更快，判断也更加精准。

实验还暗示，Math-Minos 具备强大的规模扩展潜力——随着数据量的增加，其效果有望进一步提升。

总体而言，Math-Minos 不仅提升了数学验证器的性能，还为自然语言处理领域提供了一套新的训练范式。研究团队期望这项工作能够启发未来研究，探索自然语言反馈与分类式验证器的潜在融合，推动大模型在复杂推理任务上取得更大进展。