先说几个核心判断：训练AI模型进行复杂推理时，仅凭最终结果正确与否远远不够，真正关键的是理清模型如何一步步推导出结论。

在这篇由OpenAI的Hunter Lightman、Vineet Kosaraju、Yura Burda、Harri Edwards等人撰写的研究中，深入探讨了两种截然不同的监督学习方式——结果监督和过程监督。两者目标一致，都是提升大型语言模型的多步推理能力，但切入角度存在本质差异。

先看结果监督。可以将其理解为仅根据最终答案打分：就好比考试只看卷子最后的答案，完全不管草稿纸上的思考过程是否正确。这种监督方式只关注模型的最终输出是否准确，中间步骤有无偏差、逻辑是否连贯，一概不予考虑。

而过程监督则截然相反。它不仅重视结果，更会逐一检验推理过程中的每一步是否合理、正确。这如同老师在批改数学作业时，不仅核对答案，还会逐行检查演算步骤，每一步都对才能获得分数。

方法

数据预处理

正式实验前，所有模型——从具备完整性能的GPT-4，到仅用1/200训练资源的小型版本——均需先在mathMix数学题数据集（约15亿样本）上进行一轮微调。

PRM800K数据集

该数据集是整个研究的核心。研究人员先让模型生成多步解答，再由人工标注员逐步骤判断其合理性。标注分为三类：

• 正面：这一步不仅正确，而且对问题求解确有实际贡献。

• 负面：步骤本身出错，或者虽然在技术上正确但逻辑上不合理，可能将解题方向引入歧途。

• 中性：这一步的合理性难以判断，既非明显错误，也未有效推进——例如技术上没问题，但与解题目标关联不大。

值得留意的一个概念是“令人信服的错误答案”——PRM模型给这类答案打出了高分，但最终结果却是错误的。这些样本恰恰是模型最容易出错的边界情形，用于训练尤其有价值。

整个数据收集过程是一个多阶段的迭代优化循环：

首先，生成模型产出一批样本，随即由人工标注员进行标注，用于训练初版PRM模型。

接下来进入关键环节：系统会主动识别一批“令人信服的错误回答”——这些正是模型最易出错的边界样本。它们被仔细标注后，用来进一步完善模型。

利用新标注数据重新训练后，系统会再次寻找新的“令人信服的错误回答”，重复标注与再训练过程。

这个优化循环共持续了10轮。

PRM和ORM的训练

过程监督奖励模型（PRM）的训练要点：

• 基于人工标注员提供的步骤级标签进行训练。

• 训练目标：预测每个步骤最后一个标记之后的正确性。

• 预测以单个标记形式呈现，训练过程最大化这些目标标记的对数似然。

• 只训练至解答中的第一个错误步骤为止。

• 测试时，PRM得分等于每一步正确性概率的乘积。

结果监督奖励模型（ORM）的训练方式：

• 从生成器中均匀采样每个问题的多个解答。

• 训练目标：仅基于最终答案预测解答是否正确。

• 正确性通常通过自动检查最终答案来判定，理论上也可由人工提供。

• 测试时，使用ORM在最后一个标记处的预测作为整个解答的整体得分。

OOD测试

跨数据集测试更具说服力。研究人员在Math之外的领域进行验证时发现：过程监督的优势非常明显，PRM的表现显著优于ORM。

结论

• 过程监督能够训练出远比结果监督更可靠的奖励模型。

• 主动学习策略可以大幅提升人工数据收集的效率。

• 研究者已公开发布PRM800K数据集，旨在推动大型语言模型对齐领域的相关研究。