在GPT-5正式推出前,业界传闻其性能飞跃主要源于突破性技术"通用验证器"的开发。虽然GPT-5最终的表现未达预期峰值,但这项验证技术却意外成为了人工智能领域新的追逐目标,在学术界引发持续热议。
这项技术为何如此关键?其重要性在于现有模型依赖的"可验证奖励强化学习"(RLVR)存在明显局限。RLVR擅长处理数学、编程等具明确答案的领域,通过"对错"二元评判机制训练模型。但当面临医疗咨询、创意写作等开放式问题时,这种非黑即白的评判标准就显得捉襟见肘。

通用验证器的实现路径探索
第一条可行路径是让大语言模型担任裁判角色。这一思路在2024年初就已萌芽,当时被称为"LLM-as-a-Judge"。最初的设想仅将其作为评估工具,直到DeepMind在《生成式验证器》论文中首次尝试将其整合到强化学习系统。
这类验证器在数学推导等结构化任务中表现出色,能精准识别运算过程中的逻辑漏洞。但在开放性问题领域,需要更复杂的评判机制。

ScaleAI提出的RaR框架通过"专家立法-模型释法-AI执法"三步骤,为特定领域构建多维评分体系。该方案在医疗问答测试中使模型性能提升近四倍。蚂蚁集团进一步发展的Rubicon系统则攻克了"跷跷板效应",使模型在保持医疗专业性的同时,显著提升了人文关怀表达能力。

阿里夸克团队另辟蹊径,通过"成对生成式奖励模型"让裁判模型先进行批判性分析再打分。这种方法有效防止了模型为刷分而刻意拉长回答的作弊行为,在创意写作任务中取得了突破性成果。

自主验证的创新路径
更激进的研究方向是完全依赖模型自评。SEALab团队发现,直接用模型对自身答案的置信度作为奖励信号,其表现与传统监督方法相当。加州伯克利的INTUITOR系统进一步突破,通过"自确定性"指标实现无监督强化学习,甚至在未接触过的编程任务中也展现出优秀的迁移能力。

这些成果颠覆了传统认知,表明模型可能不需要外部监督就能发掘潜在能力。正如强化学习领域的新发现:预训练模型本身就蕴含丰富知识,RL更多是帮其更有效调用已有能力。

未来发展展望
当前两条路径各有局限:立法式验证依赖专家知识,难以全域覆盖;内观式验证则受限于预训练数据边界。强化学习之父Richard Sutton提出的OaK架构可能是终极方案——让验证系统从交互中自主涌现,持续进化。

现有的探索虽未达理想状态,但为未来智能体积累了关键组件。无论是Rubicon的子问题分解,还是INTUITOR的自主验证机制,都在为真正的通用人工智能铺路。这场围绕验证器的技术竞赛,或许正决定着下一代AI的发展方向。

