meta AI 实验室今日将 Llama3.1 升级为推理“X 光机”——全新模型 CoT-Verifier 已在 Hugging Face 平台正式发布,它能精准解析链式思维(CoT)的每一步计算逻辑,让错误在黑箱中无处遁形。
传统验证方法仅关注输出结果是否正确,而 meta 创新性地转换了视角:先让模型执行一次完整推理,再从每一步的归因图(attribution graph)中提取结构特征。团队发现,正确与错误推理路径在图谱结构上存在显著差异,如同两块电路走向完全不同的芯片板。通过在这些“图特征”上训练轻量级分类器,对错误步骤的预测准确率直接飙升至 SOTA 水平,且不同任务领域(数学、逻辑、常识)均呈现出独特的“故障图谱”,说明推理失效并非随机噪声,而是可量化、可分类的计算模式。
更关键的是,归因图不仅能“诊断”,还能“手术”。meta 在实验中对高可疑节点进行定向消融或权重偏移,成功将 Llama3.1 在 MATH 数据集上的准确率再提升 4.2 个百分点,且无需重新训练主干模型。换言之,CoT-Verifier 把推理纠错从“事后复盘”升级为“术中导航”。
模型现已开源,脚本支持一键复现。开发者只需将待验证的 CoT 路径输入 Verifier,即可获得每一步的“结构异常分”,并定位最可能出错的上游节点。meta 在论文结尾透露:下一步将把同样的图谱干预思路应用于代码生成、多模态推理等领域,让“白盒手术”成为 LLM 的新标配。
