本期我们来深入探讨一个名为 Verify-and-Edit（简称 VE）的思维链框架。其核心理念非常直观：借助外部知识对推理链进行后期修正，从而显著提升预测结果的事实准确性。简而言之，就是让大语言模型在推理过程中实现自我检查与自我纠正，避免盲目陷入单一推理路径。
Cot思维连的作用
- 思维链（CoT）在需要复杂推理的任务中表现确实亮眼，例如数学应用题、常识推理、符号操作等场景。此外，它还有一个极具吸引力的优势：能够生成可解释的推理链——即将思考过程逐步呈现，让人类可以清晰理解每一步推理的依据。
为什么要编辑CoT思维连
- 既然 CoT 本身已经具备实用价值，那么是否还能让它更进一步？答案是肯定的。提升 CoT 的生成质量，不仅能增强模型的可解释性，还会直接对最终任务性能产生正面影响。人类通常认为解释越清晰、逻辑越自洽，对应的预测结果就越可信。因此，构建更优质的 CoT 提示集，本质上就是在为更精准的预测奠定坚实基础。
- 大模型的“幻觉”问题一直困扰着业界。为了减少胡编乱造、提高输出质量，保证事实正确性成为不可绕过的关键环节。而 VE 框架恰恰沿着这一方向演进——通过后期编辑推理链，使预测结果更贴近真实知识。
Verify-and-Edit (VE)是如何编辑Cot思维连
具体实现分为五个环环相扣的步骤：
- chain-of-thought: 首先筛选出那些一致性低于平均水平的预测，将其送入下一步处理；而高度一致的预测则直接保留，无需修改。
- verify: 针对这些“可疑”的预测，生成相应的验证问题。
- External knowledge Retrieval: 从外部知识库中检索相关资讯，召回真实可靠的事实。
- Edit Rationales: 利用检索到的有据可查的知识，对原有的推理过程进行编辑与修正。
- new prediction: 基于修正后的推理链，生成全新的预测结果。
通过一个具体案例来直观感受整个流程：
- 假设原始句子为“John Nyskohus 为挪威足球队 Odd Greenland 效力”。
- 编辑时，首先需要生成一个验证问题，例如“John Nyskohus 实际上效力于哪支球队？”
- 接着通过开放域检索系统引入外部知识，比如检索到的事实是“John Nyskohus……为阿德莱德城效力……”。
- 然后，将检索到的事实作为“记忆”提供给模型，对原始推理链进行编辑修正。
- 这样一来，推理链就能够依据真实知识得到更新。
- 最终，基于编辑后的推理链生成新的预测结果，该结果自然更接近事实真相。
Verify-and-Edit (VE)推理的伪代码如下：
Verify-and-Edit VS ReAct
与现有方法进行对比：VE 相较于 ReAct，精准度提升了 20%。这一差距相当显著，充分说明后期编辑推理链的路线确实能够带来实实在在的增益。
