LaDiR：当大语言模型学会“并行思考”，推理能力如何跃升？

最近，苹果公司与加州大学圣迭戈分校的研究团队公布了一项新成果。在论文《LaDiR：潜在扩散增强 LLM 文本推理》中，他们提出了一种新颖的框架。其核心思路是，让大语言模型在给出最终答案前，先并行地探索多条可能的推理路径，最后再以自回归的方式整合输出，从而显著提升结果的质量。

需要明确的是，LaDiR 本身并非一个全新的基础模型，而是一个可以叠加在现有模型之上的通用框架。它的重点在于改变模型的“思考方式”。简单来说，这个框架巧妙地融合了当前生成式AI领域的两种主流范式：扩散（Diffusion）与自回归（Autoregression）。具体分工是，在内部的推理阶段采用扩散模型机制，而在最终的语言生成阶段，则切换回我们熟悉的自回归模型。

这种混合架构的好处显而易见。它既吸收了扩散模型能够并行处理、探索多种可能性的优势，又保留了自回归模型在生成连贯、流畅文本方面的特长，从而有效增强了模型应对复杂问题的能力。

并行推理：从“一条路走到黑”到“多线程探索”

LaDiR 最引人注目的特点，莫过于其并行推理机制。传统模型推理往往像沿着一条单一路径深入，而 LaDiR 在启动推理时，会同时开辟多条独立的“思维线程”。每条路径都从一个随机的“噪声”状态开始，通过类似扩散过程的迭代，逐步收敛、优化成一段清晰的推理步骤。

那么，如何避免所有这些路径最终都走向同一个显而易见的结论呢？框架内设计了一套特殊的多样性鼓励机制。这套机制的作用，就是确保各条路径在演化过程中能够“分道扬镳”，去探索不同的解题角度和逻辑可能性。最终，系统会得到一个多样化的候选答案池，为后续的筛选与整合提供了丰富的素材。

实测表现：数学、编程与规划能力的全面检验

研究团队在 Meta 的 LLaMA 3.1 8B 和 Qwen3-8B-Base 等模型上部署并测试了 LaDiR 框架。结果颇具说服力。

在数学推理基准测试中，采用 LaDiR 框架的模型取得了比现有方法更高的准确率。尤其当面对那些超出训练数据分布的“陌生”难题时，其优势更为突出。这似乎表明，并行探索机制确实增强了模型的泛化与举一反三能力。

在代码生成领域，经典的 HumanEval 测试也见证了其可靠性。LaDiR 生成的代码解决方案表现更稳健，特别是在处理一些棘手的难题时，其性能明显超越了标准的微调方法。

此外，在谜题规划这类需要多步逻辑推演的任务中，LaDiR 展现出了更强大的解空间探索能力，找到正确答案的概率高于所有通用的基准模型。当然，话分两头，如果仅看单次尝试的准确率，它与那些为特定任务“量身定制”、高度优化的专用模型相比，仍存在细微差距。这其实也揭示了一个普遍规律：通用框架在追求广泛适用性和灵活性的同时，在某个极致专精的赛道上，仍有继续打磨和提升的空间。

（附论文参考地址）