R1之后，长思维链成为探索下一代基础模型“推理”能力的热门方向。它一方面证明了让大模型进行深度思考是可行的；另一方面，尽管R1展现了强大性能，但大模型推理的宏大叙事，其实才刚刚拉开序幕。 此外，R1在海外引发的技术浪潮，也给国内人工智能研究带来了一个显著变化：越来越多的研究者开始敢于站在更高视角，提出更具前瞻性和引领性的技术思想。蚂蚁技术研究院自然语言处理负责人武威对推理的深入思考，便是其中一个典型代表。 武威的本科与博士均毕业于北京大学数学科学学院。2011年获微软学者奖后，他于2012年加入微软亚洲研究院，历任主管研究员、微软小冰首席科学家。在加入蚂蚁集团前，他还曾担任美团NLP中心负责人。 针对模型的推理能力，武威从数学的底层逻辑出发，提出了许多与当前行业主流不尽相同的见解。 事实上，早在OpenAI发布o1之前的2023年下半年，武威与团队就已启动对大模型推理问题的研究。在他看来，R1的实现结果固然令人兴奋，但长思维链的推理路径未必是最优解。“因为这样的模型维度太高、能量太高，导致表现不太稳定。” 物理与化学中的大量现象表明，能量最小的结构才是最稳定的。因此，武威猜想，未来的推理模型可能会走向更低维、更稳定的人工智能系统。如果说长思维链对应的是“系统2”（慢思考），那么一些研究显示，在人的日常思考中，占主导地位的往往是能耗更低的“系统1”（快思考）。 另一个值得关注的现象是，当前的主流推理模型普遍存在“推理结果正确，但推理过程出错”的情况。在长思维链的实现中，纠错的成本也随之攀升。同样以数学为例，武威指出：当推理模型发展到最后，思考过程或许比结果更重要；相比解决一个已知问题，模型在思考中发现新知识（例如为经典数学问题找到全新证明方法）的价值可能更大——由此可见，深度思考的潜力远未被充分挖掘。 如何设计一个能够将系统1与系统2、或者说快思考与慢思考高效结合的推理模型，已成为大模型发展的下一个重要方向。武威认为，从数学角度出发，用一个优雅的数学模型去刻画人工智能的思维方式，或许是终极解法；又或者，自洽将成为所有推理系统的最终归宿。 以下是AI科技评论与武威的对话实录：

1、什么是「推理」？

AI科技评论：现在圈内对于「推理」有各种各样的定义，甚至有人将Reasoning与Inference的概念相混淆。

武威：确实如此。根据我查阅的文献，「推理」的定义最早可以追溯到2011年。那一年，机器学习领域的权威学者Leon Bottou写了一篇题为《From Machine Learning to Machine Reasoning》的文章。当时业内对“Reasoning”还没有清晰的定义，Bottou在文中提出，他认为「推理」是“代数地操作已有的知识去解决新的问题”。

那么，什么才算是「推理系统」呢？Bottou认为，一个推理系统应包含两个要素：一是包含一个函数的代数空间；二是任何一个问题都能对应到这个代数空间中的一个函数组合。当时我看到这个观点，就觉得它与Marvin Minsky在上世纪80年代的著作《心智社会》中对「智能」的阐述非常吻合。

什么是真正的智能？Minsky认为，人的意识是由大量微小的过程组成的，他称之为“智能体”。这些智能体能够解决非常简单的问题，且几乎不消耗能量。当遇到复杂问题时，一部分智能体会被激活，并以某种方式组合在一起——这时，真正的智能便诞生了。

今天回过头看，Minsky在上世纪80年代提出的观点或许有些经验主义，但同时又不无道理，因为它非常符合人类的直觉。而Bottou的文章则用形式化的语言进行了解释。Bottou所说的函数代数空间，可以理解为这些智能体的集合；而函数的代数组合，则对应着Minsky所说的智能体之间的连接与组合。

接着，Leon Bottou在文章里提出了一个有趣的猜想。他说，当时存在各种推理系统，包括概率推理、逻辑推理、因果推理等等，那么最终的推理系统会是什么样子？

他认为有两种可能：一种是出现一个绝对强大的模型，横扫所有小型推理模型，并且这个超级模型是可扩展、可计算的，其计算成本也在可承受范围内；另一种可能是，不同的推理模型互不干涉、各司其职，因果推理做因果推理，概率推理做概率推理，逻辑推理做逻辑推理。

站在今天来看，Bottou的第一种预言似乎得到了验证，这个超强模型就是「大模型」。但即便大模型已经出现，「推理」这件事本身仍然是模糊的。如果让我给出一个定义，我认为推理是指：用逻辑组合知识以解决新问题的过程。

AI科技评论：R1具备「推理」的雏形吗？

武威：有的。假设你让它解决一道数学题，首先它具备知识，会指出这个问题应该运用某个定理；然后它会阐述解决步骤和中间过程。这其实就是将数学知识以逻辑方式整合起来解决问题的过程。

如果将模型应用到其他领域，比如旅游规划，那么模型就需要了解旅游目的地的人文、地理、美食等知识，最后将这些知识以合理的逻辑组合起来，生成一份旅行方案。

如果知识不足，或者逻辑错误，就会出错。例如，我告诉大模型要去西北旅游三天，它给出的方案是第一天上午在乌鲁木齐，一小时后就到了西安，这显然就不是正确的「推理」。所以，推理必须用逻辑将知识合理地组织起来，「知识」与「逻辑」二者缺一不可。

AI科技评论：是不是R1出现后，您才看到「推理」范式得到具体的诠释？

武威：我认为R1提供了一种可扩展的推理实现方式，这非常了不起。但同时，我也认为长思维链的「推理」方式未必是最优的，原因在于其能量太高、维度太高。

物理和化学都追求「最小能量」，因为能量最小时结构最稳定。在化学中，势能最低时结构最稳定；在热力学中，自由能最低时系统才稳定。

但在长思维链推理中，本质上是每一个token的预测都对应词表上的一个概率分布。当你有1万个token时，其实就是1万维，再乘以词表维度，这个向量空间非常庞大、维度极高，随之而来的就是系统的不稳定性。当前的推理模型在训练过程中实际上也表现得不太稳定。

因此，我认为未来的推理模型应该会出现一个更低维、更稳定的系统。目前的长思维链推理都太高维、能量也太高，只要采用自回归方式做长推理，都会面临这个问题。

AI科技评论：那除了自回归，还有其他技术路线可以实现模型推理吗？

武威：大家也在探索。换个角度，首先行业又回到了已有的「范式」：当「好」出现之后，必然会走向「快」和「省」。所以现在研究推理的人也在做「高效推理」。但我觉得，「高效推理」也并非一个本质的、系统性的解法。

真正系统性的解答，应该是想办法降低「推理」本身的能量消耗。无论是在强化学习中添加长度约束，还是进行混合长度微调，在我看来都不够优雅，并非最终解决方案，因为你最终的范式还是在一个巨大的空间里进行搜索。

o1代表了一种相对较新的「推理」范式，但步子迈得还不够大，本质上仍是自回归生成、逐个token预测。只是因为它做得足够长，发现在更长的文本中模型似乎能够进行反思、效果会变好，但其核心仍是预测下一个token。这就引出了另一个问题：预测下一个token会是推理的有效解吗？

我认为它可以作为一种解法，但不一定是最好的解法。用数学的话来说就是，梯度确实在下降，但尚未下降到局部极小值点。

2、「推理」为什么重要？

AI科技评论：您在人工智能领域深耕多年，您的研究世界观是怎样的？

武威：简单来说就是八个字：“多快好省，双商齐备”（智商与情商）。

“多快好省”原本是零售领域的说法。在零售中，“多”指“品类多”；但在研究中，我们希望的“多”至少包含两个方面：

一是模型的任务范围要广，能解决尽可能多的任务。这很重要，比如当前的大模型推理，大家将其聚焦在数学和代码上，这就不够“多”，世界上其实有很多问题都需要深度思考才能解决。

二是模型处理的信息要足够多。ChatGPT刚推出时，上下文长度大约是4K，而到今天GPT-4.1发布时，上下文已达到100万。看起来模型能处理的信息已经很多了，但实际上还不够，因为未来我们或许希望人工智能系统能够处理“终生记忆”，能“记住”它在世界上经历的所有事情和信息。

第二个“快”，在零售中体现为“配送快”，而在人工智能中，我认为是“响应要快”。这如今已成为行业共识，各家都希望自己的大模型响应速度越来越快。“好”与“省”就是模型效果要好、同时成本要低，这也是大家共同追求的目标。

事实上，人工智能的整个发展史就是在不断重复这个“多快好省”的故事。2018年BERT出圈，凭借的是效果“好”、任务“多”。随后，业界基于BERT向两个方向发展：一是追求更大的模型（如GPT-3），结果是效果更好，任务更多（连生成也能做了）；二是追求模型的轻量化（即“快”与“省”）。

先是“多”与“好”，接着走向“快”与“省”。当“多快好省”这四个方面都达到边际效益很低的水平时，整个人工智能领域在做什么呢？在准备下一轮的突破。

2022年，当大家觉得BERT的“多快好省”已达到瓶颈时，ChatGPT出现了，同样是从“多”（什么都能做）与“好”（解决一些原本做得不太好的任务，如长文本生成）开始。到今天，大模型的追求又变成了要越来越快、越来越省。例如GPT-4刚推出时，响应是一个字一个字地“蹦”出来，后来变得越来越丝滑、流畅。

所以我认为，无论是需求侧（用户）还是供给侧（研发人员），大家对人工智能“多快好省”的追求是永恒的。“多快好省”是基础，“智商”与“情商”是上层能力。当模型能力不强时，大家很少讨论智商、情商，但现在谈得越来越多，解读也很多。

在我看来，我所追求的“智商”是：用逻辑组合知识，去解决实际问题。这其中有两个非常重要的概念，一是知识，二是逻辑，并且要有机地组合在一起。智商的一个外在体现就是推理。

至于“情商”，我们希望人工智能系统能够理解人的情绪、心理状态等，在与人交互的过程中能够共情。这很重要，因为现在的大模型都是大型应用，都要与人交互。我们希望沿着这八个字的大方向，去做一些对行业和社区有价值的研究。

AI科技评论：沿着这个大方向，你们目前有哪些有趣的研究？

武威：例如在“多”这方面，我们一个聚焦点是长上下文，不仅包括文本，还有多模态。实际上，多模态比文本更需要长上下文，一段几分钟的视频就可能产生超过百万的视觉token。我们刚刚开源了一个名为ViLAMP的7B长视频理解模型，单卡就能处理3小时视频，效果在目前的开源模型中基本也达到了SOTA水平。

再比如“好”，我们非常看重“推理”，因为推理让人工智能有希望把一些复杂问题解决好。“推理”本身是一个很模糊的概念。如果你去看不同领域，会发现心理学、哲学、数学与计算机等对“推理”的定义各不相同。在我看来，“推理”是用逻辑组合知识的过程。在这个大框架下，我们先后做了知识推理智能体AMOR、基于代码规划的推理范式CodePlan，以及基于深度思考的问题合成方法PromptCoT等。

还有“情商”，这方面的数据都不太完善，因此今年我们也开源了一个包含130万条个性化对齐数据的数据集AlignX，至少希望社区能先玩起来。总的来说，这块的研究尚未收敛，但我认为“情商”最终还是要走到模型对人类世界的理解，而这种理解也可以看作是某种程度上的“推理”，只不过可能是对人类偏好或情绪的推理。今天大家把“推理”限定在了数学与代码上，导致大模型都变成了“做题家”和“程序员”，我觉得这个范围限制得太死了。实际上，大模型还可以是优秀的产品经理、销售、朋友，潜力非常大。所以说，推理这件事很重要。

AI科技评论：您入行15年，经历了许多重要的技术浪潮。您认为，为什么在现在这个时间点，推理显得尤为重要？

武威：我记得在微软亚洲研究院的时候，大约是2014年，大家还在讨论为什么NLP叫“自然语言处理”。因为当时大家觉得，机器连理解人类语言都还做不到，更别提生成了。

那时深度学习开始兴起，NLP也开始拥抱深度学习。2015年，我参加ACL大会，Christopher Manning做了开幕式演讲。他当时形容，NLP就像躲在战壕里的兔子，深度学习就像一把机关枪或大炮，正在瞄准这些兔子，准备把它们一扫而光（笑）。

后来发现，在深度学习的帮助下，机器对语言的理解能力似乎还行，再后来发现竟然还能生成、创造。这是一件了不起的事。深度学习不仅在语言理解上展示了强大潜力，更重要的是它让生成也变成了可能。

到2018年BERT出现，“预训练+微调”成为另一个技术浪潮，直接改变了整个NLP的运作范式，使NLP走向大一统。2020年Meena模型推出后，短文本生成已经做得很好。ChatGPT出现后，长文本生成被突破，这在之前很长一段时间里是不可想象的。现在没有人单独研究长文本生成了，因为它已被大模型研究囊括。

所以总的来说，当我们谈论自然语言处理时，我们最初在问自然语言是否能被处理；BERT突破了理解后，我们又问自然语言是否能被生成。从处理、理解到生成，是计算机逐渐掌握人类语言的过程。

经历了一波又一波大的发展之后，我就非常想关注推理，因为我觉得现在生成也被突破后，下一步就是推理。推理涉及到将知识进行组合，复杂度更高，也能解决更复杂的任务。

AI科技评论：您是从什么时候开始思考推理这个问题的？

武威：2016年，我们在讨论小冰未来的技术时，就觉得推理很重要，因为小冰做不了推理，所以很多任务解决不了。

说实话，当时讨论推理是非常超前的，因为那时的聊天机器人不仅做不了推理，也普遍受限于知识不强、无法进行深度交流。没有知识，生成也会受影响。

当时我们通过生成的方式创造回复，只是将海量数据中的语言组合在一起，符合人类的语言表达习惯，但没有知识，效果甚至比不上检索模型。今天的大模型也会有幻觉，也会在知识上犯错，但出现的情况已经少了很多。

我在小冰的时候，能想到研究推理，但没有机会去做，这在很大程度上受限于当时的技术，无法以一种规模化的方式实现推理。当时我们甚至也想不清楚什么叫“推理”。

现在我觉得相对清楚了。所以我们团队真正开始研究推理是在我加入蚂蚁之后。这也算是我几年前未尽的夙愿吧。

3、「推理」的解法猜想

AI科技评论：2024年以来，您的一些研究也围绕推理提出了不同的见解。您认为o1、R1之后，推理的下一步应该怎么发展？

武威：我刚才提到，大家都在做高效推理。但如果从快思考、慢思考的角度来看，这个话题其实也很有意思。

《思考，快与慢》这本书从心理学角度解释了一些问题，也比较经验性，缺乏形式化的验证。但今天我们来看，OpenAI的大模型有两个版本系列，一个是数字系列（如GPT-3、GPT-4），另一个是o系列（如o1、o3），这两个系列分别代表快思考与慢思考，体现了从系统1到系统2的演进。

大家对系统1与系统2的认知基本已达成共识。系统1的特点是快、自发、消耗低；系统2则需要将注意力分配给需要花费很大努力的行为和心理活动。这是作者丹尼尔·卡尼曼所认为的快与慢的区别。不过在这本书里，我觉得更有趣的是作者关于快思考与慢思考如何协调的观点。

第一个观点是，书中提到，其实人在每日思考的过程中，大部分时间都是系统1的快思考占主导。

快思考会产生非常多且复杂的观点模式，并将这些传递给系统2。而在大多数情况下，系统2不经思考就接受了，而不是对每个观点都检查一遍。所以日常的思考大多是系统1的结果，系统2是懒惰的，只有在个别情况下才会去检查与思考。同时，系统1因为想得快，会产生很多错误，并且还会为这些错误提供一些更深层次的“洞见”。

那为什么会有错误？就像今天大模型为什么会有幻觉？我觉得这可以作为对大模型幻觉的一种解释。说白了还是能量最低原则，因为系统1要追求“认知的简便性”——当我把这些信息与我的认知整合在一起时，通顺、自洽就可以了，至于有没有错，系统1是不在乎的。

这是系统1喜欢干的事，这么做确实消耗低。然后这些错误又因为系统2比较懒、不怎么检查，导致这些结果被固化下来。最后这类错误积累得越来越多。这种错误的根源在于认知上的懒惰或简便，很难避免。但有意思的是，作者说：既然你避免不了错误，那人该怎么办呢？他说，最好的办法是尽可能地发现什么情况下容易出错，然后对这些高风险情况尽量多思考。

最终，作者也没有就如何发现高风险情况提出解法。他认为，在许多情况下，人最后就是活在一个自洽的世界里，哪怕有错误，但只要自洽就好。

回到大模型。如果援引丹尼尔·卡尼曼的说法，大模型应该能将长推理与短推理结合在一起，可能合并在一个模型里，也可能是两个模型，关键在于两个模型或两个系统之间如何调度。目前行业里也还没有特别优雅的方式，比较优雅的方式应该是能自动分配这两种模式。

AI科技评论：您提到了核心问题，就是系统1与系统2怎么结合起来？单一的Transformer架构可以实现吗？这块似乎也还没有共识。

武威：我认为是还没有一个很好的模型，或者没有一个很好的公式来解决这个问题，所以大家都还在做一些尝试。比如把长思维链和短思维链的数据混合在一起做监督微调，这可能是一种解决方案。或者在强化学习上对推理长度设置奖励。

但是，它们都还没有一个模型去刻画快思考与慢思考，或者说系统1与系统2之间的协作。

我觉得归根结底，还是需要有一个模型——最好是一个数学模型——去刻画人工智能的思维方式。我的猜想是，这个模型很可能是一个在低维空间上的模型，通过优化能量最低来实现。

AI科技评论：接下来，您计划从哪些角度进一步研究模型的推理问题？

武威：除了自回归以外，我们也关注先规划、再推理这样的层次化结构。

比如，要制定一个用户调研方案，这个任务交给你之后，你是马上就拿起笔开始写吗？不是的。正常情况下，脑海中会先有一份草稿，一个抽象的规划，然后再去实现每个步骤。——你可以认为，这个抽象的规划就是整个推理过程中的一个低维表示，在这个低维表示下，我再思考如何将其展开成一个高维的执行过程。这也是一种推理范式。

其实Yann LeCun在每次采访中都在说，规划与推理很重要。但同时，他又说，他觉得现在的推理模型好像不太对，因为太简单了。至于什么样的推理模型是对的，LeCun也没说。

AI科技评论：刚刚提到系统1与系统2。业内也有一种讨论，即我们在设计模型时是否一定要模仿人脑？

武威：说实话，我觉得机器不一定要像人一样思考。这个问题其实也困扰了我很久，就是我们到底应不应该按照人脑的方式去设计人工智能模型。举个例子，计算机能很快计算出π的值，但人脑就不行。

比如《思考，快与慢》这本书中，有大段对人的思维方式的描述，但这些描述就一定是对的吗？大家确实可以通过一些事实去印证书中的说法，但问题在于：你不能说第1个案例是对的，第2个、第3个、第4个……到第100个也都是对的，就断定第101个案例一定正确。

这在数学上是不成立的，数学不允许这种情况出现。如果有例外，数学就一定要有一个条件去约束、将这个例外排除。换句话说，不完全归纳法是不严谨的。

所以我想来想去，最后我的观点是，不管人工智能系统到底应不应该像人，我只要想办法去接近那个目标就好了。这个目标就是我刚才说的八个字：多快好省，双商齐备。

AI科技评论：现在的推理还有一个问题，就是有研究发现，o1、R1与Gemini等模型在做推理时，更重视结果的正确率，中间的推理过程可能是错的。

武威：关于这个现象，我有两个观点。第一个观点是：我认为长思维链是以一种相对笨拙的方式实现了深度思考。当然，它非常有意义，因为它起码给出了一种实现，即使这种实现是高能耗的。我们不能天天空谈深度思考，却没有任何具体的实现。

第二个观点是，当模型的能力发展到最后，思考的过程可能比结果更重要。因为我们回到数学来看，其实很多数学问题已经有结果了，只是有些结果被证实了，有些还没有。

比如费马大定理，最早叫费马猜想，它的结果早就有了，就是当整数n>2时，方程xⁿ + yⁿ = zⁿ没有正整数解。黎曼猜想也是，早就有假设了，重要的是：你如何得到从这个假设到这个结论的整个求解过程。从数学的角度看，推理过程是非常重要的。

所以安德鲁·怀尔斯的巨大贡献，一方面是他证明了费马猜想，将其变为费马大定理；更重要的是，在这个证明过程中，数学的许多新兴方向诞生了，比如椭圆曲线、代数几何等等，这对数学界是巨大的贡献。

在我看来，推理是利用逻辑对知识进行有机组合。如果我们在不同的问题上都能给出各种各样的知识组合，那么会不会有一些知识组合是人类未曾触碰过的、对人类文明进步有非常大启发的呢？如果有，那么产生这些组合的价值，远比你解决一个问题还要大，因为你会创造出新的知识。

从这个角度看，深度思考的巨大价值与潜力还没有被挖掘出来。推理的结果很重要，但我更重视其中的思考过程。现在R1已经为我们提供了一个高维的实现，我们应该在R1的基础上进行更大胆的迭代。

AI科技评论：R1出来后，有改变您对推理的看法吗？您对推理的研究有更兴奋吗？

武威：我觉得还是很令人振奋的，因为R1让我们看到了深度思考的一种规模化实现。不过R1本质上仍然是自回归，我觉得这里面空间还是很大的。

我觉得应该有一个通用的模型，但我也不知道这个模型长什么样子。所以2023年我们刚开始研究推理的时候，是先研究智能体。

为什么先研究智能体呢？就是因为我不知道通用的模型怎么做，没办法，只能先做一个特殊的知识智能体，看能不能扩展。我们把一个任务拆成一个个模块，然后再用人工设计的逻辑把这些模块串联起来。

就好像我们在解一道数学题的时候，你不会解，怎么办呢？就先找一些具体的案例，加一些条件。比如一个泛函问题，你先把它变成二维空间，二维空间能证明，再看三维空间能不能证明；当二维、三维都证明之后，再看中间有没有共性、能不能拓展到高维。

R1令人惊艳的地方是直接就到了高维。我觉得更令人兴奋的地方在于通过深度思考来创造新的知识，这一点R1还达不到，因为它还无法保证思考过程是正确的。我们也还没有办法保证我们的推理过程一定正确，但我觉得这是一个很重要的问题。

后来我们又探索了CodePlan，希望用代码实现先规划、后推理。只是我们当时做完后，受限于一些资源问题，没有办法验证它的效果是最好的。今年年初，深度求索团队也有一个工作，也是先用代码做规划，不同的是他们后来又将代码转换成了自然语言。我猜测可能是因为纯代码的效果不太好。

最近我们又研发了PromptCoT，尝试将深度思考应用到问题合成上，也看到了非常惊艳的效果。一个7B的小模型就可以和32B的模型比肩。最重要的是，这个工作让我们看到了深度思考应用于其他任务的可能性。

其实大家都在想，下一代推理模型到底应该是什么样子，同时又希望追求智能的极限。这两个目标都很难，特别是对企业来说。在企业里，你不太可能说，我有一个非常大的目标、要投入多少资金，还不能确定这个目标能不能达到，这是一个现实问题。理性来说，我们需要更多的成功案例来支撑继续探索的信念。

相关攻略

热门推荐