自从OpenAI演变为“CloseAI”后，外界只能眼睁睁看着他们接连发布更强大的模型——GPT-3.5、GPT-4、4o、o1、4.5、o3、4.1……但最前沿模型背后的技术路线始终是个谜团。对业内来说，这已经变成了一场解密游戏：首先需要有人把问题拆解清楚，再做出一个开源版本，其他人才能跟上脚步。

回归正题，本文尽量用最简单、最直观的方式拆解这个课题。毕竟现在关注这个话题的朋友里，非技术背景的读者越来越多了。

今年年初，DeepSeek R1模型与论文同时开源，其智力水平直接对标o1，瞬间火遍全球。R1之后，市面上涌现出不少蹭热度的“R1-VL”模型——为什么说蹭热度？因为这些模型只是将backbone换成了视觉语言（VL）模型，其他训练方式完全照搬纯语言模型的那一套。

那么OpenAI o3究竟强在哪里？与那些“R1-VL”的区别是什么？o3本质上是一个智能体，它能够自主调用各种工具来完成任务。关键能力是“边看图边思考”——图像并不只在第一轮输入一次，模型在推理过程中会产生中间图片，这些图片会作为新的信息再次输入VL模型。下图为部分思考示例：

DeepSeek R1其实已经揭开了o1的谜底：只需要对“思考之后结果的正确性”进行奖励，根本不需要蒙特卡洛树搜索、分步骤奖励这些复杂策略。基于这个奖励，再在一个还不错的基础模型上做强化学习训练，模型就能在回答问题前深入思考，从而激发出更强的推理能力。

前天，小红书团队的一篇论文引起了广泛关注——为什么说他们“似乎破解了o3的谜题”？

o3的核心能力是调用工具，能边看图边思考。每一次思考都会产生一个动作（Action），调用工具后获取的观察结果（Observation）会重新进入模型输入，驱动下一步动作。论文的动机来自一个观察：人在面对视觉问题时，绝不可能只看一眼图就开始纯文本推理。有些人天生具备“视觉思维”能力，他们思考的主要方式就是图像和视觉化的。

但现有VLM处理图片的方式太“粗糙”了——图片一开始就被vision encoder一次性转换成image embedding，然后变成静态的背景板。之后模型所有的“思考”几乎都是纯文本的Chain of Thought。面对复杂视觉信息，这种处理方式无疑是“有损”的。如果能让VLM真正做到边看图边思考，它就可能进化出一些完全不同于文本CoT的、专属于视觉领域的思考方式。

这里有个难题：VLM本身并不能直接输出图像token。那么如何让它边看图边思考？

DeepEyes给出的答案是——智能体框架！给模型配备了一个图像工具：image zoom-in（图像局部放大）。模型可以通过输出bounding box的坐标来调用这个工具，从而按照自己的“意愿”去观察图片中感兴趣的部分。为什么选这个工具？首先它适用所有视觉理解和推理任务；其次，工具依赖模型对图片区域的定位输出，这个准确率可以通过端到端强化学习训练来优化。

那么，到底该如何设计奖励才能让智能体的强化学习训练真正work？论文发现，最佳方案是：只有当模型做对了题目并且成功调用了工具时，才给予额外奖励（不调用工具做对的奖励 < 调用工具且做对的奖励）。这样训练最稳定，效果也最好。

他们模型的表现在某些特定场景下已经可以直接跟o3正面较量了。

最后谜底揭开了，可能会觉得“原来就这么回事”——就像R1一样。但是，把一个看起来简单的idea真正做成可落地的成果，中间踩的坑比很多人想象的多得多。