大模型在自动驾驶领域的首要突破是什么？场景理解能力。它能精准判断前车是否有并线意图、行人是否准备横穿、施工区是否挤占车道，甚至能分析复杂路口的通行权顺序。
然而，自动驾驶系统不仅需要“看懂”场景，更要实时做出精准决策——下一秒是否减速、轨迹是否需要偏移、继续跟车还是绕行。因此，核心问题在于：大模型的理解能力如何真正服务于驾驶决策与轨迹规划？
01 引言
这张图总结了近年来代表性研究的探索方向。第一种方案将 VLM 作为场景编码器，先理解图像，再将信息传递给规划模块。分工清晰，但理解与规划仍彼此独立。第二种方案把 VLM 当作辅助模块，输出风险判断、驾驶意图或条件信号，实时控制仍由规划器完成。这样对原有系统改动小，却容易浪费大模型能力——复杂推理最终被压缩成几个提示词，难以完整转化为实际动作。
还有一种更直接的方式：将 reasoning 和 action 融合进同一个 VLA 模型。理解与动作统一，但实时性问题随之凸显——高层推理可以容忍延迟，轨迹规划却必须快速响应。如果两者始终同步执行，大模型的推理延迟会直接拖慢系统反应速度。
针对这些挑战，来自南洋理工大学 AutoMan Lab、哈佛大学和小米汽车的研究团队提出了 AutoMoT——一种面向端到端自动驾驶的统一 Vision-Language-Action 模型。它将场景理解、轨迹规划与动作决策统一到同一个潜在空间，通过异步推理实现“低频理解、高频行动”。具体而言，理解模块负责高层语义建模，动作模块负责决策与轨迹规划，两者通过 layer-wise shared attention 在模型内部直接交互。
实验结果显示，AutoMoT 在 Bench2Drive 和 nuScenes 两个基准上都取得了 SOTA 性能。在 Bench2Drive 闭环评测中，AutoMoT 达到 87.34 DS / 70.00% SR，加入 Action Refiner 后的 AutoMoT+ 进一步提升至 89.42 DS / 74.09% SR；在 nuScenes 开环规划评测中，平均碰撞率仅为 0.07%，平均 L2 为 0.32。该工作已被 ICML 2026 正式接收。
- 论文标题：AutoMoT: A Unified Vision-Language-Action Model with Asynchronous Mixture-of-Transformers for End-to-End Autonomous Driving
- 论文链接：https://arxiv.org/abs/2603.14851
- 项目主页：https://automot-website.github.io/
- 代码链接：https://github.com/OscarHuangWind/AutoMoT
- 模型链接：https://huggingface.co/Oscar-Huang/AutoMoT
- 数据链接：https://huggingface.co/datasets/Oscar-Huang/nuSync
02 模型架构
理解、决策与规划的统一
AutoMoT 由两个专家模块组成：Understanding Expert（UE）和 Action Expert（AE）。
如上图左侧所示，UE 采用 4B 级 Qwen3-VL backbone，输入多帧 RGB 图像和导航提示，生成 reasoning tokens；AE 是约 1.6B 参数的动作专家，输入当前 RGB、LiDAR BEV、decision queries、target points 和 planning queries，生成决策与规划 tokens。
关键在于 UE 和 AE 并非传统 hierarchical 式串联。AutoMoT 在每一层引入了 Layer-wise Shared Attention：UE 提供高层场景理解，AE 在生成动作时可以直接访问这些中间表示。这样一来，UE 的场景理解不再局限于外部文本解释，而是直接参与动作生成。
上图右侧展示了 attention 设计。Understanding、Decision、Planning 三类任务通过 cross-task causal mask 建立了明确的信息流：Decision 可以读取 Understanding 的场景理解信息，Planning 则可以同时读取 Understanding 和 Decision 的信息；任务内部仍保持双向注意力。因此，Action Expert 并非从零学习规划，而是在基座模型先验知识的基础上掌握决策与轨迹生成。模型先理解场景，再基于理解做决策，最后结合理解与决策生成规划。轨迹预测不再只是几何拟合，而是由场景语义和驾驶意图共同驱动。
异步推理，KV Cache 复用场景理解
AutoMoT 的异步推理主要解决闭环驾驶中的实时性问题。动作规划需要高频刷新，因为自车状态和周围交通参与者都在不断变化；而高层场景理解具有一定时间连续性——前方施工区域、慢速车辆或路口拓扑关系，并不会在相邻几个控制周期内完全改变。
因此，AutoMoT 让 UE 周期性更新高层理解，AE 则以更高频率生成动作。UE 完成一次理解后会保存对应的 KV cache，AE 在后续多个动作步中可以直接基于这些 cached states 进行多步决策和轨迹规划，而无需每一步都重新执行完整的大模型推理。
简单说，AutoMoT 并不是削弱大模型推理，而是重新定义了它参与控制的方式：高层理解仍然影响动作生成，但不再阻塞每一次轨迹刷新。
03 实验验证
闭环和开环结果
在 CARLA Bench2Drive 闭环评测中，AutoMoT 取得了 87.34 DS / 70.00% SR，超过了 SimLingo 的 85.07 / 67.27。加入 Action Refiner 后，AutoMoT+ 进一步提升至 89.42 DS / 74.09% SR，达到当前 SOTA 水平。这说明动作细化模块能进一步提升规划质量和任务成功率，也体现了 AutoMoT 在完整路线执行中的闭环驾驶能力。
在 nuScenes 开环规划中，AutoMoT 的 L2@1s / 2s / 3s 分别为 0.14 / 0.29 / 0.54，平均 L2 为 0.32；碰撞率分别为 0.01% / 0.06% / 0.15%，平均碰撞率仅为 0.07%，在安全相关指标上达到当前 SOTA 水平。这意味着 AutoMoT 不仅轨迹误差低，而且生成的规划更安全。
重新思考基座模型的通用能力：到底要不要完全 tailor 到自动驾驶领域？
AutoMoT 还讨论了一个容易被忽略的问题：预训练基座模型进入自动驾驶后，是否需要整体微调成驾驶专用模型？在 AutoMoT 中，保留 Understanding Expert 的预训练能力并不仅仅是为了节省算力，而是因为基座模型能力不断增强——它们已经具备很强的通用场景理解、视觉语义建模和复杂关系推理能力，并在自动驾驶场景理解任务中展现出 SOTA 水平。
第一组实验比较了 AutoMoT 在自动驾驶和通用任务上的 reasoning 能力。AutoMoT 在 LingoQA 上达到 67.00，接近 ReCogDrive 的 67.20；在 OmniDrive 上达到 0.89，高于 ReCogDrive 和 Robotron-Drive 的 0.82；在 CODA-LM 上达到 6.07。同时，它在 TallyQA 和 InfoVQA 等通用任务上分别达到 81.40 和 89.30。这说明，在不完全专门化 backbone 的情况下，AutoMoT 仍然能保持较好的驾驶场景理解和通用推理能力。
第二组实验进一步说明，fine-tuning 的收益并不均匀。对于 LingoQA 这类场景理解任务，微调几乎只带来边际提升，分数从 67.00 增至 67.20；但在 OmniDrive 这类更接近规划和动作层的任务上，提升非常明显，从 18.20 增至 67.80。这表明自动驾驶中真正需要强领域适配的部分，更多集中在如何把场景理解转化为决策和动作，而不是基础视觉语言理解本身。
但整体微调 backbone 也有代价。微调后，TallyQA 从 81.40 降到 52.40，InfographicVQA 从 89.30 降到 50.20，VizWiz 从 75.60 降到 50.20。这些结果说明，如果把整个基座模型深度改造成驾驶专用模型，可能会削弱它原本的通用理解和复杂推理能力。
因此，AutoMoT 采用了更明确的分工：UE 保留预训练 VLM 的通用场景理解能力，AE 则专门学习自动驾驶中的决策、规划和动作生成。需要强调的是，这并非否定 fine-tuning 的价值，而是认为不同能力应当在更合适的模块中进行适配：高层理解能力由 UE 保留，action-level adaptation 则主要由 AE 完成，从而避免整体微调可能带来的通用能力退化。
4. 结语与启示
AutoMoT 的核心并不是让 VLM 直接接管驾驶，而是在自动驾驶 VLA 系统中重新组织“理解”和“行动”的关系。
它选择保留 UE 的通用理解能力，将自动驾驶中的动作学习主要交给 AE 完成。两者通过 layer-wise shared attention 连接，使 AE 在生成决策和轨迹时能够直接利用 UE 的中间表示，而不是仅仅接收一段外部文本解释。与此同时，异步推理与 KV cache 将完整 VLM 前向从每个动作周期中解耦出来，从而降低实时控制中的计算压力。
AutoMoT 提供了一个关于智能驾驶基座模型适配的新视角。将整个基座模型深度适配到驾驶领域固然有其优势，但也往往伴随着更高的标注、人力和算力成本。AutoMoT 的 SOTA 性能则展示了另一种更高效的可能：保留基座模型强大的通用场景理解能力，同时将驾驶相关的决策与规划能力交由专门的动作专家学习，并通过紧凑的跨模块注意力机制实现二者之间的高效协同。这样的设计在保持强性能的同时，也为面向真实部署的 VLA 系统提供了一条更具可扩展性的路径。
