在机器人、自动驾驶、增强现实等实际应用场景中，空间智能远非“看一眼图像”就能轻松解决的简单任务。

相机持续运动，视角不断切换，目标物体时而出现时而消失——空间信息并非总是清晰且聚合的，而是常常散布于长时间的视频序列中。模型不仅需要“看见”，更要具备“记忆、关联、并持续更新”的能力。

正因如此，流式空间理解已被视为多模态大模型迈向真实世界应用必须跨越的一道核心门槛。

本文的核心思考在于：多模态智能体如何在动态变化的环境中持续更新自身认知，而不是每次面对世界都如同初见。

真实世界并非一张静态图片，也不是一段固定长度的视频，而是一段持续展开的经验之流。正如人类理解空间时，并不是一次性看遍整个房间，而是在移动、观察、遗忘与修正的过程中，逐步构建起稳定的空间记忆。

近日，由清华大学博士生刘芳甫担任第一作者，联合多位研究者共同完成的Spatial-TTT项目，已被计算机视觉顶级会议ECCV 2026正式接收。

ECCV与CVPR、ICCV通常并称为计算机视觉三大顶级会议，每两年举办一届，录用率常年保持在较低水平。对于一项研究成果而言，被ECCV收录不仅意味着获得了一个会议标签，更代表着它在研究问题、方法创新与实验完整性方面经受了严格的同行评审。

Spatial-TTT所瞄准的，正是多模态模型从“理解画面”迈向“感知真实空间”过程中一个尚未解决的核心问题：

当视频不断延长时，模型能否不依赖无限膨胀的上下文，而是在观看过程中持续构建并更新自己的空间记忆？

实验结果显示，仅有2B参数的Spatial-TTT，在论文测试的多项专项空间智能基准上超越了GPT-5、Gemini-3-pro等闭源模型，并且能够处理最长120分钟的流式视频数据。

它所给出的答案可以概括为一句话：让模型不仅仅是观看视频，而是在观看过程中，边看、边更新、边“生长”出一份动态的空间记忆。

能看长视频，不等于能记住并理解空间

空间智能的真正难点，从来不只是“把上下文做长”，而是空间信息如何在时间维度上被有效选择、组织与保留。

在实际场景中，模型面对的是持续涌入的视觉流：相机移动改变视角，遮挡打断观察，物体的出现与消失又使得关键证据散落在相隔甚远的时刻。

现有方法尝试引入深度信息、多视角输入、空间专项微调数据，甚至训练专用空间模型，但大多数仍局限于单张图像或短视频片段，难以扩展到真实应用中动辄几十分钟、数小时的长时程流式视频。

更进一步看，问题的核心并不只是模型“窗口不够长”，而是它缺乏一种机制，能够在推理过程中不断吸收新观察并整合进内部状态，再将这些状态组织成可供后续调用的空间记忆。

传统的静态推理范式很难解决这一问题，而TTT恰好提供了另一种可能：让模型在推理时边观看边更新参数，利用参数本身的变化来承担记忆功能。

Spatial-TTT：将模型参数转化为动态记忆

为应对上述挑战，研究团队提出了Spatial-TTT，将快速权重（fast weights）作为一种紧凑的非线性记忆，在处理视频流的同时进行在线更新，持续累积跨时间的3D空间证据。

与将整段视频一次性塞入上下文不同，Spatial-TTT更像是持续“维护一份空间状态”：每当新的视频片段（chunk）到达，模型就对已有的空间记忆进行一次增量式刷新。

TTT概念并不新颖，难的是让它真正理解空间

TTT此前已被用于语言建模、新视角合成和视频生成等领域，但流式视觉空间理解有其独特性：模型既要保留预训练阶段形成的视觉—语言能力，又要显式利用视频token的局部几何与时间连续性，同时还需要足够密集的监督信号，教会快速权重哪些空间信息值得长期保留。

围绕这三个问题，Spatial-TTT分别设计了混合架构、空间预测机制以及密集场景描述监督。

设计一：混合式TTT架构，兼顾预训练知识与长视频处理

如果简单地将所有注意力层替换为TTT层，理论上效率更高，但会破坏原始多模态模型的跨模态对齐与语义能力，相当于在获得长程记忆的同时，丢失了模型原本的语义理解能力。

为此，研究团队设计了混合式TTT架构：在解码器中按照3:1的比例交错插入TTT层与标准自注意力锚定层（self-attention anchor layers），其中75%的层采用TTT，负责将长程信息写入快速权重；25%的层保留标准全注意力，作为锚定层，维持预训练模型已有的语义理解和跨模态推理能力。

也就是说，Spatial-TTT并非用TTT取代注意力，而是让两者各自承担不同角色：TTT负责更长久地记忆，全注意力负责更精准地理解。

与此同时，为提升大块视觉token的处理效率，模型还引入了大块更新（large-chunk update）机制，并搭配并行的滑动窗口注意力（sliding-window attention）——前者大幅提升GPU利用率，避免传统TTT小块频繁更新导致的效率低下，以及强行切断帧内空间结构的问题；后者则保证chunk内部仍具备完整的因果局部交互，避免空间连续性被更新边界打断。

两者分工明确：滑动窗口负责处理近期帧和局部结构，快速权重则负责跨块保存更长期的信息。这一设计使得模型在长视频场景下既具备线性复杂度带来的可扩展性，又不会牺牲局部时空建模能力。

设计二：空间预测机制，让在线记忆真正“理解空间”

仅仅将TTT应用到视频中还不够。研究团队观察到，传统TTT中的Q/K/V通常通过逐点线性投影生成，这意味着每个视觉token在进入快速权重之前，主要被当作一个孤立单元来处理——这种方式忽略了视觉token之间天然存在的局部几何结构和时间连续性，不利于空间状态的稳定更新。

然而视觉空间信息天然存在于局部关系之中，如果忽略这种局部连续性，快速权重就需要从零开始推断几何关系，记忆也更容易变得碎片化。

为此，Spatial-TTT在TTT分支中引入了空间预测机制（spatial-predictive mechanism），对Q/K/V加入轻量级3D时空卷积。经过这一处理，快速权重学到的就不再是孤立token之间的映射，而是时空上下文到时空上下文的预测关系，从而能够更好地捕捉几何对应、视角变化与时间连续性，显著增强在线更新的稳定性与有效性。

设计三：稠密场景描述监督，让模型从“会答题”走向“维护全局3D记忆”

现有的空间智能数据大多是稀疏、局部的问答监督，例如判断两个物体的相对关系，或回答一个整数计数问题——这类短答案只能覆盖场景状态中的极小部分，对快速权重学习长期有效的更新动态帮助有限。

问题在于，快速权重需要学习的是如何持续维护整个场景，而不仅仅是提取某个局部答案。如果训练中只询问桌子和椅子的关系，模型就没有动力去记住房间里的其他物体，也难以形成完整的空间布局。

因此，研究团队构建了一份稠密的3D场景描述数据。这份数据要求模型生成覆盖场景全局语境、物体类别与数量、空间关系等内容的场景漫游（scene walkthrough），用更高覆盖率的监督信号来训练快速权重。

该训练采用两阶段空间感知渐进式训练（spatial-aware progressive training）方式：第一阶段，模型先在密集场景描述上学习如何“记住整个空间”，形成全局3D意识；第二阶段，再利用数百万条空间VQA数据，进一步强化方向判断、距离估计、计数、房间大小估计和路线规划等流式空间推理能力。

实验结果：不仅更擅长“空间思考”，也更能“支撑长视频”

实验结果显示，Spatial-TTT在多个空间智能基准上都取得了非常突出的表现。

在VSI-Bench上，作为一个2B规模模型，Spatial-TTT-2B取得了64.4的平均分，超越了多种闭源与开源基线；其中在绝对距离（Absolute Distance）、相对方向（Relative Direction）、路线规划（Route Plan）、出现顺序（Appearance Order）等任务上表现尤为亮眼，说明它在度量级空间估计、方向判断与路径规划等任务上具备更强的能力。

在更为考验多视角细粒度空间推理的MindCube-Tiny数据集上，Spatial-TTT拿下了76.2%的准确率，比最强闭源基线Gemini-3-pro（63.9%）高出12个百分点，比代表性开源空间模型MindCube-3B（51.7%）高出近25个百分点。论文有效证明了Spatial-TTT在视角变化与遮挡条件下展现出更加稳健的空间推理能力。

在考验“长期记忆”的VSI-SUPER系列任务上，Spatial-TTT的优势被进一步放大。对于需要长时间累积证据的VSI-SUPER-Count任务，Spatial-TTT在10、30、60、120分钟视频上的得分分别达到31.8、45.6、36.2、38.4；相比之下，一些通用多模态模型和空间模型在更长视频上要么性能快速下降，要么直接耗尽内存。

而之所以能在更长时程下保持稳定，正是因为Spatial-TTT通过在线更新逐步整合新观察，而不是被动依赖一次性长上下文处理。

深度分析：Spatial-TTT的提升究竟源自何处？

消融实验表明，Spatial-TTT的性能提升并非单一技巧所致，而是三个设计协同作用的结果：

• 去掉空间预测机制，VSI-Bench平均分从64.4降至62.1；
• 去掉密集场景描述监督，分数降至61.3；
• 如果完全去掉混合架构、仅使用纯TTT结构，平均分直接跌至53.9。

这说明架构设计、时空归纳偏置与监督信号之间存在显著的协同效应。

效率分析同样值得关注。在1024帧输入设置下，Spatial-TTT-2B的峰值显存占用为11.9GB，理论计算量为799.4 TFLOPs；相比之下，行业领先的大厂模型分别为21.2GB和1403.1 TFLOPs——也就是说，Spatial-TTT在长上下文下实现了超过40%的显存与计算资源节省。此外，带有显式几何编码器的Spatial-MLLM-4B在512帧和1024帧场景下已无法正常运行。

总结与展望：从“保存更多内容”，走向“构建持续的世界状态”

Spatial-TTT最值得关注的，不仅是一个2B模型在多项空间智能基准上取得的领先成绩，更在于它提供了一种重新理解长视频记忆问题的全新视角。

传统长上下文方案试图保留更多历史内容，而Spatial-TTT则进一步追问：

模型能否将持续涌入的视觉观察，转化为一份能够不断更新、修正和调用的内部空间状态？

它不需要永久保存每一帧画面，却需要知道自身经过了哪里、看到了什么，以及空间关系如何随着新的观察而发生变化。

这对于真正进入物理世界的智能体而言尤为重要。机器人不会只进入一次房间，自动驾驶系统不会只经过一次路口，AR设备也不会只观察几秒钟的环境。它们需要在长期运行中积累空间经验，让此前的观察真正影响后续的感知与决策，而不是在每一次任务开始时重新理解周围世界。

对于这些需要长期连续运行的物理智能体系统而言，这项入选ECCV 2026的工作所提供的，或许不只是一个表现更强的空间智能模型，更是一条从流式视觉感知走向持续世界状态建模的清晰路径。

更关键的变化在于，过去的观察开始参与下一次的判断与行动。当空间信息能够被持续积累、修正和调用时，智能体所面对的就不再是一帧帧彼此割裂的画面，而是一个具有连续性、能够被理解并进一步作用于其中的真实世界。