Spatial-TTT是什么
先问一个问题：如果让AI观看一段长达两小时的视频，然后询问它“厨房水池的左边是什么”，它能否准确回答？这其实一直是个棘手难题——大语言模型尽管能理解文字和图像，但面对连续的视频流，尤其是长视频，往往会出现“看到后面忘了前面”的困境。
清华大学、腾讯混元与南洋理工大学最近联合推出的Spatial-TTT，正是为了攻克这一痛点。这个框架仅有2B参数，却借助名为Test-Time Training（TTT）的技术，能在观看视频流的过程中持续更新内部的“空间记忆”。换句话说，它边看边记，且能记住整整120分钟的内容。在VSI-Bench、MindCube-Tiny等多个基准测试中，它的表现甚至超越了GPT-5、Gemini-3-pro这类闭源大模型，峰值显存占用比行业领先方案节省超过40%。
Spatial-TTT的主要功能
那么，这个框架具体能实现哪些功能？
- 流式空间记忆维护：视频流被分割成小块，逐块输入，模型在线更新参数（通过快速权重存储），边观看边累积3D空间证据。无需一次性将整段视频全部加载进“脑子”。
- 长时程空间推理：可进行相对/绝对距离估计、物体计数与大小判断、房间尺寸感知、方向识别、路径规划，甚至外观顺序推理。这些任务对空间理解能力要求极高。
- 超长视频处理：稳定处理10分钟到120分钟的连续视频流。在VSI-SUPER长期记忆基准上，性能几乎没有衰减。
- 高效推理：输入1024帧的情况下，峰值显存仅需11.9GB，理论计算量799.4 TFLOPs——远低于同类大模型。
Spatial-TTT的技术原理
要理解它为何能实现这些功能，需要深入其背后的技术细节。以下是几个关键设计：
- 混合式TTT架构：研究团队在解码器内以3:1的比例交替插入TTT层和标准自注意力锚定层。75%的TTT层负责将长程空间信息写入快速权重，实现线性复杂度的记忆扩展；剩余25%的全注意力层则用于保留预训练模型的语义理解与跨模态对齐能力——这样既发挥了TTT的长记忆优势，又不会破坏原有的视觉-语言能力。
- 空间预测机制：传统TTT采用逐点线性投影生成Q/K/V，容易忽略视觉token的局部几何结构。Spatial-TTT在TTT分支中引入了轻量级3D时空卷积，使快速权重学到的不是孤立token的映射，而是时空上下文到时空上下文的预测关系。这样一来，几何对应、视角变化和时间连续性都能被更稳定地捕捉。
- 稠密场景描述监督与渐进训练：现有空间智能数据大多为稀疏的局部问答，难以驱动快速权重学习全局更新。因此团队构建了涵盖全局语境、物体类别与数量、空间关系的稠密3D场景描述数据，并采用两阶段渐进训练：第一阶段先通过稠密描述学习“记住整个空间”，形成全局3D意识；第二阶段再利用数百万条空间VQA数据强化流式推理能力。
如何使用Spatial-TTT
如果你想将Spatial-TTT投入使用，大致流程如下：
- 环境准备：前往GitHub仓库（https://github.com/THU-SI/Spatial-TTT/）克隆代码，配置好Python环境和依赖项。
- 模型加载：加载预训练的Spatial-TTT-2B权重，初始化TTT快速权重。
- 输入视频流：将长视频分割成连续的chunk，逐块输入模型。每处理完一个chunk，模型会自动更新内部空间状态。
- 空间问答：输入自然语言空间问题（例如“从红色蜡烛出发面向窗户，如何走到门口”），模型基于累积的空间记忆生成答案。
- 扩展应用：可接入机器人、自动驾驶或AR设备的实时视频流，实现持续空间感知。
Spatial-TTT的核心优势
相比同类技术，Spatial-TTT拥有几个非常突出的亮点：
- 小参数超越大模型：2B参数在多项空间基准上击败了GPT-5、Gemini-3-pro等闭源巨头。在MindCube-Tiny上，准确率领先Gemini-3-pro整整12个百分点。
- 线性扩展性：通过fast weights在线更新，显存与计算量随视频长度线性增长。这避免了传统长上下文模型常见的平方级复杂度爆炸问题。
- 空间记忆而非内容堆积：它不依赖无限膨胀的上下文窗口，而是将观察转化为可更新、修正和调用的内部空间状态。这种设计更适合物理Agent的长期运行。
- 显存效率显著：1024帧场景下显存占用仅11.9GB，较行业领先方案（21.2GB）降低了超过40%。带显式几何编码器的对比模型在同等帧数下已无法正常运行。
Spatial-TTT的项目地址
- 项目官网：https://liuff19.github.io/Spatial-TTT/
- GitHub仓库：https://github.com/THU-SI/Spatial-TTT
- HuggingFace模型库：https://huggingface.co/collections/THU-SI/spatial-ttt
- arXiv技术论文：https://arxiv.org/pdf/2603.12255
Spatial-TTT的同类竞品对比
直接与目前最强的闭源模型Gemini-3-pro对比，差距更为直观：
| 对比维度 | Spatial-TTT | Gemini-3-pro |
|---|---|---|
| 参数规模 | 2B | 闭源，未公开 |
| 模型性质 | 开源（清华/腾讯混元/NTU） | 闭源（Google） |
| 核心机制 | TTT 快速权重 + 3D 时空卷积 + 混合注意力 | 长上下文 + 多模态预训练 |
| VSI-Bench 平均分 | 64.4 | 56.0 |
| MindCube-Tiny 准确率 | 76.2% | 63.9% |
| 120分钟视频处理 | 稳定运行（Recall 30.0 / Count 38.4） | 未公开支持，长视频易性能崩塌或 OOM |
| 1024帧峰值显存 | 11.9GB | 21.2GB+ |
| 1024帧计算量 | 799.4 TFLOPs | 1403.1 TFLOPs |
| 空间记忆方式 | 在线更新参数化空间状态 | 依赖长上下文窗口缓存 |
Spatial-TTT的应用场景
这项技术可以应用于哪些领域？设想一下：
- 机器人导航：服务机器人或家用机器人在房间内持续移动时，实时更新空间地图，能够回答“沙发相对于窗户的位置”，或规划到达目标点的路径。
- 自动驾驶：车辆在长时程行驶中持续积累道路、路口与障碍物的空间关系，支持复杂的方向判断与距离估计。
- AR/VR 空间交互：头显设备在用户使用过程中持续理解环境布局，实现虚实融合的空间锚定与物体关系查询。
- 智能监控与安防：对长时间视频流进行在线空间分析，追踪物体出现顺序、计数与位置变化，无需离线全量处理，可实时响应。