Matrix-Game3.5 是什么
最近，昆仑万维黎曼动力团队开源了一款名为 Matrix-Game 3.5 的实时流式交互世界模型，这一成果在业内引发了广泛关注。简单来说，它基于 Patch Memory 和 Warped PRoPE 技术，实现了三维空间级别的长期记忆与几何一致性建模。最突出的亮点是，它能在单卡 GPU 上以 720P/20FPS 的规格实时生成画面，并支持分钟级的场景回溯——你之前探索过的角落，回头再去看，一草一木都依然存在。如果你认为这仅仅是一个游戏引擎，那就太小看它了。它的目标是成为通用物理世界模拟的开源基础设施，为机器人训练、自动驾驶仿真以及具身智能研究提供底层支撑。
Matrix-Game3.5 的主要功能
- Patch Memory 长期记忆：将历史画面切分为三维空间坐标下的图像块（Patch），并按空间位置检索重组。这有效解决了物体重现与场景漂移的长期难题——物体重现得分直接突破了此前行业 0.6 的上限。
- PRoPE + Warped RoPE 几何编码：将相机投影矩阵编码融入 Transformer 的时空位置表示，使模型能够感知相机的旋转、平移和投影关系，从而实现精准的视角控制与几何一致性。
- 动静解耦记忆：静态场景由 Patch Memory 维护，而动态主体则通过轻量级的 Reference Token 保持身份一致性。这样移动物体就不会污染记忆，避免出现重影现象。
- 实时流式生成：通过蒸馏将采样步数压缩到 3 步，再结合分块因果推理、KV Cache、INT8 量化以及 VAE 结构化剪枝，最终实现单卡 GPU 上 720P/20FPS 的实时生成效果。
- 自动化数据管线：构建了三种数据系统——Unreal-Gen（虚幻引擎）、AAA 游戏管线、互联网视频管线，产出了 500 万+高质量视频切片、1 万+小时训练数据，覆盖 1200+ 游戏场景。
- NPC 交互与开放世界泛化：支持文本驱动的世界生成、角色动作控制，以及多智能体协同交互。
Matrix-Game3.5 的技术原理
- 统一几何感知记忆框架：PRoPE 将相机位姿编码为相对位置码，不引入额外可学习参数；Warped RoPE 则重新计算历史 Patch 在当前视角下的时空坐标，实现记忆复用时的坐标对齐。
- 渐进式蒸馏：分两阶段将双向 DiT 蒸馏为因果生成器——先用 Perceptual Flow Matching 获得高质量少步因果初始化，再通过 Self-Rollout DMD（分布匹配蒸馏）在自回归轨迹上训练，配合条件课程逐步蒸馏无分类器引导、相机控制和记忆条件生成。
- 轻量化可插拔架构：核心交互功能（PRoPE、Patch Memory、动静解耦）均不新增参数，以模块化插件形式适配不同视频基础模型。
如何使用 Matrix-Game3.5
- 下载模型：通过 GitHub（https://github.com/Riemann-Dynamics/Matrix-Game-3.5）或 HuggingFace 获取权重与推理代码。
- 部署环境：准备一张支持 CUDA 的 GPU，安装依赖后加载模型。
- 输入控制：可以使用键盘 WASD 移动、鼠标控制视角，也可以输入文本提示或相机轨迹来生成交互世界。
- 实时交互：模型以 20FPS 流式输出后续帧，支持分钟级连续探索，且不会丢失场景一致性。
Matrix-Game3.5 的核心优势
- 长时序一致性：首次在开源方案中系统性解决了世界模型的分钟级记忆瓶颈。镜头往返重访时，场景元素能够保持完全一致——这绝非易事。
- 实时可交互：从离线视频生成器升级为可玩的活世界，支持键盘/鼠标实时操控，延迟低至可玩级别。
- 开源生态：核心架构完全开源，GitHub 和 HuggingFace 上均可获取。已被 DiT 作者谢赛宁团队（Solaris）、NVIDIA 以及 Adobe 等引用为基准。
- 零参数增量设计：不堆加参数、不破坏原始视频分布，保留了基础模型原生的开放内容生成能力。
Matrix-Game3.5 的项目地址
- 项目官网：https://matrix-game-v3-5.github.io/
- GitHub 仓库：https://github.com/Riemann-Dynamics/Matrix-Game-3.5
- HuggingFace 模型库：https://huggingface.co/RiemannDynamics/Matrix-Game-3.5-Base
- 技术论文：https://matrix-game-v3-5.github.io/paper/Matrix-Game-3.5.pdf
Matrix-Game3.5 的同类竞品对比
| 维度 | Matrix-Game 3.5 | Google Genie 3 |
|---|---|---|
| 开源状态 | 核心架构完全开源 | 闭源 |
| 分辨率 | 720P | 720P |
| 实时帧率 | 20 FPS（单卡） | 实时 |
| 交互时长 | 分钟级 | 数分钟 |
| 记忆机制 | Patch Memory（三维空间块检索） | 未公开细节 |
| 控制方式 | 键盘/鼠标/相机轨迹/文本提示 | 导航指令+可提示世界事件 |
| 参数增量 | 几乎零新增参数 | 未公开 |
| 数据管线 | 自研三类自动化管线（UE5/3A/互联网） | 基于 Street View 等谷歌数据 |
| 生态引用 | 被谢赛宁团队、NVIDIA、Adobe 引用 | 行业标杆 |
Matrix-Game3.5 的应用场景
- AI 游戏引擎：替代传统游戏引擎实时生成可交互开放世界，大幅降低 3A 游戏开发成本。
- 机器人虚拟训练：作为人形机器人或机械臂的虚拟训练沙盘，支持低成本海量场景试错与长时序任务规划。
- 自动驾驶仿真：构建符合真实物理规则的交通场景数字孪生，用于端到端驾驶策略训练。
- 具身智能研究：为具身 Agent 提供可交互的物理世界模拟环境，支持动作-状态联合训练。
- XR/元宇宙内容生成：实时生成沉浸式虚拟空间，支持用户自由探索与内容创作。