先说几个关键判断：当前主流的世界模型，在技术演进中普遍存在一个硬伤——物体一旦离开相机视野，便会像被按下暂停键一样，彻底静止不动。然而，LiveWorld 这一全新框架，恰好打破了这一局限。
它来自阿德莱德大学、浙江大学、澳大利亚国立大学等多个团队的联合研究成果，核心思路极为简洁清晰：将 4D 世界的演化逻辑与相机视角的渲染过程彻底解耦。简单来说，就是先构建一个能够持续、自主运转的全局世界状态，然后在任意时刻、任意视角“架设一台相机”进行拍摄。物体离开了镜头？没关系，它依然按照物理逻辑自行演化。相机再转回来？状态已经同步更新完毕。
这套逻辑，为长时序场景下的全局一致性提供了一种扎实的工程解决方案。
一、LiveWorld 核心概念解析
简单定义一下：LiveWorld 是一个解耦式生成视频世界模型。其创新点并不在于生成多清晰的单帧画面，而在于“世界状态”独立于相机视角持续演化。项目还同步推出了行业首个针对视野外动态评测的基准数据集——LiveBench，专门用于量化模型对镜头外事件推演、三维空间一致性以及长时序连贯性的生成能力。
目前，仓库处于代码与基准数据集分阶段发布筹备阶段，正式版尚未完全铺开。
二、使用指南
2.1 环境前置要求
- Python 3.9+，CUDA 11.8/12.1，显存≥16GB（推理最低8GB）
- 依赖库：PyTorch、Transformers、Open3D、Diffusers、Pillow、Matplotlib
2.2 仓库克隆与安装
git clone https://github.com/ZichengDuan/LiveWorld.git
cd LiveWorld
conda create -n liveworld python=3.10
conda activate liveworld
pip install -r requirements.txt
2.3 基础推理流程
- 下载预训练权重与LiveBench数据集（仓库Release板块更新中）；
- 修改
config.yaml配置文件，设置场景路径、相机轨迹、推理帧数； - 执行单场景视频生成：
python inference.py --ckpt ./pretrain/liveworld.pth --scene ./data/demo_scene --output ./result
- LiveBench评测：
python eval_livebench.py --bench_root ./livebench --model_ckpt ./pretrain/liveworld.pth
2.4 自定义场景输入
支持传入单张初始场景图及文本事件脚本，配合自定义相机移动轨迹文件，生成任意时长的连续动态视频。整体灵活性相当高，可适应多种复杂场景需求。
三、竞品对比分析
我们选取了三款主流的开源相机可控世界模型进行横向对比——Matrix-Game-2.0、Hunyuan-GameCraft-1.0、Spatia。结果一目了然：
| 对比维度 | LiveWorld | Matrix-Game-2.0 | Hunyuan-GameCraft-1.0 | Spatia |
|---|---|---|---|---|
| 核心架构 | 世界演化与相机渲染解耦 | 世界与相机耦合建模 | 单视角视频自回归生成 | 空间增强耦合扩散模型 |
| 视野外动态支持 | ✅ 原生支持，物体自主演化 | ❌ 镜头外物体冻结 | ❌ 仅可见区域更新 | ❌ 短时记忆，长时序失效 |
| 专属评测基准 | 自带LiveBench视野外动态数据集 | 无针对性基准 | 通用视频画质指标 | 空间对齐单项评测 |
| 长时序一致性 | 优秀，全局状态持久记忆 | 较差，远距离重访物体错位 | 中等，30帧以上逻辑崩坏 | 一般，跨视角物体易混淆 |
| 适用场景 | 机器人仿真、自动驾驶、开放世界 | 短视频游戏画面生成 | 实时游戏镜头渲染 | 室内短镜头3D视频生成 |
| 开源进度 | 代码与基准逐步发布 | 完整开源 | 推理代码开源 | 权重开源 |
| 核心短板 | 当前权重未完全上线，大显存需求 | 无全局世界记忆，无法长时序推演 | 仅支持短镜头，无视野外推演 | 多物体交互逻辑弱 |
差距最显著的地方在于：其他模型在视野外是“盲区”，而LiveWorld则是“暗区”——物体信息并未消失，只是你暂时没看到它正在运动。
四、常见问题解答（FAQ）
Q：LiveWorld和普通文生视频模型（如Sora、CogVideoX）最核心的区别是什么？
A：普通文生视频模型生成的是单段连续镜头，世界状态与相机视角绑定。而LiveWorld先构建一个独立演化的全局4D世界，再按需渲染任意相机视角。镜头外的物体不会静止，这一特性在仿真、机器人规划等任务中构成了根本性差异。
Q：LiveBench是通用大语言模型评测基准吗？
A：不是。LiveBench是专为视频世界模型设计的评测数据集，聚焦于衡量视野外动态和跨视角空间一致性。虽然名称与AI大语言模型领域的一个独立评测基准重名，但两者毫无关联。
Q：本地运行LiveWorld最低硬件配置要求如何？
A：推理最低需要8GB显存，完整训练建议使用24GB及以上NVIDIA显卡。CPU仅支持轻量化可视化操作，无法完成完整的视频生成与评测流程。
Q：仓库显示代码正在发布中，何时能获取完整权重？
A：项目说明中标注为“Code and benchmark release in progress”，完整预训练权重和LiveBench数据集将分批次在GitHub Release页面推出，请关注仓库状态更新。
Q：能否输入自定义3D场景模型作为初始环境？
A：支持。项目内置Open3D加载模块，可以导入GLB/OBJ格式的静态3D场景作为初始背景，再配合文本脚本定义物体的动态规则。
Q：模型生成视频出现物体身份错乱，该如何优化？
A：在配置文件中开启entity_id_tracking实体跟踪模块，适当调大时序对齐损失权重，同时缩短单次推理帧数，以减少长时序误差累积。
Q：LiveWorld是否支持多智能体同时观测同一个世界？
A：原生支持多相机并行渲染。多个智能体可各自独立视角读取同一套全局演化世界状态，非常适合多机器人协同仿真场景。
五、相关链接
- GitHub仓库地址：https://github.com/ZichengDuan/LiveWorld
- 论文预印本地址：https://arxiv.org/abs/2603.07145
- 项目官方主页：https://zichengduan.github.io/pages/LiveWorld/index.html
- HuggingFace模型库：https://huggingface.co/ZichengD/LiveWorld
六、总结
可以确定的是，LiveWorld是目前从架构层面解决视频世界模型视野外动态缺失问题的最佳方案之一。通过解耦全局世界动力学与相机视角渲染，它让物体在镜头之外依然能够自主演化。配套的LiveBench评测基准也填补了长时序、跨视角世界一致性标准化评估的空白。
与传统的耦合式视频生成模型相比，它在机器人仿真、自动驾驶数字孪生、开放世界内容生成等工程场景中，具备不可替代的实用价值。待完整开源代码与数据集上线后，将为4D世界建模、具身智能领域提供真正可落地的研究工具。