李飞飞发布全新世界模型，单GPU流畅运行
李飞飞团队的世界模型研究迎来突破性进展！
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
就在刚才，研究团队正式发布了全新模型RTFM（A Real-Time Frame Model），它不仅具备实时运行、持久性和3D一致性，更令人惊喜的是——
单张H100 GPU就能流畅运行。
这项创新设计遵循三大核心原则：
效率：仅需单张H100 GPU，RTFM便能以交互级帧率实现实时推理运算。
可扩展性：该架构能够随着数据量与算力增长持续扩展。通过端到端的通用架构，模型可直接从海量视频数据中自主学习三维世界表征，无需依赖显式3D建模。
持久性：用户可与RTFM进行无限时长的沉浸式交互，所有场景变化将永久留存。系统构建的持久化3D世界不会因视角转换而消失。
让我们深入解析这项技术的实现路径。
世界模型需要突破算力瓶颈
强大的世界模型能够实时重建、生成并模拟具有持久性、可交互且物理精确的虚拟环境。这类技术将彻底改变从数字媒体到机器人技术的各个领域。
过去一年，生成式视频建模的进展已成功应用于世界构建领域。
随着技术发展，一个趋势愈发清晰：生成式世界模型对算力的需求将远超当前的大语言模型。
若直接沿用现有视频架构，生成60帧的4K交互视频流每秒需产生超过10万个token（相当于《弗兰肯斯坦》或首部《哈利·波特》的文本量）。
而要维持一小时以上的持续交互，需要处理的上下文token更将突破10亿大关。基于当前计算基础设施，这既不现实也不经济。
李飞飞团队深信“算力优化”揭示的规律：
那些能随算力增长优雅扩展的简洁方法终将在AI领域占据主导，因为它们能享受数十年来推动技术发展的算力成本指数级下降红利。生成式世界模型正处在绝佳位置，必将从持续降低的算力成本中获益。
这引出一个关键问题：生成式世界模型是否会被当前硬件条件所限制？能否现在就预览这项技术的雏形？
为此，研究团队设定了明确目标：设计一款足够高效、可立即部署，并能随算力提升持续扩展的生成式世界模型。
他们的愿景是打造仅需单张H100 GPU即可驱动的模型，在保持交互帧率的同时，确保虚拟世界永不消散。实现这些技术指标，将让他们提前窥见未来——在当下硬件上体验明日模型可能达到的高度。
这一目标深刻影响着从任务设定到模型架构的整个系统设计。通过精心优化推理堆栈的每个环节，融合架构设计、模型蒸馏与推理优化的前沿突破，他们致力于在现有硬件上呈现对未来模型最高保真度的预览。
世界模型作为学习渲染器
传统3D图形管线采用显式3D表征（如三角网格、高斯泼溅）构建世界模型，再通过渲染生成2D图像。这些流程依赖人工设计的数据结构与算法来模拟3D几何、材质、光照、阴影及反射等效果。
数十年来，这类方法始终是计算机图形学领域的中流砥柱，但其难以随数据量增长实现线性扩展。
RTFM则另辟蹊径。基于生成式视频建模的最新突破，研究团队通过训练单一神经网络，输入场景的单张或多张2D图像，即可从全新视角生成该场景的2D图像，全程无需构建任何显式3D表征。
RTFM还采用作用于帧序列的自回归扩散变换器架构，通过海量视频数据进行端到端训练，实现基于历史帧的后续帧预测。
RTFM可被视为一种可学习的渲染器。它首先将输入的图像帧转换为神经网络中的激活状态（即KV缓存），这些激活以隐式方式表示整个世界。在生成新帧的过程中，网络通过注意力机制从这种表示中读取信息，从而根据输入视角生成与之保持一致的虚拟世界新视图。
从输入视图到世界表示，再从该表示中渲染新帧的机制，并非通过手工设计，而是通过端到端的数据训练自动习得。
RTFM只需在训练过程中观察到这些现象，就能够学会建模反射、阴影等复杂效果。
可以说，RTFM模糊了"重建"（在已有视角之间进行插值）与"生成"（创造输入视角中不可见的新内容）之间的界限，而这二者在计算机视觉中一直被视作两个独立的问题。
当RTFM获得大量输入视角时，由于任务约束更强，它更倾向于执行重建；当输入视角较少时，它则被迫进行超出已有视角的生成。
将姿态帧作为空间记忆
现实世界的一个关键特性是持久性：当你移开视线时，世界不会消失或完全改变，无论你离开多长时间，你总是可以回到之前去过的地方。
这对自回归帧模型来说一直是个挑战。世界仅通过二维图像帧被隐式表示，因此，实现持久性要求模型在用户探索世界的过程中，对不断增长的帧集合进行推理。这意味着每生成一帧的成本都比前一帧更高，因此模型对世界的记忆实际上受到其计算资源预算的限制。
RTFM通过将每一帧建模为在三维空间中具有一个姿态（位置和方向）来规避这一问题。他们通过向模型提供待生成帧的姿态来生成新帧。
模型对世界的记忆（包含在其帧中）具有空间结构。它将带有姿态的帧作为空间记忆使用。这为模型提供了一个弱先验——即它建立的世界是三维欧几里得空间，而无需强制模型显式预测该世界中物体的三维几何形状。
RTFM的空间记忆使得持久性不受限制。在生成新帧时，他们会从已姿态帧的空间记忆中检索附近帧，为模型构建定制的上下文。团队将这一技术称为上下文切换：模型在生成不同空间区域的内容时会使用不同的上下文帧。这使得RTFM能够在长时间交互中保持对大型世界的持久记忆，而无需对不断增长的帧集合进行推理。
目前，该模型已开放预览版体验，现在就可以立即试玩起来……
试完欢迎回来给个反馈评论哦，笔芯～
参考链接：
[1]https://x.com/drfeifei/status/1978840835341914164
[2]https://x.com/theworldlabs/status/1978839175320186988
[3]https://www.worldlabs.ai/blog/rtfm
热门专题
热门推荐
绿联充电头爆炸事件全解析：用户险遭毁容，品牌售后方案为何引发不满？ 近来，数码配件安全领域爆出一桩令人担忧的事件。知名3C品牌绿联旗下的一款USB充电器在正常使用过程中突然发生爆炸，火花飞溅，险些造成用户眼部受伤。这起安全事故迅速在社交平台发酵，引发广大网民对消费电子产品质量与售后服务的集中讨论。
红色沙漠中断的研究任务怎么做？完整通关流程与奖励详解 《红色沙漠》中的“中断的研究”是斯科拉斯敦学会势力任务线的关键支线之一。许多玩家在推进学会声望时都会遇到这个任务，本文将为你整理最新、最全的任務攻略，助你顺利完成并获取丰厚回报。 红色沙漠中断的研究任务有哪些 一 任务基本信息与前置要求 任务类
从通信到算力：商业卫星的「百万颗」狂飙之路与星空危机 近期，全球天文学界向美国联邦通信委员会（FCC）提交的一份联合意见书，引发了巨大震动。细看署名便可感知其分量——这份文件由美国天文学会（AAS）牵头，联合了国际天文学联合会（IAU）、英国皇家天文学会（RAS）、欧洲南方天文台（ESO）等几乎所有
iPhone 18系列全面前瞻：性能巨变下的取舍与市场战略新布局 最新产业链动态显示，下一代iPhone 18标准版很可能在外观设计上延续前代风格，仅对屏幕尺寸进行小幅优化。这一消息迅速引发科技爱好者热议，许多用户纷纷评论：苹果在创新节奏上似乎再次进入“挤牙膏”模式。 回顾去年亮相的iPhone 1
龙胤立志传先天功怎么获得 一、先天功获取途径总览 作为一本标注为“江湖”的无门派顶级橙色内功心法，《先天功》的获取方式多样，能满足不同阶段玩家的需求。总体而言，主要可通过以下四个核心途径入手： 首推 皇家宝库奇遇，此途径充满机遇，有机会在探索宝库深处时直接获得。其次是 拍卖行竞拍购买，只需备足银两，