李飞飞发布世界模型重大更新:单GPU实时生成3D场景
当业界巨头还在忙于采购显卡、扩充算力来支持他们的Sora 2视频生成模型时,李飞飞的The World Labs实验室正在用另一种思路重新定义现实。他们仅用一张显卡,就构建出了可供探索的数字世界。团队刚刚发布了一项名为RTFM的创新技术,这套实时世界生成模型正在突破想象力的边界。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈
与传统图像生成工具不同,RTFM不仅能从单张图片生成可供自由漫步的3D场景,更重要的是实现了在单个H100 GPU上的流畅运行,真正做到了实时生成与交互。
目前,RTFM研究预览版已经开放体验,并提供了可实际操作的Demo演示。

RTFM体验地址:https://rtfm.worldlabs.ai/
令人惊喜的是,这个Demo被命名为FRAMEBOY——结合复古风格的界面设计,瞬间唤起了我们对经典Game Boy游戏机的时代记忆。
眼前这个光影交错、反射细节丰富且实时变化的世界,某种程度上不正是我们儿时梦想中的游戏场景吗?
超越静态生成,实现动态交互
RTFM的核心突破在于能够实时生成可供用户交互的视频内容。系统从一张静态图片起步,通过实时渲染技术构建出完整的3D探索场景。
与传统模型相比,RTFM能够学习并呈现出极其复杂逼真的视觉效果。无论是光滑大理石地面的倒影细节、阳光照射下物体的自然阴影,还是透过玻璃看到的景象,模型都能精准地模拟出真实世界的视觉效果。
RTFM不依赖传统的图形学编程,而是让模型通过对海量视频数据进行端到端学习,持续优化生成的视觉效果。

支撑这一能力的,是RTFM设计团队提出的三大核心原则。
效率优先:将未来拉近现实
计算需求始终是世界模型发展的主要瓶颈。无论是像Sora这样的AI生成视频,还是Google尚未正式上线的Genie 3,都意味着巨大的算力挑战。
相关研究表明,要实时生成4K 60fps的交互视频流,AI模型每秒需要处理的tokens数量约等于一本《哈利·波特》的文字总量。
而在超过一小时的交互过程中,要保持生成内容的连贯性,需要处理的上下文将超过1亿个token。这对当前的计算基础设施而言,既不够现实,也难以承受。
李飞飞团队的目标是"在今天的硬件上,运行明天的模型,并提供最高保真度的预览体验。"
通过对架构、模型蒸馏和推理过程的极致优化,以及整个系统的重新设计,RTFM成功实现了仅使用单个H100 GPU就能进行交互式帧率推理,实现实时生成。
可扩展性:从视频模型到世界模型
传统3D引擎依赖三角网格、高斯点云和体素渲染等显式结构,完全基于复杂的计算机图形学知识。每个物体都需要建模、上材质、打光、烘焙阴影。这与我们之前介绍的混元3D世界采用的方法类似,它们主打的是实现3D全管道的生成效果。
The World Labs选择了完全不同的技术路线。RTFM不会构建任何显式的3D模型,而是使用了类似Sora的"自回归扩散Transformer"架构,直接从视频帧序列中学习世界规律。
举例来说,模型不再需要知道"这是一堵墙"或"那是一盏灯",而是通过成千上万段视频的学习,理解什么是"空间感",学会从输入的2D图像序列中预测出下一个新的视角画面。
与生成3D资产的路线不同,RTFM能够更好地利用不断增长的数据和算力,从而实现无限扩展。
持久性:让世界保持一致
大部分视频生成模型存在一个天然缺陷——它们没有记忆。即便现在的Sora能一次性生成25秒的震撼画面,但视频生成结束后,世界就终结了,无法提供持续的交互体验。
如果要记住所有场景,计算负担势必随着探索的深入而无限累积。
RTFM尝试解决的正是让生成的世界具备持续存在的能力。它引入了一个名为"空间记忆"的机制,为生成的每一帧画面都赋予了在3D空间中的精确"姿态"。
在生成新画面时,模型会采用一种"上下文杂耍"的技术,只调用新画面附近位置的帧作为参考,而非全局内容。
这使得RTFM能够让我们反复进入这个世界,离开再回来,而不会增加计算负担。
目前,RTFM的Demo体验时间只有3分钟,时限过后它还是会忘记这个世界。我在那个Demo里面拖动左右两个摇杆玩了很久,想起李飞飞之前说过,空间智能应该是AGI的下一个方向。
未来是否真的有机会,让现实世界与虚拟世界之间产生明确的联系,当前世界模型需要加载的内容还有太多。
毕竟,即便单个H100 GPU售价也大约在25000美元以上。但是当算力的价格下降,当算法再快一点;我们或许能看到,真正意义上的世界模型"大更新"照进现实的那一天。
AI原生产品日报频道具 前科相关攻略
1月21日消息,据全球权威科技信息分析机构科睿唯安(Clarivate)发布的2026年度“全球百强创新机构”榜单,中国存储芯片龙头企业长鑫科技首次登上该榜单。值得注意的是,长鑫科技也是本年度7家上
【科技报道 记者 林迪】“回顾过去五年,罗克韦尔自动化深切感受到了中国市场的蓬勃发展与持续释放的韧性与活力。站在‘十五五’的新起点上,近期一系列的政策更新为我们指明了更为清晰的在华发展方向。”罗克韦
1月15日消息,近日,小米产业投资部合伙人潘九堂又一次公开表示,模仿是创新基础,但没有哪家企业只靠模仿可以取得成功。之前,潘九堂公开表示,国内车企上一波做纯电大多对标特斯拉,但都不太成功。小米SU7
12 月 23 日消息,创新现已推出一款型号为 ACE SXFI 的 TWS 蓝牙耳机,该机主打空间音频、ANC 混合主动降噪,定价为 699 元。该耳机整体采用黑金配色,拥有 IPX5 认证,耳
当前,全球汽车产业正在经历一场百年未有之大变局。汽车革命的上半场是电动化,解决了动力的清洁化问题,中国已走在世界前列;在“十四五”收官与“十五五”谋篇布局的衔接期,汽车产业界的共识是,自动驾驶所代表
热门专题
热门推荐
洛克王国世界40级进阶无推图阵容打法攻略 在《洛克王国世界》的成长之旅中,达到40级是一个关键的进阶门槛。许多玩家可能会发现自己并未刻意组建一支成型的推图队伍,面对这个挑战时有些无从下手。这篇攻略将为你详细解析一套无需专门推图阵容的通关思路,帮助你利用现有资源,轻松突破40级进阶关卡。 核心阵容搭配
这城有良田主C僚属红品宝玉词条搭配攻略 在《这城有良田》中,红品宝玉的词条选择,是决定你主C僚属最终伤害上限的核心环节。面对各式各样的属性词条,不少玩家会感到困惑:如何搭配才能最大程度激发核心输出的潜力?本文将为你系统解析主C位红品宝玉的挑选逻辑与进阶策略,助你在资源投入上实现收益最大化,显著提升队
哔哩猫手表版优化指南:适配小屏的关键设置 想在智能手表上流畅体验哔哩猫?直接安装手机版本,往往会遇到界面拥挤、操作不便的问题。其实,只需调整几个核心选项,就能让哔哩猫完美匹配手表的小屏幕,操作体验大幅提升。 1、DPI优化:精准调节显示密度 手表屏幕空间有限,默认的显示比例常常导致文字过大、布局浪费
《深海迷航冰点之下》咖啡机使用全攻略:生存必备热饮制作指南 在《深海迷航冰点之下》这片危机四伏的极地海域中,新手面临的第一个致命威胁往往是持续不断的体温流失。与前作不同,身体失温在游戏前期是核心生存挑战之一。有效应对失温的方法主要有:尽快解锁并制作抗压潜水服的升级模块——防寒服、靠近能提供热源的炽热
三国志王道天下吕布骑阵容玩法攻略 在策略手游《三国志王道天下》中,构建强力阵容是核心乐趣。以飞将吕布为核心的群雄骑兵队,以其惊人的爆发力与爽快的操作体验,备受玩家关注。本攻略将为你详细解析这套阵容的构建精髓、核心机制与实战搭配思路,助你打造一支所向披靡的突击铁骑。 阵容构成 这套阵容以纯粹的群雄阵营





