英伟达达万亿市值，"世界模型"如何引领技术革命？
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
新智元报道
编辑：KingHZ 好困
【新智元导读】黄仁勋的预言成真！从Sora的梦幻视频到英伟达的3D通才模型，AI不再只是「看和说」，而是真正「动手」构建3D世界，开启机器人时代的无限可能。
黄仁勋没有吹牛！
AI不能只会看、会说、会生成，它还必须理解并遵守物理世界的规则。
现在，英伟达补上了关键拼图——
让AI从「生成画面」升级为「生成可行动的3D世界」，不仅能描述世界，还能一步步搭建世界、修改世界、纠错迭代。
时间拨回到两年前， 2024年2月。
OpenAI发布了一段「东京街头漫步」的Sora视频，震惊世界，硅谷集体狂欢。
人们高呼「现实不存在了」，仿佛人终于可以「言出法随」、重造万物。
但在一片喧嚣中，那个穿皮衣的男人始终保持冷静，甚至带有一丝不屑。
在2024年和2025年的多次演讲中，黄仁勋像复读机一样不断重复——「PhysicalAI」（物理AI）。
反驳视频生成模型的理由是这样的：
AI生成的视频很美，但如果你走进那个视频，试图拿起桌上的杯子，你的手会穿过去。
杯子没有重量，没有摩擦力，没有物理法则。
那不是世界，那是动画片。下一波浪潮，必须是懂物理的AI。
当时，很多人以为这只是老黄的营销话术，最终目的是为了推销昂贵的Omniverse平台和RTX显卡。
直到CES 2026，大家才明白老黄说的对。
刚刚，我们发现英伟达甩出了一篇新年第一篇论文：3D通才模型。
链接：https://research.nvidia.com/publication/2026-03_3d-generalist-vision-language-action-models-crafting-3d-worlds
如果说ChatGPT是AI学会了「说话」，Sora是AI学会了「做梦」，那么英伟达的这个新模型，就是让AI真正「睁眼看世界，动手造世界」。
这是图形学的胜利，这是「硅基生命」长出四肢的前夜。
老黄没有画饼——
物理AI的「ChatGPT时刻」，在这一刻，正式降临。
英伟达开年首篇论文
手搓赛博房之家
这篇论文由英伟达和斯坦福大学合作，正式发表在今年第十三届国际三维视觉会议上，标题相当拗口——
《3D Generalist：Vision-Language-Action Models for Crafting 3D Worlds》（3D通才：用于构建三维世界的视觉-语言-动作模型）。
2026年3月20日至23日，第十三届国际三维视觉会议2在加拿大不列颠哥伦比亚省温哥华的温哥华会议中心以线下形式举行
我们要读懂这次技术革命，首先要从这篇论文标题里，把那个最核心的单词揪出来。
请盯住这个词：Action（动作/行动）。
这是整个逻辑的起点。
在过去的三年里，无论是Midjourney画图，还是Runway生成视频，AI扮演的角色都是「观察者」和「梦想家」。
它看了一亿张猫的照片，然后根据概率，在屏幕上预测下一排像素应该是什么颜色，从而凑出一只猫的样子。
它不知道猫有骨骼，不知道猫毛有触感，它只是在「模仿视觉信号」。
但英伟达的VLA（Vision-Language-Action）模型，彻底颠覆了这个逻辑。
它不再是画家，而是「全能手」。
你只要输入一句话，3D-GENERALIST就能输出包含完整3D布局的房屋。
这些3D布局包括材料、固定装置（比如门和窗户）、3D资产以及照明配置。
背后的理念是，构建一个既详细又与文本描述相符的3D环境，应该被视为一个过程，需要依次做出决策。
因此，通过场景级和素材级的策略，他们不断改进和优化这些3D环境。
在提出的框架中，第一个重要的模块是全景环境生成。
如图2所示，这个模块能够根据文本描述初始化一个基础的3D房间模型，包括墙壁、地板以及固定装置，如门和窗户。
为了避免传统方法过于简化或不切实际的问题，他们首先利用全景扩散模型生成一个360°的图像作为指导，然后通过逆图形技术构建3D环境。
图2：3D-GENERALIST全景环境生成概述。全景扩散模型生成引导性360°场景图像，然后房间布局估计模型、Grounded-SAM和视觉语言模型提取角落、窗户和门的信息。这些预测随后被用于通过程序化方式构建带有构件的3D房间
这个过程包括以下几个步骤：
房间布局估算：利用全景图像和HorizonNet模型，推断出房间的基本结构，如墙壁、地板和天花板。
固定装置分割：使用Grounded SAM技术对窗户和门进行分割。
视觉-语言模型注释：通过GPT-4o这样的视觉-语言模型，分析每个分割区域，确定其类型（例如单扇门、双扇门、滑动门或折叠门）和材料（如门框、门体和门把手的材料）。
过程化生成：最后，根据3D位置的相应信息，房间、门和窗户被逐步构建出来。
3D-Generalist 使用扩散模型生成全景图像，并通过逆向图形（inverse graphics）流水线来创建3D环境的结构。
3D-Generalist采用视觉-语言-动作（VLA）模型来生成代码，用于构建与修改最终3D环境的各个方面（材质、光照、素材与布局）。
该VLA通过一个自我改进训练循环进行微调，以优化与提示词（prompt）的对齐效果。
3D-Generalist还使用了另一个VLA来处理多样化的小物体摆放任务，即使 3D素材是无标注（unlabeled）的也能完成。
微调后（After Finetuning），3D-Generalist涌现出自我纠错行为。
研究团队还使用Florence-2框架，在由3D-Generalist生成的3D环境渲染得到的合成数据上训练一个视觉基础模型。
结果表明：其效果接近使用规模大几个数量级的真实数据所能达到的效果。
物理AI的ChatGPT时刻，已开启？
如果你认为黄仁勋费尽心机搞这个，只是为了让你玩游戏更爽，或者让视觉特效更便宜，那你严重低估了英伟达的野心。
英伟达不只是买买游戏显卡，更致力于解决「智能」算力问题。
这篇论文的真正战略意图，其实藏在英伟达宏大的「具身智能」（Embodied AI）版图中。
老黄早已押注机器人，他认为那是一个数万亿美元的机遇：
这次无疑是英伟达「秀肌肉」。
请看这个逻辑链条：
我们想要全能的机器人（比如特斯拉Optimus，或英伟达Project GR00T）。
机器人需要学会像人一样处理复杂的物理世界（怎么拿鸡蛋不碎？怎么在湿滑地板上走路？）。
在真实世界里训练机器人太慢、太贵、且不可逆（你不能让机器人摔坏一万个鸡蛋，或者摔断一千次腿）。
解决方案：把机器人扔进「虚拟世界」里训练。
但是，以前的虚拟世界（模拟器）不仅搭建很慢，而且不够真实。
如果模拟器里的物理规则和现实不一样，机器人学出来的本事就是花拳绣腿，一上真机就扑街。
现在，新模型「3D通才」补上了这一环。
有了这个技术，英伟达可以瞬间生成数百万个包含不同物理变量的「虚拟平行宇宙」。
场景A：地板刚拖过，很滑，光线昏暗。
场景B：地板铺了地毯，摩擦力大，强光照射。
场景C：地板上散落着乐高积木，障碍物复杂。
在这个无限生成的「3D物理世界」里，机器人大脑可以在一天之内经历人类几百年的训练时长。它在虚拟世界里摔倒一亿次，就是为了在现实世界里稳稳地迈出第一步。
在英伟达的Omniverse生态中，研究团队使用Omniverse Replicator实现大规模合成数据生成，并支持域随机化（domain randomization）；而Isaac Lab提供可直接使用的具身载体（例如人形机器人），可在这些生成环境中进行机器人仿真。
这才是「物理AI」的终极目标：打通Sim-to-Real（从模拟到现实）的最后一公里。
黄仁勋构建的不仅仅是一个生成的引擎，它是硅基生命诞生的子宫。
所有移动之物，终将自主
当AI不仅掌握了人类的语言（GPT），掌握了人类的视觉（Sora），现在又掌握了构建物理世界的法则（Physcial AI）时，虚拟与现实的界限，将不再是泾渭分明的。
我们在屏幕里创造的世界，将拥有和现实世界一样的重力、光影和因果律。
而我们在现实世界里的机器人，将拥有在数亿个虚拟世界里磨练出来的智慧。
在2024年的SIGGRAPH大会上，黄仁勋曾说：「Everything that moves will be autonomous.」（所有移动之物，终将自主。）
当时我们以为他在说机器人。
现在看来，他说的是整个物理世界。
作者介绍
Fan-Yun Sun
Fan-Yun Sun是斯坦福大学AI实验室（SAIL）的计算机科学博士生，隶属于Autonomous Agents Lab和斯坦福视觉与学习实验室（SVL）。
在读博期间，他也深度参与了英伟达研究院的工作，曾效力于学习与感知研究组、Metropolis深度学习（Omniverse）以及自动驾驶汽车研究组。
他的研究兴趣主要在于生成具身（3D）环境与数据，用于训练机器人和强化学习策略；致力于推动具身、多模态基础模型及其推理能力的发展。
Shengguang Wu
Shengguang Wu目前是斯坦福大学计算机科学系的博士生，师从Serena Yeung-Levy教授。
他在北京大学获得硕士学位，导师为Qi Su教授；此前，他也曾在Qwen团队担任研究实习生。
他的研究致力于赋予机器跨多模态的类人学习与推理能力，并推动现实应用的落地。
多模态Grounding与推理：利用视觉洞察来优化基于语言的推理，同时引入文本反馈来指导细粒度的视觉感知。
自我提升：让AI智能体能够从交互中学习并持续自我进化——主动适应新信息，并随着新任务的出现不断成长。
Jiajun Wu
吴佳俊是斯坦福大学计算机科学系助理教授，同时兼任心理学系助理教授。
在加入斯坦福之前，他曾在Google Research担任访问研究员，与Noah Snavely合作。
他本科毕业于清华大学交叉信息研究院「姚班」，师从屠卓文（Zhuowen Tu）教授。在清华期间，他曾连续三年保持年级第一，并荣获清华大学最高荣誉——特等奖学金以及「中国大学生年度人物」称号。
随后，他在麻省理工学院获得电气工程与计算机科学博士学位，导师是Bill Freeman和Josh Tenenbaum。
吴佳俊的团队致力于物理场景理解的研究——即构建能够「看」见世界、进行推理并与物理世界互动的机器，其代表性项目包括Galileo、MarrNet、4D Roses、Neuro-Symbolic Concept Learner以及Scene Language。
除了开发表征本身，团队还同步探索这些表征在各个领域的应用：
多模态感知，代表项目如ObjectFolder和RealImpact；
4D物理世界的视觉生成，代表项目如3D-GAN、pi-GAN、Point-Voxel Diffusion、SDEdit和WonderWorld；
基于物理概念接地的视觉推理，代表项目如NS-VQA、Shape Programs、CLEVRER和LEFT；
机器人学与具身智能，代表项目如RoboCook和BEHAVIOR。
Shangru Li
Shangru Li是英伟达高级系统软件工程师，长期从事智能视频分析（IVA）和Metropolis平台的相关工作。
他拥有宾夕法尼亚大学计算机图形学与游戏技术工程硕士学位，以及广东外语外贸大学计算机软件工程学士学位。
其他华人作者还有：
Haoming Zou (Stanford University)
Yu-Hsin Chou (Stanford University)
Xunlei Wu (NVIDIA)
参考资料：
https://research.nvidia.com/publication/2026-03_3d-generalist-vision-language-action-models-crafting-3d-worlds
相关攻略
英伟达DLSS 4 5正式发布：详解六倍帧生成技术如何实现高刷高画质兼得 2025年3月11日，英伟达正式揭晓了其下一代图像增强技术的核心细节。DLSS 4 5版本中的革命性功能——六倍多帧生成技术，定于3月31日随全新的NVIDIA App Beta版本向用户开放。该技术主要适配于全新的GeFor
AI泡沫？比特币（BTC）与英伟达高度相关引发暴跌80%的警告 眼下的市场，似乎正在上演一场华丽的“循环游戏”。英伟达、OpenAI和AMD之间你中有我的相互投资，其模式特征越来越像当年的互联网泡沫。而这场盛宴一旦散场，冲击波很可能直接扫到加密货币市场。 要点介绍: BTC与英伟达股价的关联性已骤然
NVIDIA下一代数据中心GPU Rubin Ultra确认重大设计调整：为何转向双芯片方案？ 据最新产业消息，NVIDIA数据中心GPU的下一代旗舰产品Rubin Ultra，在关键设计上已完成路线图调整。其最大变化在于：产品放弃了此前规划的四颗GPU芯片（四芯片封装）方案，转而采用更为成熟可靠的
英伟达H200正式恢复对华供货：黄仁勋确认订单，供应链全面激活 在今年的GTC全球开发者大会上，英伟达CEO黄仁勋对外发布了一项关键进展：公司已正式接获来自中国客户的H200 AI芯片采购订单，与之配套的生产线已经重启，供应链体系也随之全面恢复运作。这标志着持续数月的对华高端AI芯片销售僵局，迎来了
NVIDIA下一代GeForce RTX 60系列前瞻：Rubin架构引领光追性能革命 近期科技界热议不断，关于NVIDIA下一代GPU架构的传言持续发酵。代号“Rubin”的全新显卡系列，其性能突破的重心将全面聚焦于光线追踪技术领域。这标志着光追已从一项可选特效，演变为决定未来GPU架构设计方向的
热门专题
热门推荐
《无限轮回》新手入门指南：高效开局与核心机制解析 你是否渴望在《无限轮回》中快速成长，成为团队中可靠的伙伴？对于新手而言，正确的开局思路至关重要。切忌盲目拾取未知物品，一个不当操作——例如过早将关键法器“葫芦”交给队友——就可能打乱核心输出的成长节奏，导致团队覆灭。作为团队辅助，你的首要目标并非打出
Fami通最新销量榜出炉：日本实体游戏软件销量数据解读（2026年3月16日-22日） 日本游戏市场每周的风向变幻，总是由那些长青的头部作品与新晋热作共同书写。根据权威媒体《Fami通》最新发布的实体销量估算数据，在2026年3月16日至3月22日这一周，市场格局呈现出清晰的趋势：任天堂Switch
王者荣耀S43赛季射手梯度排行榜单 新赛季的射手格局已基本定型，可以用一句话概括核心趋势：敖隐与蚩妩两位英雄构成双星闪耀的T0阵营，综合强度堪称断层领先。紧随其后的T1梯队中，公孙离、艾琳、孙权、元流之子（射手）等英雄各怀绝技，或凭借极致的灵活拉扯掌控战局，或依赖无解的持续输出主宰团战。而处于T2梯
长生：天机降世怎么玩：从入门到精通的全面攻略 《长生：天机降世》是一款深度策略卡牌手游。其核心玩法在于通过策略性的卡牌组合与角色搭配，在限定回合内，最大化自身伤害输出并在竞技排行榜上取得优势。想要玩好这款游戏，深入理解其底层机制是关键第一步。 《长生：天机降世》新手入门与高阶玩法解析： 一、游戏核心
在本来生活平台下单购物后，及时查询并跟踪物流信息，可以帮助我们准确掌握包裹的预计送达时间，提前做好收货安排。那么，在本来生活应该如何高效地查询快递物流状态呢？下面为您详细介绍几种常用方法。 进行网络购物之后，用户最关心的问题通常是“我的包裹现在运送到哪里了？”实时了解物流进度，不仅能减少等待期间的焦