交互式虚拟世界与具身智能技术正快速演进，高质量3D资产的评判标准也随之提升。一个柜门不能仅仅“看起来像门”，它需要明确自身绕哪条轴旋转；一个按钮不能只有外形，还需具备“按下”与“弹起”的状态；一个抽屉除了完备的几何结构，其滑动方向、运动幅度、材质及质量等物理参数同样不可或缺。这项研究已被ICML 2026收录。

然而，当前多数3D生成方法仍停留在静态几何与纹理层面。生成的模型在视觉上可以非常精细，但缺乏支撑真实交互的功能逻辑和分层物理结构。这类“静态外壳”很难直接应用于机器人仿真或游戏引擎。

为攻克这一难题，来自香港大学、腾讯混元等机构的研究者提出了PhysForge——一个专为交互式虚拟世界打造的、基于物理的3D资产生成框架。其核心能力十分直接：仅需一张输入图像，便能输出完整的3D资产，包含部件结构、物理属性、功能语义乃至精确的运动学参数。

论文题目：PhysForge: Generating Physics-Grounded 3D Assets for Interactive Virtual World
项目主页：https://hku-mmlab.github.io/PhysForge/
论文链接：https://arxiv.org/abs/2605.05163

一、效果展示

从图示中可以直观看出，PhysForge仅需单张输入图像，就能输出一套完整且可靠的物理驱动3D资产。生成结果不仅包含高质量的几何与纹理，还具备清晰的部件结构，并为每个部件标注了详尽的物理属性。

对于可动部件，PhysForge还会预测其关节轴、关节原点及运动范围等运动学参数，并明确给出可交互方式。这意味着，一个生成的水壶、柜门、按钮或台灯，不再仅仅是一个可供观赏的模型，而是可以被打开、按压、抓取，并直接部署到交互式虚拟世界中使用的资产。

在机器人仿真展示中，PhysForge生成的资产被导入RoboTwin环境后，机械臂能够顺利识别并操作其功能部件。例如，依照关节约束打开柜门、拉出抽屉，或者抓取指定部件。

二、为什么需要Physics-Grounded 3D Assets？

过去一段时间，3D生成模型在形状、纹理和视觉质量上的进步有目共睹：模型是否美观、几何是否完整、表面是否逼真，已成为常规评价标准。但在具身智能与交互式虚拟环境中，视觉逼真仅仅是第一步。

一个真正可交互的3D资产，还需要回答一系列更深层次的问题：物体由哪些功能部件组成？每个部件具有什么语义、材质及质量？哪些部件可以被推动、抓取、旋转或滑动？部件之间存在怎样的层级与父子关系？可动部件的关节类型、轴向、原点及运动范围分别是什么？

这些信息共同决定了资产能否被仿真器、游戏引擎和具身智能系统真正使用。缺少物理属性与运动学定义的模型，即便视觉上再精致，也不过是“可看不可用”的环境装饰。

PhysForge的核心观点十分明确：交互式资产生成必须根植于功能逻辑和分层物理结构。形状不仅是外观的产物，更应是功能、材料、约束与可操作性的共同体现。

三、方法介绍：两阶段“规划-生成”策略

PhysForge将复杂的物理驱动3D资产生成任务解耦为两个清晰的阶段：首先由VLM进行物理规划，再由扩散模型完成几何、纹理与运动学参数的联合生成。

第一阶段是VLM-based Planning。研究者将VLM训练成了一个“物理架构师”：它接收单张图像、可选的2D mask，以及由TRELLIS生成的3D体素表示，然后自回归地生成一个层次化物理蓝图。

这个物理蓝图定义了每个部件的3D边界框、父子层级关系、关节类型，以及材质、质量、部件功能、状态机与原子操作 affordance 等信息。换句话说，模型会先在语义和物理层面判断：“这个物体应该如何拆解、如何使用、又应该如何运动。”

第二阶段是Diffusion-based Generation。VLM擅长结构与语义规划，但关节轴方向、关节原点、运动范围这些连续的3D参数，还需要更精细的生成机制。因此，PhysForge将这些精确数值的计算交由扩散阶段完成。

为此，研究者提出了KineVoxel Injection (KVI)机制。KVI将每个可动部件的关节原点、关节轴和运动限制编码为运动学体素，并与几何体素一同输入统一的扩散去噪过程。这样，模型可以在同一个生成流程中协同学习“部件长什么样”和“部件应该怎么动”。

最终，PhysForge能够同时输出高质量几何、纹理、部件结构以及精确运动学参数，使单图生成的3D资产具备直接进入交互环境的能力。

四、PhysDB：15万资产的物理标注基座

为了支撑这一任务，研究者构建了PhysDB，一个包含15万3D资产的大规模数据集。PhysDB主要来源于Objaverse，覆盖了家居、工业、武器、个人用品、车辆、科技与电子、文化物品七大类别，并为每个资产提供了细粒度、层次化的物理标注。

PhysDB的标注体系分为四层：

• Holistic properties：描述物体整体尺度、类别及使用场景，如厨房、卧室等。
• Static properties：描述部件级语义、材质及质量，例如金属、木材等。
• Functional properties：描述部件的内在功能和状态机，比如“用于容纳”或按钮的按下/弹起状态。
• Interactive properties：描述可交互属性与运动学定义，包括可推动、可抓取、关节类型、父级部件、轴原点、轴方向及关节限制。

这套标注体系让模型学习的不再仅仅是“部件在哪里”，更是“部件是什么、能做什么、应该如何被操作”。它为PhysForge从静态视觉生成迈向物理驱动3D资产生成，提供了关键的数据基础。

五、丰富的下游应用

PhysForge生成的资产并非停留在展示层面的静态模型，而是能够直接服务于多个下游场景。

第一，机器人仿真。对于机器人训练与评估，PhysForge生成的资产可作为可操作的环境对象，快速扩充仿真场景，从而大幅降低手工建模、关节绑定及物理参数配置的成本，使机器人更容易在多样化物体上学习真实的交互。

第二，虚拟世界与游戏引擎。在Unity、Unreal Engine这类交互式环境中，PhysForge生成的资产已具备材质、质量、功能及关节信息。开发者能够更直接地构建复杂交互逻辑，无需从零开始手工配置每一个可动物体。

第三，具身智能体与环境交互。由于第一阶段会生成文本化的物理蓝图，智能体可以通过自然语言查询资产的结构与功能信息，从而形成更明确的任务计划。例如面对一个柜子，智能体可以轻松知道柜门的位置、把手属于哪个部件、关节如何旋转，以及如何完成打开操作。

六、总结

PhysForge将3D生成的目标从“生成静态外观”推进到了“生成可交互的物理驱动资产”。通过VLM-based Planning与Diffusion-based Generation的两阶段设计，该框架先规划出层次化物理蓝图，再借助KineVoxel Injection生成高质量几何、纹理及精确运动学参数。

同时，PhysDB为这一方向提供了大规模、细粒度、层次化的物理标注基础。面向交互式虚拟世界、机器人仿真和具身智能数据引擎，物理驱动的3D资产生成将成为一项重要的基础能力。而PhysForge则迈出了关键的一步：让生成的3D资产不仅“看起来真实”，更能真正“被理解、被操作、被交互”。