曾经,生成3D图像这事儿,难到什么程度?复杂的线框、昂贵的软件和硬件,普通人想都不敢想。但技术的车轮就是这么无情——Stability AI 最近扔出了一颗重磅冲击波:一款名为 Stable Fast3D 的新模型,能从单张图像闪电般生成3D图像。
最让人瞠目的是,根据 Stability AI 官方数据,这个新模型在半秒内就能搞定3D图像生成。这意味着什么?要知道,之前的模型处理同样任务,动不动就要几分钟。而 Stable Fast3D 的速度,直接飙到了前代产品的1200倍——这已经不是“升级”了,这是飞升。
回看3月份,Stability AI 才刚推出 Stable Video3D(SV3D),当时生成一个3D资产需要10分钟。短短几个月,Stable Fast3D 就把这个数字压缩到了半秒。进步有多大?一目了然。
从应用场景来看,Stability AI 对这款新模型的期望相当明确:设计、建筑、零售、虚拟现实、游戏开发——几乎任何需要快速3D建模的行业,都可能因此受益。用户可以通过 Stable Assistant 聊天机器人、Stability AI API 以及社区许可证 Hugging Face 来调用模型。
Stable Fast3D原理
Stable Fast3D 并不是从零开始凭空冒出来的。它脱胎于之前的 TripoSR 模型。今年3月,Stability AI 与3D建模供应商 Trip AI 达成合作,专攻快速3D资产生成技术。这次发布的模型,正是那次合作的直接成果。
研究论文里详细披露了技术细节:Stable Fast3D 的核心,是用增强的 transformer 网络从输入图像生成高分辨率的三平面——说白了就是3D体积表示。这个网络的设计亮点在于,它能高效处理更大分辨率,同时不会大幅增加计算负担,从而捕获更精细的细节,并有效减少混叠伪影。
研究人员还特别介绍了一种创新的材料和照明估计方法。材料估计网络采用了一种新颖的概率方法,预测全局金属度和粗糙度值——这种方法能明显提升图像质量和一致性。
说到 Stability AI,大家可能最熟悉的是它的 Stable Diffusion 文本到图像生成技术。但别忽视,这家公司从2023年11月就开始在3D领域布局了:3月的 Stable Video3D 大大提升了3D图像生成质量和观看体验;而上周,他们又宣布了 Stable Video4D,为短3D视频生成增加了时间维度。这一连串动作,节奏快得让人跟不上。
