视频生成技术再次迎来重大突破。Stability AI 最新发布的 Stable Video4D,能够将用户手中的一段普通视频直接扩展为8个不同视角的全新视频。想象一下,如果你拍摄了一段旋转的咖啡杯视频,现在可以同时从顶部、侧面、底部等各个角度观察它的运动。
Stable Video4D 是在上一代 Stable Video Diffusion 模型基础上衍生出的全新能力。上一代模型的核心功能是“图生视频”,即将静态图片转化为动态画面。而这一次则实现了质的飞跃:输入一段现有视频,输出多个全新视角的视频内容——这标志着从2D视频拼接直接跨越到真正的3D动态视频合成。简单来说,以前只能对着静态图像“脑补”动画,现在则能从动态视频中“拆解”出不同角度构成的完整世界。
具体如何使用?流程非常直观:用户只需上传一段视频,并指定所需的3D摄像机位置(例如“从左侧30度观看”或“从正上方俯视”),模型便会自动生成8个新视角的画面。据官方数据,模型大约40秒即可完成8个视角、每个视角5帧的视频生成,而完整的4D优化过程需要20到25分钟——这一速度在当前业界技术中已属相当高效。
与以往方案相比,Stable Video4D 最核心的进步在于能够一次性同步生成多个新视角的视频,而非逐个角度拼凑。这不仅确保了物体在时间和空间上保持一致性——例如旋转的咖啡杯,其杯把在不同视角中不会出现位置偏移——同时也使整个4D优化框架更加轻量,无需像传统方法那样反复调整大量参数。
当然,官方也坦诚表示,目前该技术仍处于研究探索阶段。不过从其应用潜力来看,游戏开发、视频编辑、虚拟现实等领域将成为直接受益者——例如游戏场景中的动态物体、VR环境中的交互角色、剪辑软件中的多角度素材自动生成。Stability AI 正在持续优化模型,目标是在未来能够处理更复杂的真实世界视频,而不仅仅是实验室环境下的简单场景。
目前,Stable Video4D 已在 Hugging Face 平台开放使用。可以预见,随着后续研究的不断深入,这项技术在构建逼真多角度视频方面的能力还将持续提升。毕竟,当创作者能够同时掌握时间轴与空间轴的控制权时,故事的呈现方式将迎来彻底变革。
