OpenAI放出Sora之后,PixVerse、Pika纷纷跟牌,视频生成赛道瞬间卷成了红海。而曾经的“老大哥”Runway,在被各家的新模型轮番“吊打”之后,终于掏出了看家本事——最新一代的Gen-3视频生成模型。这一回,视频的逼真度、一致性和运动表现都有了跨越式的提升,单个视频时长也拉到了10秒。

Gen-3
上个月中旬刚放专业人士内测,今天Gen-3 Alpha就正式向公众开放了。价格方面,付费订阅起步价每月15美元,包含625个积分,大致能生成62秒的视频。超出部分,花10美元就能再买1000个积分。

Gen 3价格
新模型支持文本到视频、图像到视频以及文本到图像生成,现有的运动画笔、高级相机控制、导演模式这些控制手段也都无缝兼容。Runway还透露,后续会上线更精细的结构、风格和运动控制工具。
据官方说法,Gen-3 Alpha是研究科学家、工程师和艺术家组成的跨学科团队协同努力的成果。从官方放出的演示视频来看,这话不虚:丰富的控制功能、惊人的生成效果,艺术表现力比上一代提升了一大截。
逼真运镜,呈现复杂情感
Runway表示,跟上一代Gen-2相比,Gen-3在保真度、一致性和运动方面有了重大改进,也算是向“通用世界模型”迈出了一大步。

Gen-3 demo
举个直观的例子。提示词是“在日本城市高速行驶的火车车窗上,一名女子的精细倒影”。从生成的视频里能清楚看到:画面清晰度高,光线变化、物体运动、人物微妙表情都呈现得相当到位。跟Gen-2那种人脸不停畸变、五官乱飞的惨状相比,Gen-3 Alpha已经能在10秒内保持人物五官稳定,还能根据环境与动作变化呈现合理的光影效果。这进步幅度,可以说已经跟Sora展示的效果站在同一水平线上了。
Gen-3还支持细颗粒度的时间控制。

Gen-3 demo
再看另一个案例:提示词为“一只蚂蚁从巢xue中爬出的大特写镜头,镜头后拉,露出山那边的街区”。短短几秒内,物体种类从蚂蚁切换到了街区,景别从细节特写拉到俯瞰大全景——镜头运动丝滑流畅,物体精确无变形。这背后的秘诀在于,Gen-3在训练时使用了高度描述性、时间密集的字幕来匹配视频数据,从而能精准定位关键帧,并在帧与帧之间生成富有想象力的过渡场景。
另外,Gen-3在人物表现上也相当能打——擅长生成具有各种动作、手势和情感的富有表现力的人类角色。

Gen-3 demo
看这段提示词:“一个男人的电影宽幅肖像,他的脸被电视的光芒照亮”。人物脸上那种悲伤、克制、怅惘的复杂表情,跟当初Sora发布的“火车上沉思男子”有得一拼。可以说,对人类复杂情感的细腻呈现,是Gen-3的一大杀手锏。X平台上一位网友专门测试了不同表情的生成效果,结果相当惊艳——面部细节入微,整体画面充满电影感。

Gen-3 demo
不过,缺点也一并暴露出来:对光线变化的把握有时不够准确,画面偶尔过暗,甚至看不清人物表情。
关于训练过程,Runway目前只发了一篇博客,没有发布技术论文。博客提到,Gen-3使用了视频和图片等多模态数据进行训练。Runway反复强调,“训练Gen-3 Alpha是科学家、工程师和艺术家组成的跨学科团队的共同努力”,目标是诠释各种风格和电影概念。
官方宣称Gen-3将涵盖文生视频、图生视频、文生图多种模式,还会升级已有的运动画笔、高级相机控制、导演模式等工具,并推出更精细的控制手段。不过,目前公开发布的只有文生视频模型,其他模式和控制工具尚未上线。
惊艳之余,仍不够懂物理世界
Gen-3一出,海外网友立刻在X上晒出了大量实测。
有人感叹:“Runway的Gen-3是对AI内容创作的革命。”

Gen-3 测试案例

图源:X
一位网友用Gen-3生成了脑洞大开的时装秀:模特们依次穿着“云朵裙”“火烧云裙”“树叶裙”,头顶三台电视屏幕,胸前挂着大时钟……荒诞又奇幻。该网友惊叹:“结果太疯狂了!AI时装秀要成热门话题了!”

Gen-3 测试案例

图源:X
但仔细看,时装秀视频也暴露出Gen-3对现实物理理解上的短板:有个镜头里,模特180度翻转后,竟出现了同一张脸;再一翻,又变成了另一个模特——成了诡异的双面人甚至三面人。

Gen-3 测试案例
国内博主“数字生命卡兹克”的测试也显示,虽然人物特写中的人脸一致性相比上一代改善明显,但细节上仍有“穿模”“人机合一”等与现实不符的情况。尤其是在多人物和复杂背景下,很多片段依然没法直接用来制作视频——内容会随着时间推移逐渐离谱起来。

Gen-3 测试案例
比如这个人脸方向和运动方向前后不统一的片段,说明视频生成模型距离真正理解现实世界还有很长的路要走。演示视频里展现出的光影与运动规律固然漂亮,但用户实际使用时的体验表明,模型能力的边界依然清晰。未来,所有视频模型或许都需要在底层做更多功课,才能让用户真正按照自己的构思,生成效果完全可控、符合物理规律的视频。
难怪计算机科学家杨立昆(Yann LeCun)会直言:“视频生成模型不理解基本物理学。”

图片来源:X(@ylecun)
杨立昆进一步解释:“毫无疑问,视频生成系统会随时间变得更好。但真正理解物理的学习系统不会走生成式的路径。所有的鸟类和哺乳动物都比任何视频生成系统更懂物理——然而,它们都无法生成详细的视频。”

图片来源:X(@ylecun)
与Sora一战
那么Gen-3跟其他文生视频模型相比,战斗力到底如何?一位国外网友把它和标杆选手Sora做了对比。在很多案例中,清晰度、运镜流畅度、对现实世界的理解和模拟程度,Gen-3都足以与Sora掰手腕。

图源:X
拿Sora的经典demo“东京街头散步女人”来说,在同样的提示词下,Runway生成了一版人物衣着和街景都更明艳的视频。

图源:X
在另一段经典提示词下,Runway甚至生成了镜头调度比Sora更丰富的视频。提示词是:“镜头围绕一大堆老式电视旋转,所有电视都显示不同的节目——20世纪50年代的科幻电影、恐怖电影、新闻、静态、1970年代的情景喜剧等,背景设置在纽约一家大型博物馆画廊。”

图源:X
Gen-3采用了旋转镜头,配上长枪短炮般错落有致的电视墙,完美呈现了提示词中的眩晕感和荒诞感。除了标准版本,Runway还表示正在与娱乐和媒体公司合作开发定制版,提供更好的风格控制、角色一致性,并满足特定需求。
从实测结果来看,Runway与Sora的差距已经大幅缩小。而且,与依然处在“期货”状态的Sora不同,Gen-3是一个每个人都能立刻上手使用的产品。文生视频领域的战火,才刚刚点燃。
