时隔数月,Runway再次重磅出击。全新Gen-3 Alpha剑指Sora,意图正面竞争。
相较前代Gen-2,Gen-3 Alpha在画面细节、内容一致性以及动态表现方面,实现了又一次质的飞跃。

消息一经发布,网友们迅速沸腾起来,纷纷转发各类演示片段。此前热度极高的Luma,其光芒瞬间被掩盖。

有网友直言:“Luma开始雪崩,Gen-3 Alpha即将主导战局!Runway在保真度、一致性、动作表现以及真实感人体方面取得了显著进步,该模型尤其擅长生成富有表现力的人类角色——各种动作、手势和情感都拿捏得恰到好处。”
至此,AI视频领域似乎又将迎来一位新的领航者。

Runway官方表示,Gen-3 Alpha的诞生意味着我们距离通用世界模型与新一代AI视频更进一步。
Gen-3 Alpha:全新基础设施系列的首个模型
Gen-3 Alpha采用了视频与图像的混合训练方案。
和2023年11月推出的前身一样,它同样支持文本到视频、图像到视频以及文本到图像等多种功能,并且涵盖了运动画笔、高级相机控制以及导演模式等控制选项。未来,Runway还计划推出更多工具,让用户对结构、样式和运动的控制更加得心应手。
按照Runway的说法,Gen-3 Alpha是基于大型多模态模型的全新训练基础设施训练出的第一个模型。不过,具体的技术细节和改动,官方并未透露——这次连技术论文都没有发布,仅在博客中放出了一批最长10秒的视频示例。
即便如此,网友们已经给予了极高评价:“令人印象深刻。光线、颜色、皮肤纹理、清晰度,一切都让人惊叹。”

还有人说:“这就是即将撼动娱乐圈的AI!”

Hugging Face创始人表示:“泰酷辣!谁将会成为从开源视频模型收获百倍关注的幸运儿?”

就连Pytorch之父也给出了高度评价:“这简直就是Sora级别的模型。”

人物更加逼真,表现力更为细腻
从下面的示例可以看出,新模型不仅在把握不同动作、手势、情感的人类角色上更加细腻,在场景元素和过渡的时间控制方面,也有了明显的提升。
人物生成方面,肖像的面部细节更加真实,而且即便在10秒长的视频中,风格一致性也保持得很好。例如坐在车里的女子,经过霓虹灯街道时,脸上的光影变化毫无违和感。

仰头大笑的男子,戴上假发和眼镜后,几乎看不出是AI生成的。

穿着宇航服的男子穿梭于石头建筑之间,仿佛在讲述这座古城的历史。

还有一位老人出现在仓库中的特写镜头。

日漫人物的生成同样堪称完美。

更懂物理世界
Gen-3 Alpha经过了描述详尽、时间连续的训练数据训练,生成的画面不仅富有想象力,过渡效果也十分自然。此外,它还能对场景中的元素进行精准的关键帧动画制作。

它对物理世界的理解也更进了一步。比如洪水涌入山庄时,水流状态与真实世界别无二致。

走廊中,闪光灯打在飞舞的银色布料上。

不过,蚂蚁的腿这次仍然存在问题。时而多几条,时而少几条,堪称“薛定谔的蚂蚁腿”。

在由远拉近的镜头生成中,Gen-3 Alpha能够细致地呈现所需的场景。

这个热气球的运镜效果同样出色,与实际拍摄的移动镜头几乎没有区别。

超梦幻的海底世界,仿佛置身梦境。

更值得一提的是,Gen-3 Alpha在视频中生成字体的能力变得更加真实。一面白墙上用黑色涂鸦写着“Runway”,效果令人眼前一亮。

博物馆中一幅画的宽幅对称照片,镜头拉近到画作附近。

窗外看到一个巨大的奇怪生物在夜晚的破败城市中行走,一盏路灯照亮昏暗的角落。

一缕缕活生生的火焰,在熙熙攘攘的幻想集市中飞驰的特写镜头。

此外,官方还放出了不少令人震撼的演示:




还有一些网友已经获得了内测资格,开启了第一波试用。



Gen-3 Alpha此次升级,为何能在画质美学上再次实现史诗级突破?原因其实很简单:在这次模型的训练中,凝聚了研究者、工程师和艺术家的共同努力。这种跨学科团队的合作,让Gen-3 Alpha能够自如地诠释各种风格和电影概念。
追赶Sora
除了标准版本外,Runway还在与娱乐和媒体公司展开合作,开发Gen-3的定制版本。这些定制模型将为用户提供更好的风格控制、更一致的人物表现,并满足用户的特定需求。
另外,Runway还宣布了新的安全功能,例如改进的审核系统以及对C2PA标准的支持(这也是所有主要商业图像模型都在使用的标准)。

说起来,OpenAI的Sora已经鸽了很久。2024年2月,Sora横空出世,在一致性和图像质量方面树立了全新的里程碑,直接刷新了全球对AI视频的认知。但截至目前,Sora仍然没有公开可用,距离商业化的道路还很遥远。
不过,全球各地的Sora平替也如雨后春笋般涌现。多年来,RunwayML一直是AI视频领域的先驱,凭借这次Gen-3 Alpha的发布,它再次证明了自己的地位。

还有一个重磅消息:再过几天,Gen-3 Alpha就会面向付费订阅者开放了。
