伴随着AI技术逐渐融入影视创作领域,网友们对经典剧集进行“魔改”的创作热情不断升温。近期,在各大社交平台上,涌现出一大批由AI生成的新奇视频:比如《甄嬛传》中安陵容竟说出“臣妾要告发大胖橘私通”这类出戏台词,《狂飙》的高启强也跨剧借来《无间道》那句“三年之后又三年”的对白,更有视频安排汉尼拔抱着头颅,幽幽问出“先洗澡还是先被我享用”这样的诡异提问。这些作品不仅声画配合流畅,表情口型也高度匹配,若非资深影迷,恐怕很难辨出真假。
随着Sora 2等新一代模型相继问世,行业对于AI视频的要求已从“画面真实”进阶到“音画同步”乃至“叙事完整”。在这种趋势下,一家名为Gaga AI的团队发布全球首个聚焦人物对话的影视级声画同步模型——GAGA-1。与追求通用视频生成不同,GAGA-1将重心放在刻画角色表演的细节上。尽管团队名称并不为大众所熟知,但其技术实力实不简单——此前还曾开源全球首个自回归架构视频生成模型,受到了业界的广泛关注。
目前,能够实现高品质音画同步的AI模型寥寥无几,基本只有 Sora 2、Veo 3等头部产品可供选择。GAGA-1的独特之处在于,用户只需上传一张人物图片,或是由AI自动生成形象,加上输入台词及效果提示,就能得到一段10秒、最高720p分辨率的16:9格式视频。据最新公布,生成时间普遍在5分钟以内,实际测试中,多数视频可在2分钟完成。例如,输入《甄嬛传》温太医的截图配合“窝囊只是我的伪装,娘娘我爱过一双”的台词,AI生成的视频里,温太医先是表情挑衅,渐转讥诮,全程口型严丝合缝,自然流畅。
真正考验模型能力的地方要数复杂情绪的表现。在借鉴《喜剧之王》试戏片段的测试中,用户要求同一角色呈现“兴奋到不敢相信”的情感。最终生成的画面里,角色的头部微微晃动,嘴角与眼角的皱纹伴随着台词“我成功了!我真的穿越回国庆前一天了”起伏变化,眼神中透露出的惊喜感尤为真实。而在另一则“高兴到失落”的情绪转换测试中,虽然过渡略显慢半拍,但角色从嘴角下垂到眼神暗淡的细节安排,仍成功传递出明显的沮丧之意。这些案例显示出,GAGA-1已能理解台词的内涵,并通过表情与语气进行同步调整。
该模型在处理多角色互动方面同样表现不俗。比如,在恶搞《无间道》天台对峙一幕中,刘建明和陈永仁顶着一本正经的表情讨论“偷吃炸鸡”的场景,自带笑点;又如在《绿皮书》式对戏片段里,未开口的角色被赋予了细微的视线移动,增强了对话的真实性。当然,模型在动作识别上仍有局限,像是搭肩这类肢体接触还无法准确捕捉。语言方面,GAGA-1支持多种语种台词输入。将《三国演义》中诸葛亮的一段话译为英文进行测试,生成视频虽然带有些许莎士比亚戏剧腔,但情绪与口型依然准确;而当《你的名字》的日语台词遇上哈利·波特形象时,画面却意外呈现出日系忧郁男主角的风格。
经过多轮测试,以下几点技巧能有效提升生成效果:尽量使用胸部以上的半身照片,效果更佳;台词简短的话,建议生成5秒视频以降低画面出错概率;情绪与动作表达必须在提示词中写清楚;写实风格的人像输出结果比其它风格更稳定。举例来说,当要求角色从狂喜转为无奈时,GAGA-1通过嘴角微颤、眼神变暗等细节,塑造出了层次分明的表演。
GAGA-1的问世,无疑是AI视频从“生成画面”迈向“塑造角色”的标志性一步。眼下,行业对于“鲜活人物”与“完整故事”的需求迅速提升,与此同时,“AI演员是否会替代真人演员”的争议声音也愈发响亮。不过现阶段,AI在理解潜台词、把握表演节奏、处理停顿与眼神交流等细节方面还存在不足,这都需要通过针对性优化模型去解决。也许,未来属于AI视频的“里程碑时刻”,正由像GAGA-1这样专注垂直领域的工具共同推动。
目前GAGA-1已全面开放使用,感兴趣的用户可直接前往以下链接正式体验:https://gaga.art
