企查查APP信息显示,近日,阿里巴巴(中国)有限公司申请并公开了一项名为“视频生成方法、视频生成模型的训练方法及任务平台”的专利。
专利摘要披露,本说明书实施例提供了一种视频生成方法、视频生成模型的训练方法及任务平台。其中,视频生成方法具体包括:首先获取参考图像与参考音频,其中参考图像需至少包含参考对象的视觉信息;随后,从参考图像的视觉信息中提取参考对象的视觉特征,同时从参考音频中提取音频特征;接着,基于视觉特征与音频特征之间的交互特性,预测在音频特征影响下目标对象的参考动作信息,这里的目标对象由参考对象衍生而来;最后,依据预测出的参考动作信息并结合参考音频,生成与该目标对象对应的视频。采用该方法,能够有效提升视频中目标对象的视觉信息与对应音频的匹配程度,从而显著增强视频的最终呈现效果。

