即梦“数字人 1.5”版本现已全面上线,为内容创作者带来了全新的AI数字人生成体验。

更新亮点:此次升级后的数字人,新增了角色动作模仿功能。相比此前仅能添加静态角色,现在的数字人可以依据音频内容,生成与之匹配的动态画面和肢体动作。
通过精细的动作描述,你可以自由控制角色的情绪表达、肢体动作、走位路径乃至镜头运镜方式。简单来说,数字人1.5不仅能为你配音,还能自动生成配套的视频画面。
如今生成的视频既能让角色跟随音乐唱歌,也能遵循你预设的动作提示:切换不同景别、在场景中走动,手势语言也更加丰富自然。
可以预见,数字人1.5将在AI音乐视频创作、影视动漫制作、二次创作短视频等多个领域催生出大量新颖玩法。
接下来,我们将通过一个实际制作的AI音乐MV,为大家完整拆解整个操作流程。
生成组图
首先,正确的操作方式是结合当前热门的「图片4.0模型」,上传一张参考图后,系统会自动生成一系列风格统一的组图。
例如,我们使用此前生成的MV主图来拓展场景——这是一位在录音棚录歌的小姐姐。
利用图片4.0生成分镜图的方法:
❝提示词:唱歌的女生是一位歌手,她在录音棚中完整演唱一首歌,完成专辑录制,场景基调深情动人,镜头切换次数10次
操作非常简便:上传参考图,输入上述指令,点击发送即可快速出图。
细心的朋友或许已经注意到,即梦4目前已支持生成4K超清图片,画质表现更加出色。
图片生成完成后,请将每张图片分别保存到电脑本地,以备后续使用。
生成数字人
访问即梦官网,在生成页面向下滑动即可找到「数字人」入口。打开后你会看到新增的「动作描述」功能选项。
操作要点如下:
1. 在左侧上传角色的图片作为形象基础。
2. 上传音频:这里提供两种方式——你可以选择预设音色并输入文案台词,也可以直接上传自己准备好的音乐文件。
上传音频的示意图:
选择音色和输入文字的示意图:
3. 动作描述:输入图生视频的描述词即可,通常需要包含景别、运镜说明、人物具体动作描述。
4. 模式选择:数字人1.5提供3种生成模式——大师模式、快速模式、基础模式。其中大师模式消耗积分较多,但效果更佳。
指定说话角色:如果你上传的图片中包含多个角色,可以在「角色说」处点击切换,指定当前需要说话的角色。
备注:很多人询问即梦如何生成超过15秒的数字人视频。实际操作方法是:先用即梦4图片模型生成8张图,然后将音乐拆分成几段分别制作。由于图片直接用即梦4.0生成,做好视频后个别分镜的人脸一致性可能出现偏差——这是一个需要提前注意的小问题。
大师模式下的人物表情更加生动自然,整体画面效果更优,但缺点在于积分消耗较高。
图生视频提示词
在制作视频时,最常被问到的就是如何写出有效的图生视频提示词。写好提示词需要对镜头语言、人物动作、场景转换有一定理解。
这里提供一个实用的图生视频提示词模板,你可以直接放到豆包AI中使用:
❝以这张图片为首镜头,生成一个5秒钟的视频分镜脚本,提供动效提示词,提示词结构:包括景别、视角、运镜、画面内容、人物表情,用词精练不超过200字。最后再把生成的分镜提示词提炼成一段文字。
这个提示词能帮你快速制作出基础视频,但要想让最终视频效果真正出彩,仍旧需要创意和细节打磨的加持。
歌词和音乐
歌词和音乐部分,推荐使用 DeepSeek 生成歌词,后续再借助AI音乐工具生成歌曲。
打开DeepSeek推理模型,将以下需求输入给AI:
❝帮我写一首情歌,类似《错位时空》,描绘男女主角之间深刻的暗恋情感,深情又富有感染力,年轻人喜欢的歌曲。
经过一段时间的运算,你将得到一段完整的歌词:
❝《追寻你的温柔》咖啡馆里 灯光下的倒影,是我对着咖啡杯底 心事的沉积,杯口一圈一圈 是你的指纹,将我环绕 我却触摸不到你……
歌词满意后,再到AI音乐平台(如Suno)中生成完整的音乐。本文主要聚焦数字人制作,音乐生成部分就不展开详解了。
合成视频
最后一步,将生成的数字人音乐片段导入剪映,进行后期剪辑处理。
首先调整好各片段的顺序,然后使用智能字幕功能自动识别并生成歌词字幕。
就这样,一个生动有趣的AI音乐唱歌视频就顺利完成了。看完是不是觉得很有意思?借助AI技术的赋能,普通人也能轻松创作出精美的高质量AI音乐视频。
