最近尝试用豆包和即梦制作了一段双人对话视频,口型与字幕基本同步,整体观感还算逼真。不过坦白说,细节方面仍有不少优化空间。

双人对话视频究竟该如何制作?核心在于如何利用AI实现“多人对口型”——这正是当前AI短剧创作中公认的技术难点。
近期,可灵AI更新了多人对口型功能,支持用户创建包含多个角色的视频,制作灵活性与表现力显著提升。不过需要说明的是:目前该功能暂不支持多段配音与多角色音轨的自动合并生成,仍然需要分角色单独生成,最后在后期编辑环节手动拼合处理。
可灵我有段时间没用了,正好趁这次新功能上线,来实测一下实际效果。
需要用到的工具包括:豆包、即梦、可灵以及剪映PC专业版。
1、豆包——生成多人照片
第一步,需要先准备一张包含多人的图片。为了降低操作难度,这里只生成两个人的图像。当然,你也可以直接使用之前文章中的双人对话图片,放到可灵中进行测试。
最简便的方式是直接告诉豆包生成一张两人对话的图片。不过我采用了另一种方法:在豆包中将两张单人图片合成为一张。具体操作为:先上传两张图片,然后根据需求编写提示词,下面演示详细步骤。
2、即梦——生成视频片段
接下来,用上面这张图分别生成两个5秒的视频片段。豆包和即梦均可完成此操作,我这次选用的是即梦视频3.0。
关键在于:一个片段中,女性微笑说话,男性微笑保持沉默;另一个片段则相反,男性微笑说话,女性微笑不发声。这样分角色拍摄,便于后续进行对口型处理。
3、豆包——生成对口型文案
打开豆包,上传上面那张双人图片,输入提示词:根据这张图片,设计与之匹配的对话内容。以“男、女、对话方式”输出。
如果对生成结果不满意,可以继续优化。另外,建议让豆包生成简洁的文案——否则制作过程既耗时又耗资源。最后像之前文章里那样,把文案整理出来备用。
4、可灵——生成多人对口型视频
打开可灵,点击“对口型”功能。
先上传男性说话、女性不说话的片段。注意:人物1要选择男性,与视频片段对应,然后输入文本、选择音色。时长不能超过5秒——这一点最令人头疼。如果要制作几分钟的视频,非常考验耐心。
同理,再上传女性说话的片段,输入文案,选择人物2和对应的音色。就这样一个片段一个片段地生成。时长不足5秒的,后续在剪映中再调整剪辑。
5、剪映剪辑
打开剪映,导入所有视频片段,添加贴纸等后期装饰。通过剪辑将各个片段拼接起来,最终就能得到一个完整的双人对话视频。
