第一步:准备合规的Prompt与素材
在调用文心一格控制台或API前,需要先编写一份结构清晰的优质中文提示词,推荐使用以下模板:【人物属性】+【服装细节】+【妆容发型】+【场景光照】+【镜头运镜】。举例来说:“亚洲女性,25岁,身穿米白色垂感阔腿西装套装,内搭浅杏色真丝吊带,裸妆+低马尾+珍珠耳钉,柔光棚拍,中景平视缓慢横移”。
这里有两点需要格外留意:第一,避免使用“真人照片”“真实人脸”“肖像权”等敏感词汇,否则会被内容审核系统直接拦截;第二,如需指定性别、年龄或肤色,务必使用“亚洲女性”“青年”“暖调肤色”等平台白名单中认可的表述。
上传参考图时仅支持JPG或PNG格式,且必须为纯色背景(#FFFFFF或#000000),不可包含任何文字、Logo或水印。若上传带有褶皱的服装平铺图,系统会自动识别布料纹理并用于3D建模——这一细节对后续生成效果有显著影响。
第二步:调用文心一格图像生成接口生成关键帧
方法一:通过/v1/ernie-vilg/text2image接口生成首张静态图。发送POST请求至https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/image/text2image,在Header中添加Authorization: Bearer {access_token},Body传递JSON数据:
{"text":"亚洲女性,25岁,身穿米白色垂感阔腿西装套装……","size":"1024*1536","n":1,"style":"realistic"}
方法二:如果已拥有服装设计稿,则改用/v1/ernie-vilg/image2image接口执行风格迁移。该接口需额外传入Base64编码的原始图,并设置"strength": 0.65——该值若低于0.5会导致服装结构变形,高于0.8则会丢失原图细节,0.65是一个相对均衡的参数。
在此之前,必须通过OAuth2.0获取access_token,调用https://aip.baidubce.com/oauth/2.0/token,参数为grant_type=client_credentials&client_id={API Key}&client_secret={Secret Key}。Token有效期仅2小时,过期后需重新获取,这一时效性问题务必留意。
第三步:将静态图转为3秒短视频
此步骤操作相对简单。进入文心一格Web控制台,点击“视频生成”,选择“图片驱动”模式。然后上传上一步生成的1024×1536静态图,在动作库中挑选“站立微转身”或“侧身展示衣摆”等预设动作——请注意,这里不支持自定义骨骼动画,仅能从预设库中选择。
勾选“服饰贴合增强”和“妆容动态保真”两项,点击生成即可。生成时长固定为3秒,不支持延长;如需展示多角度效果,必须重复该流程,分别上传不同视角的关键帧图片。
生成完成后下载MP4文件,分辨率锁定为720p,帧率24fps,不包含音频轨道——这些参数在后续合成过程中都会用到。
第四步:本地合成与导出最终视频
合并多个3秒片段可直接使用FFmpeg:ffmpeg -f concat -safe 0 -i filelist.txt -c copy output.mp4。
添加背景音乐时,推荐用Python的moviepy库加载MP4→插入音轨→导出。这里有一个关键指标:音画同步偏移必须控制在±0.15秒以内,否则抖音等平台会判定为“音画不同步”并进行限流处理。
添加字幕的话,使用whisper.cpp本地运行ASR生成.srt文件,再用FFmpeg硬编码字幕:ffmpeg -i input.mp4 -vf "subtitles=subtitle.srt" -c:a copy output_final.mp4。
最后导出时编码必须选择H.264,Profile设为High,Level设为4.0——否则小红书APP会直接拒绝上传,这是一个容易忽略但后果相当严重的细节。
