步骤1:下载安装AnimateDiff-Evolved插件
插件官网:https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved
下载方式一(推荐):在 ComfyUI_windows_portable\ComfyUI\custom_nodes 目录下打开终端,执行:
git clone https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved.git
下载方式二:手动下载压缩包,解压后放入 custom_nodes 目录,并去掉文件夹名中的 -main 后缀。
这个插件不需要额外安装依赖,直接可用。
步骤2:下载ComfyUI-VideoHelperSuite插件
这个插件几乎是所有视频生成工作流的标配,核心功能是视频合成。同样在 custom_nodes 目录下操作:
方式一:执行 git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite
方式二:手动下载压缩包,解压到 custom_nodes 并去掉 -main 后缀。
注意:这个插件需要安装依赖。进入 ComfyUI-VideoHelperSuite 目录,用ComfyUI自带的Python环境安装:
D:\ComfyUI_windows_portable\python_embeded\python.exe -m pip install -r requirements.txt
步骤3:下载AnimateDiff模型
前往Hugging Face下载 mm_sd_v15_v2.ckpt:https://huggingface.co/guoyww/animatediff/tree/main
下载后放入 ComfyUI_windows_portable\ComfyUI\models\animatediff_models 目录。
步骤4:准备一个基于SD1.5微调的文生图模型
基于SD1.5的模型非常丰富,可以在Civitai上按需选择,但务必确认是兼容SD1.5的微调模型。这里使用一个二次元动漫模型(cardosAnime_v20.safetensors),其基础就是SD1.5。
步骤5:下载标准VAE
由于我们使用了非标准的checkpoint加上标准的motion module,需要更换标准VAE来保证兼容性。下载地址:vae-ft-mse-840000-ema-pruned.safetensors,放入 ComfyUI/models/vae/ 目录。
步骤6:开始AI视频生成
准备工作完成后,启动ComfyUI,按以下步骤创建节点工作流。
6.1 添加CheckPoint模型
右键 → 添加节点 → loaders → Load CheckPoint,选择刚才准备好的 cardosAnime_v20.safetensors。
6.2 添加文本编码器
右键 → 添加节点 → conditioning → CLIP Text Encode (Prompt)。需要两个:一个正向提示词,一个负向提示词。分别连接到CheckPoint的CLIP输出节点。正向提示词写你想要的画面,负向提示词写你不希望出现的内容。
6.3 添加AnimateDiff Loader
右键 → 添加节点 → Animate Diff → ①Gen1 nodes① → AnimateDiff Loader ①。将Model连接到CheckPoint的model输出,model_name选择 mm_sd_v15_v2.ckpt,beta_schedule选 sqrt_linear (AnimateDiff)。
6.4 添加K采样器
右键 → 添加节点 → sampling → KSampler。注意positive接正向提示词,negative接负向提示词,并连接model节点。
6.5 添加Latent Image节点
右键 → 添加节点 → Latent → Empty Latent Image。连接到K采样器的latent_image。这个节点用来设置图像宽高和总帧数(batch_size)。目前这套方案最大支持32帧,所以batch_size最多设为32。
6.6 创建VAE节点
右键 → 添加节点 → Latent → VAE Decode(VAE解码节点)。再右键 → 添加节点 → loaders → Load VAE(VAE加载节点)。将Load VAE切换为下载的标准VAE,然后按图示连接:VAE Decode的samples接K采样器的latent,VAE Decode的vae接Load VAE的vae输出。
6.7 添加Video Combine节点
右键 → 添加节点 → Video Helper Suite → Video Combine。将Images节点连接到VAE Decode的IMAGE输出,format用于切换输出格式(如mp4、gif等)。
6.8 启动生成
在正向提示词中填入想要的内容,负向提示词填入不希望的内容,然后点击生成。最终效果如下:
结语
以上是ComfyUI + AnimateDiff生成AI视频的基础流程。如果操作过程中遇到问题,欢迎在相关社区交流讨论。
