说到声音克隆,字节跳动的MegaTTS3最近确实引发了不少关注。它不仅支持中英文,还能跨语言克隆,而且生成质量非常高——几乎到了让人分不清原声和合成声的程度。下面就来聊聊这个技术怎么用、怎么装,以及一些需要留意的地方。
ComfyUI 的 MegaTTS3 声音克隆节点
项目的GitHub地址在这里:https://github.com/billwuhao/ComfyUI_MegaTTS3。如果你已经在用ComfyUI做图像或视频生成,那这个节点可以直接集成进来,省去单独部署的麻烦。
声音克隆质量非常高,支持中英文,并可跨语言克隆。
更新日志:2025年4月6日,发布了v1.0.0版本。
安装方法
安装很简单,把项目clone到ComfyUI的custom_nodes目录下,然后安装依赖就行。如果用的是Python内嵌版(python_embeded),注意用对应的pip命令。具体如下:
cd ComfyUI/custom_nodes
git clone https://github.com/billwuhao/ComfyUI_MegaTTS3.git
cd ComfyUI_MegaTTS3
pip install -r requirements.txt
# 如果是python_embeded环境,用这个命令:
./python_embeded/python.exe -m pip install -r requirements.txt
模型下载
模型和音色需要手动下载,放到 ComfyUI/models/TTS 路径下。
首先,从Hugging Face下载整个 MegaTTS3 文件夹(下载地址),将其放到 TTS 文件夹下。
然后,在 MegaTTS3 文件夹中新建一个 speakers 文件夹,从Google Drive(下载地址)下载所有 .wa v 和 .npy 文件,放到 speakers 文件夹下。
音色克隆与安全考量
目前有一个比较遗憾的地方:不能自定义克隆任意声音。因为克隆质量实在太高了,官方出于安全考虑没有开放自定义参数——你想想,如果谁都能随意克隆别人的声音拿去反诈,那后果确实很严重。所以目前的做法是,你可以上传要克隆的声音样本(长度限制在24秒以内),提交申请,官方审核后会加入音色库。申请地址在这里:https://drive.google.com/drive/folders/1gCWL1y_2xu9nIFhUX_OW5MbcFuB7J5Cl。目前这个音色库已经有近300种音色了,覆盖了各种口音和风格,基本够用。
鸣谢
- 字节跳动MegaTTS3官方项目:https://github.com/bytedance/MegaTTS3
效果演示:前面是原声,后面是克隆结果。下面五个示例可以直观感受一下差异:
01
02
03
04
05
