文本转语音（TTS）领域再添实力新星——由 **Nari Labs** 开源的 **Dia-1.6B**，上线仅两天便在 GitHub 上收获 **6.5K+ Star**，增长速度相当亮眼。根据行业反馈，该模型在对话生成能力上已超越 ElevenLabs 和 Sesame，而这一切仅基于 1.6B 参数——情感控制、非语言声音（如笑声、咳嗽）、零样本声纹克隆等功能一应俱全，运行效率同样令人赞叹。 最突出的亮点在于对话生成能力——支持从文本脚本创建多角色对话，通过 `[S1]`、`[S2]` 等标签区分不同说话人，语音输出自然流畅，情绪过渡真实细腻。此外，模型还支持笑声、叹气、咳嗽等非语言表达，以及声纹克隆功能。不过目前仅支持英语，中文支持尚未开放。Hugging Face 上已提供模型权重和 Gradio 演示，可直接上手体验。 ### 核心能力一览 - **多角色对话生成**: 借助 `[S1]`、`[S2]` 等标签区分角色，单次推理即可输出完整多人对话，节奏自然、情绪衔接流畅。 - **拟人化表达增强**: 支持 `(laugh)`、`(sigh)`、`(cough)` 等非语言情绪标记，让语音输出更具“人味儿”，更贴近真实交流。 - **零样本声纹克隆**: 无需额外训练数据，即可调整或指定语音风格，克隆特定用户或角色的声音，灵活度极高。 - **高品质语音合成**: 音质对标 ElevenLabs 和 Sesame，细节丰富、情绪变化真实，达到行业领先水平。 - **实时推理速度**: 在 A4000 显卡上可实现约 40 tokens/s，延迟极低，体验流畅。 - **Gradio 交互界面**: 自带 Web UI，输入文本即可试听效果，操作简便。 ### 快速上手指南 Dia-1.6B 官方实验室提供了详细的安装指南和 Gradio 演示。如果不想搭建本地环境，可直接访问 Hugging Face 的在线 Demo 进行体验，输入脚本或上传音频即可试听： 在线体验：https://huggingface.co/spaces/nari-labs/Dia-1.6B 如需本地部署，操作流程如下： 1. 克隆项目 ```bash git clone https://github.com/nari-labs/dia.git cd dia ``` 2. 创建虚拟环境 ```bash python -m venv .venv source .venv/bin/activate ``` 3. 安装依赖 ```bash pip install -e . ``` 4. 启动 Gradio UI ```bash python app.py ``` 访问 `http://localhost:7860`，输入脚本或上传音频，即可生成多角色对话。 示例脚本： ``` [S1] Dia is amazing! [S2] Yeah, it generates laughs too! (laughs) ``` 也可通过 Python 包直接安装： ```bash pip install git+https://github.com/nari-labs/dia.git ``` Python 调用示例： ```python import soundfile as sf from dia.model import Dia model = Dia.from_pretrained("nari-labs/Dia-1.6B") text = "[S1] Dia is an open weights text to dialogue model. [S2] You get full control over scripts and voices. [S1] Wow. Amazing. (laughs) [S2] Try it now on Git hub or Hugging Face." output = model.generate(text) sf.write("simple.mp3", output, 44100) ``` 后续官方还计划推出 PyPI 包与 CLI 工具，进一步降低使用门槛。 ### 适用场景推荐 - **有声读物 / 小说播报**: 让不同角色“开口说话”，配合情绪标记还原真实语境，提升听觉沉浸感。 - **播客配音**: 快速合成富有感情、风格鲜明的访谈类语音，节省录制时间。 - **AI 角色扮演**: 配合 Agent 实现多角色模拟对话系统，打造更自然的交互体验。 - **TTS 研究与微调**: 适合声纹克隆、情绪控制、非语言表达等方向的探索与实验。