小米 AI 实验室发布 ZipVoice 系列语音合成 TTS 模型，解决零样本语音合成痛点
9 月 12 日消息，小米集团 AI 实验室今日宣布，旗下 Kaldi 团队上个月发布了基于 Flow Matching 架构的 ZipVoice 系列语音合成（TTS）模型，包括：
ZipVoice（零样本单说话人语音合成模型）
ZipVoice-Dialog（零样本对话语音合成模型）
据最新介绍，作为 zipformer 在语音生成任务上的应用和探索，ZipVoice 解决了现有零样本语音合成模型的参数量大、合成速度慢的痛点，在轻量化建模和推理加速上取得了重要突破。
ZipVoice-Dialog 则解决了现有对话语音合成模型在稳定性和推理速度上的瓶颈，实现了又快又稳又自然的语音对话合成。
从小米最新获悉，ZipVoice 首次将原本为自动语音识别（ASR）设计的 Zipformer 架构引入 TTS 任务作为模型的骨干网络，Zipformer 中的三大设计：基于 U-Net 的多尺度高效率结构、卷积与注意力机制的协同处理、以及注意力权重的多次复用都高度适配语音合成任务，从而实现了语音合成模型的高效建模。
得益于这一设计，相比基于 DiT 的语音合成模型，在性能相似的情况下，ZipVoice 的参数量减少了约 63%。
性能方面，ZipVoice 和 ZipVoice-Distill 在具备更小参数量和更快推理速度的同时，在三个客观指标，即说话人相似度（SIM-o）、词错误率（WER）和 UTMOS，以及两个主观指标（CMOS、SMOS）上都极具竞争力，达到了零样本语音合成模型的 SOTA 性能水平，同时显著减少了模型参数量，加快了推理速度。
小米最新表示，ZipVoice 零样本语音合成模型具备了低参数量、高推理速度、高语音质量三大优点，ZipVoice-Dialog 提供了又快又稳又好的对话语音合成新方案。ZipVoice 系列模型为轻量化、高速度要求的语音交互应用场景提供了新的解决方案。
此外，小米表示未来团队将持续对 ZipVoice 系列模型进行优化，致力于让每一个人都能享受到低成本高质量的语音合成技术。
参考地址：
ZipVoice 系列的模型文件、训练代码和推理代码以及 6.8k 小时的语音对话数据集 OpenDialog 已全部开源：https://github.com/ k2-fsa / ZipVoice
Zipvoice 论文已被 ASRU2025 接收：https://arxiv.org/ pdf/2506.13053
样例体验请访问：https://zipvoice.github.io
热门专题
热门推荐
MiniCPM-o 4 5是什么 在探索更自然、更智能的人机交互道路上，我们始终在期待一个“全能型选手”的到来。如今，这个角色或许已经登场。面壁智能最新开源的MiniCPM-o 4 5，一个仅拥有90亿参数的全模态大模型，正致力于重新划定“智能对话”的边界。 它彻底颠覆了传统一问一答的“对讲机”式交
Binance币安 欧易OKX ️ Huobi火币️ 想在2025年安全获取欧易OKX的正版APP？其实秘诀就一个：认准官方网站，避开所有仿冒和可疑的下载渠道。要知道，欧易现已统一更名为欧易OKX，其核心业务始终围绕数字资产交易及相关服务展开。 确认官方网站地址 第一步，打开浏览器，手动输入欧易OK
SecondMe Book是什么 在AI社交这一前沿赛道，一款国产平台正带来独特的解决方案。SecondMe Book，本质上是一个能够让你构建个人AI数字分身的创新平台。它允许用户创建一个能够代表真实自我风格与思维的AI数字身份，并让这个“第二自我”在一个专属的AI社交网络中自主运行——包括主动发
在AI大模型技术快速发展的今天，如何在卓越性能与高效推理成本之间取得最佳平衡，已成为行业关注的核心焦点。近期，由阶跃星辰推出的开源模型Step 3 5 Flash引发了广泛热议。该模型专为智能体（AI Agent）应用场景深度优化，旨在顶尖能力与亲民部署成本之间，构建一个极具竞争力的技术支点。 简而
LongCat-Flash-Lite是什么 在探索大语言模型性能与效率的最佳平衡点时，美团近期推出的LongCat-Flash-Lite提供了一个极具创新性的解决方案。作为新一代高效大语言模型，它凭借其突破性的架构设计，在人工智能领域获得了广泛关注。 简而言之，该模型创新性地融合了“混合专家系统（M