面壁智能联合清华大学深圳国际研究生院人机语音交互实验室(THUHCSI)发布了重大技术突破——开源语音生成基座模型VoxCPM。这款创新模型参数规模仅0.5B,现已面向全球开发者在GitHub、Hugging Face等平台开放下载使用。
作为一款领先的端到端扩散自回归模型,VoxCPM采用独特的层次化语言建模结合局部扩散生成架构,实现了文本到连续语音表征的高效转换,彻底革新了传统语音合成技术路线。
技术特点与创新优势
相较于CosyVoice、FireRedTTS等采用离散声学词元处理的主流方案,VoxCPM革命性地采用连续表征端到端TTS技术。该模型能够直接处理输入文本,以流式方式实时生成高质量音频片段。实测数据显示,在单张NVIDIA RTX 4090显卡上可达到RTF≈0.17的优异推理速度。
卓越的语音生成能力
VoxCPM展现出强大的文本理解与语音建模能力,可自适应多种场景下的语音特征表达。无论是新闻播报的正式腔调、历史人物的演讲风格,还是地方方言的特色演绎,都能通过参数调整实现精准复现。特别值得关注的是,该模型在中文处理方面取得突破性进展:
- 完美支持数学公式和特殊符号的语音合成
- 提供精细化的音素级标记替换功能
- 支持用户自定义发音修正
应用前景与技术优势
研发团队表示,VoxCPM通过创新的扩散生成机制与语言模型深度融合,显著提升了语音的自然度和稳定性。其流式输出架构理论上支持无限时长的实时语音生成,为智能客服、数字人、教育辅导等领域带来全新的技术解决方案。开源版本已完整包含训练代码和预训练权重,开发者可基于现有框架进行深度开发和技术迭代。
