在AI语音交互领域，最近迎来了一项重要进展——阿里通义实验室正式开源了FunAudioLLM项目。这个音频生成大模型的目标非常明确：让人类与大语言模型之间的语音交流，不再是冰冷机械的合成音，而是更自然、更像真人之间的对话。整个项目由两大核心模型构成：SenseVoice和CosyVoice，一个负责“听”，一个负责“说”。

先来说说CosyVoice，它专注于自然语音生成。支持中、英、日、粤、韩五种语言，基于15万小时的数据训练。最令人瞩目的能力是零样本语音合成：只需几秒钟的原始音频样本，它就能快速“克隆”音色，并且对情感和韵律实现细粒度控制。换句话说，你可以让生成的语音带有愤怒、喜悦或平静的情绪，同时灵活调整语速和抑扬顿挫。跨语言声音合成也是它的强项——比如让一个说中文的嗓音去流利地讲英语，口音和气质保持一致，如同同一个人切换语言。

再看SenseVoice，它负责语音识别与情感理解。训练数据量更大，达到40万小时，覆盖超过50种语言。官方数据显示，在中文和粤语场景下，它的识别准确率比Whisper模型高出50%以上。此外，SenseVoice还能“听”出说话人的情绪状态，并检测音频中的非语言事件——比如笑声、掌声、背景噪音。推理速度也非常快，适合实时交互场景。

两个模型组合起来，能实现的场景就非常有趣了。比如多语言语音翻译：SenseVoice先听懂源语言，交给一个LLM做语义理解和翻译，再由CosyVoice用目标语言的情感语调说出来。整个过程行云流水，就像同声传译一样自然
再比如情感语音对话机器人——它能理解用户的疲惫语气
然后用同样关切的语气回应

技术上，CosyVoice的核心在于语音量化编码——把无限的声音信号压缩成语义token，然后再还原成自然流畅的波形
SenseVoice则是典型的encoder-based架构
兼顾ASR、语种识别（LID）
情感识别（SER）

目前，开源模型和代码已经在ModelScope、HuggingFace上发布
GitHub仓库提供了完整的训练、推理和微调脚本
两个模型都有在线体验demo
可以直接在浏览器里试试效果。