游乐游手机版
首页/AI热点日报/热点详情

通义端到端语音交互模型FunAudioChat发布,体验高效AI对话新范式

类型:热点整理2025-12-23
12月23日 通义大模型发布新一代端到端语音交互模型Fun-Audio-Chat。这是通义百聆语音模型系列中,首个主打“语音对语音”交互能力的模型,支持用户直接通过语音与模型进行多轮对话。从技术指

12月23日,通义大模型正式发布新一代端到端语音交互模型Fun-Audio-Chat。该模型隶属通义百晓语音模型系列,是其首个专注于“语音对语音”直接对话能力的模型,支持用户通过语音输入与模型进行多轮自然交流。

通义端到端语音交互模型fun-Audio-Chat发布

从多项技术评测数据来看,该模型在OpenAudioBench、VoiceBench、UltraEval-Audio、MMAU、MMSU、SpeechFunctionCall等多个权威语音与多模态评测基准上,均取得了当前开源模型中的领先成绩。其综合性能超越了多款同参数规模的模型,展现出其在语音理解、生成以及对话协同方面均衡而强大的综合能力。

Fun-Audio-Chat-8B是通义百晓语音模型家族的新成员。此前,该系列已包含语音转文字模型Fun-ASR和文字转语音模型Fun-CosyVoice3。与前两者不同,Fun-Audio-Chat-8B的核心目标是实现端到端的语音交互能力,能够直接应用于语音聊天、情感陪伴、智能终端交互以及语音客服等多种实际场景。目前,该模型已在魔搭社区、Hugging Face及GitHub同步开源。

在模型训练与架构设计方面,研发团队披露了两项关键技术路径。其一是采用了Core-Cocktail两阶段训练策略,通过分阶段引入语音与多模态能力,再与原有文本大模型参数进行融合微调。这种方法有效降低了新增能力对原有语言理解能力的干扰,缓解了“灾难性遗忘”问题。其二则是引入了多阶段、多任务的偏好对齐训练,使模型在真实语音对话中能更精准地捕捉语义与情绪线索,从而显著提升对话的自然度和流畅性。

算力效率是该模型的另一大亮点。Fun-Audio-Chat-8B采用了“压缩—自回归—解压缩”的双分辨率端到端架构,将音频帧率大幅降低至约5Hz。在保证语音合成质量的同时,这一设计有望节省近50%的GPU计算开销。在当前语音大模型普遍面临算力成本压力的背景下,这一优化具有重要的工程实践意义。

综合来看,Fun-Audio-Chat-8B的开源,标志着通义大模型在语音交互方向上,正进一步朝着“低算力、强对话”的实用化阶段推进。这同时也为开源语音大模型在真实业务场景中的部署与应用,提供了新的技术思路和实践参考。

来源:https://tech.ifeng.com/c/8pK9L6VFYYD

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。