阿里新语音模型：可定制角色与背景音乐的freestyle创作

时间：2026-03-03 13:00

3月2日消息，今日，阿里发布两款语音新模型，基于参考音频的声音克隆模型Fun-CosyVoice3 5、无参考音频的音色设计模型Fun-AudioGen-VD。据介绍，两款模型均引入了强大的“指令遵

3月2日最新消息，阿里巴巴今日正式发布了两款语音新模型：基于参考音频的声音克隆模型Fun-CosyVoice3.5，以及无需参考音频的音色设计模型Fun-AudioGen-VD。

语音模型也能freestyle！阿里新模型可定制角色、模拟背景音

据介绍，这两款模型均引入了强大的“指令遵循”能力，让用户可以自由控制声音的情感表达、语速快慢以及场景适配。

它们支持freestyle（自由风格模式）定制角色，适用于有声书制作、游戏配音、智能客服、播客内容、在线教育、直播互动等多个应用场景。

值得一提的是，这两款模型在同尺寸模型的基准测评中斩获了多项SOTA（最先进水平）成果。

在Seed-TTS基准测试的中文“困难案例”指标中，Fun-CosyVoice3.5表现尤为抢眼，其词错误率（Word Error Rate, WER）和说话人相似度（Speaker Similarity, SSIM）均达到最佳水平。

同时，由于优化了“困难案例”的发音表现，生僻字句错误率从原来的15.2%显著降低至5.3%。

语音模型也能freestyle！阿里新模型可定制角色、模拟背景音

其中，Fun-CosyVoice3.5支持freestyle指令控制，有效解决了传统克隆模型只能模仿、无法指定具体角色的痛点。

Fun-AudioGen-VD则专注于“从无到有”的音色设计。在指令遵循能力和可控性的Instruct-TTS基准测试中，其表现超越了gemini2.5-pro和gpt-4o-mini-tts。

语音模型也能freestyle！阿里新模型可定制角色、模拟背景音

该模型不仅能根据文字描述定制音色和情感，还能同步模拟复杂的听觉环境，实现“人物+场景”的一体化生成效果。

在强化学习训练过程中，两款模型通过采用DiffRO和GRPO技术，增加了时长和韵律多通道的奖励机制。

此外，Fun-CosyVoice3.5所使用的tokenizer帧率减半，不仅提高了训练效率，其首包延迟也降低了35%，大幅提升了实时交互体验。

即日起，用户可在阿里云百炼平台直接调用这两款最新模型。

来源：https://m.mydrivers.com/newsview/1106459.html

大语言模型阿里巴巴定制

本站内容用于信息整理与展示，如有侵权或内容问题请及时联系处理。

继续查看同栏目最近更新的文章。

全新一代smart精灵 1预计2026年8月正式上市，由于智驾硬件全面升级，售价将有所上调。现款全系车型开启限时一口价促销，14 29万元起售，数量有限售完即止，为广大消费者提供一个新旧交替的最佳购车窗口期。

6月1日下午，一辆克尔维特C8超跑在快速路上以约120km h超速行驶，因躲避左侧SUV变道撞上护栏后失控，冲向左车道将一辆小货车掀翻，导致自身严重损坏几乎报废，幸未波及其他车辆。

岚图汽车5月交付13003辆，同比增30%；1-5月累计62041辆，同比增35%，月均超1 2万辆。两位数增幅反映产品力与渠道布局逐步兑现。

奇瑞集团5月销售汽车24 8万辆，同比增长20 5%，连续第三个月刷新中国汽车出口纪录。新能源销量突破10万辆，同比增58 8%；出口18 19万辆，同比暴增80 5%。1至5月累计销量超110万辆，创历史新高。全球累计用户超1962万，其中海外用户超659万。

上汽5月整车销34 9万辆降4 62%，产33 46万辆降18 61%；新能源销18 25万辆增46 49%；出口12 95万辆增32 46%；前5月累计销165 06万辆降2 18%。