游乐游手机版
首页/科技数码/文章详情

阿里云Qwen3.5-Omni全模态大模型发布

时间:2026-03-31 10:31
3月30日,阿里云正式发布Qwen3 5-Omni全模态大模型,这是Qwen系列最新一代产品,支持文本、图片、音频及音视频理解。该模型采用Hybrid-Attention MoE架构,Thinker

3月30日,阿里云正式发布Qwen3.5-Omni全模态大模型,这是Qwen系列最新一代产品,支持文本、图片、音频及音视频理解。该模型采用Hybrid-Attention MoE架构,Thinker与Talker模块均基于此架构设计。系列包含Plus、Flash、Light三种尺寸的Instruct版本,其中Plus版本支持256K长上下文,可处理超过10小时音频输入及400秒720P音视频。

在训练数据方面,模型基于海量文本、视觉素材及超过1亿小时音视频数据进行原生多模态预训练。语言能力方面,Qwen3.5-Omni支持113种语种和方言的语音识别,以及36种语种和方言的语音生成,相比前代Qwen3-Omni有明显提升。

在离线能力测试中,Qwen3.5-Omni-Plus在音频及音视频理解、推理和交互任务上取得215项子任务SOTA成绩,涵盖3个音视频Benchmark、5个音频Benchmark、8个ASR Benchmark、156个S2TT任务和43个ASR任务。通用音频理解、推理、识别、翻译及对话能力全面超越Gemini-3.1 Pro,音视频理解能力达到同尺寸Qwen3.5模型水平。

该模型具备音视频caption能力,可生成可控、详细、结构化的音视频描述,支持自动切片、时间戳打标及人物与音频关系描述。通过原生多模态Scaling,模型还涌现出根据音视频指令直接进行coding的能力,称为Audio-Visual Vibe Coding。

实时交互方面,模型支持五项核心功能。一是语义打断,基于Omni开发自动识别turn-talking意图,避免无效背景音干扰。二是原生支持WebSearch和复杂FunctionCall调用,可自主判断是否启用搜索。三是端到端语音控制和对话,支持对声音大小、语速、情绪等自由控制。四是音色克隆,用户可上传音色定制AI Assistant声音。五是ARIA技术,通过自适应速率交错对齐解决流式语音交互中因文本与语音Token编码效率差异导致的漏读、误读问题。

模型延续Thinker-Talker架构,Thinker通过Vision Encoder和Aut接受视觉和音频信号,Talker负责接收多模态输入及文本输出进行contextual语音生成。不同于前代双轨Talker输入,新版本采用ARIA动态对齐文本与语音单元。

用户可通过Qwen Chat、HuggingFace及ModelScope体验离线及实时Demo,也可通过阿里云百炼调用API。模型提供中英主音色5个、中英场景音色19个、中文方言特色音色8个、多语言音色23个,共计55个发音人选项。

来源:https://www.163.com/dy/article/KPA567A40519U3I5.html
上一篇理想汽车北京实验室揭牌,智能超充动力电池技术揭晓 下一篇百度系密集冲刺港股IPO:最新进展与投资机遇解析
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
年国家能源局充换电服务业用电量增速48.8%
科技数码 · 2026-06-29

年国家能源局充换电服务业用电量增速48.8%

2025年全社会用电量达103682亿千瓦时,同比增长5 0%。充换电服务业用电增速高达48 8%,信息传输与软件服务业增速17 0%。第三产业和居民用电对增长贡献率合计占一半。中国成为全球首个年度用电量超10 4万亿千瓦时的国家。

追风者 GLACIER ONE 360 S25 液冷散热器新品上市 联体风扇售价429元
科技数码 · 2026-06-29

追风者 GLACIER ONE 360 S25 液冷散热器新品上市 联体风扇售价429元

追风者冰川360S25液冷散热器售价429元,三联一体风扇便捷安装,冷头小体积纯铜底座噪音18dB,风扇转速300-2000RPM、风量75CFM、静压2 96mmAq,五年质保漏液包赔。

三星Galaxy Watch8用户反馈谷歌后台组件异常
科技数码 · 2026-06-29

三星Galaxy Watch8用户反馈谷歌后台组件异常

三星GalaxyWatch8、Watch5Pro、Watch6及Watch7用户反映,GooglePlayServices后台耗电异常,电量占比最高达99 97%,远超正常水平,严重影响续航。目前故障原因不明,谷歌尚未发布官方声明。

罗永浩批苹果iOS 27创新不足 盼新CEO改进
科技数码 · 2026-06-29

罗永浩批苹果iOS 27创新不足 盼新CEO改进

罗永浩批评苹果iOS27创新不足,称仅有双iPhone同号、音量分离等数十项细节改进,认为库克时代缺乏突破性创新,股市虽好但消费者只能被迫接受挤牙膏式升级。

年国产车出口710万辆,两家车企销量破百万
科技数码 · 2026-06-29

年国产车出口710万辆,两家车企销量破百万

2025年国产汽车出口总量达710万辆,同比增长21%。奇瑞以134万辆居首,比亚迪105万辆次之,上汽乘用车出口占比60%最高,长城出口51万辆。吉利、长安等主流品牌同步增长,小鹏、零跑等新兴品牌海外拓展加速。