游乐游手机版
首页/科技数码/文章详情

阿里云Qwen3.5-Omni全模态大模型发布

时间:2026-03-31 10:31
3月30日,阿里云正式发布Qwen3 5-Omni全模态大模型,这是Qwen系列最新一代产品,支持文本、图片、音频及音视频理解。该模型采用Hybrid-Attention MoE架构,Thinker

3月30日,阿里云正式发布Qwen3.5-Omni全模态大模型,这是Qwen系列最新一代产品,支持文本、图片、音频及音视频理解。该模型采用Hybrid-Attention MoE架构,Thinker与Talker模块均基于此架构设计。系列包含Plus、Flash、Light三种尺寸的Instruct版本,其中Plus版本支持256K长上下文,可处理超过10小时音频输入及400秒720P音视频。

在训练数据方面,模型基于海量文本、视觉素材及超过1亿小时音视频数据进行原生多模态预训练。语言能力方面,Qwen3.5-Omni支持113种语种和方言的语音识别,以及36种语种和方言的语音生成,相比前代Qwen3-Omni有明显提升。

在离线能力测试中,Qwen3.5-Omni-Plus在音频及音视频理解、推理和交互任务上取得215项子任务SOTA成绩,涵盖3个音视频Benchmark、5个音频Benchmark、8个ASR Benchmark、156个S2TT任务和43个ASR任务。通用音频理解、推理、识别、翻译及对话能力全面超越Gemini-3.1 Pro,音视频理解能力达到同尺寸Qwen3.5模型水平。

该模型具备音视频caption能力,可生成可控、详细、结构化的音视频描述,支持自动切片、时间戳打标及人物与音频关系描述。通过原生多模态Scaling,模型还涌现出根据音视频指令直接进行coding的能力,称为Audio-Visual Vibe Coding。

实时交互方面,模型支持五项核心功能。一是语义打断,基于Omni开发自动识别turn-talking意图,避免无效背景音干扰。二是原生支持WebSearch和复杂FunctionCall调用,可自主判断是否启用搜索。三是端到端语音控制和对话,支持对声音大小、语速、情绪等自由控制。四是音色克隆,用户可上传音色定制AI Assistant声音。五是ARIA技术,通过自适应速率交错对齐解决流式语音交互中因文本与语音Token编码效率差异导致的漏读、误读问题。

模型延续Thinker-Talker架构,Thinker通过Vision Encoder和Aut接受视觉和音频信号,Talker负责接收多模态输入及文本输出进行contextual语音生成。不同于前代双轨Talker输入,新版本采用ARIA动态对齐文本与语音单元。

用户可通过Qwen Chat、HuggingFace及ModelScope体验离线及实时Demo,也可通过阿里云百炼调用API。模型提供中英主音色5个、中英场景音色19个、中文方言特色音色8个、多语言音色23个,共计55个发音人选项。

来源:https://www.163.com/dy/article/KPA567A40519U3I5.html
上一篇理想汽车北京实验室揭牌,智能超充动力电池技术揭晓 下一篇百度系密集冲刺港股IPO:最新进展与投资机遇解析
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
罗福莉入选新一届35岁以下科技创新35人中国区名单
科技数码 · 2026-07-25

罗福莉入选新一届35岁以下科技创新35人中国区名单

2025年《麻省理工科技评论》“35岁以下科技创新35人”中国区名单在上海发布,罗福莉、姚顺宇等入选。罗福莉推动大模型从“能聊天”走向“能干活”,探索智能体演进;姚顺宇建立非厄米拓扑能带理论。本届AI+机器人领域入选者占四成。

美国科技巨头为AI投资年内裁员近14万人
科技数码 · 2026-07-25

美国科技巨头为AI投资年内裁员近14万人

美国科技巨头年内裁员近14万人,同时计划在AI基础设施上投入7250亿美元。裁员主要目的为AI投资腾出资金并纠正疫情期间过度招聘,市场对AI相关裁员反应负面,而AI初创公司正加速扩招,形成对比。

位AI Infra高管复盘WAIC:暴力美学触顶后求变?
科技数码 · 2026-07-25

位AI Infra高管复盘WAIC:暴力美学触顶后求变?

WAIC2026上,AIInfra行业关注点从算力规模转向推理效率与Token产出。Agent驱动Token消耗激增,AI工厂与Token工厂成为关键载体。效率竞争取代规模竞赛,玩家分层加速,具备全栈优化能力的头部厂商优势凸显。

显卡厂商封仓引发涨价 玩家面临高价购买
科技数码 · 2026-07-25

显卡厂商封仓引发涨价 玩家面临高价购买

显卡市场,恐怕又要迎来一波涨价潮了。过去两年,不少玩家咬咬牙买下的高价显卡,如今回头看,竟然成了抄底。但问题在于,硬件市场每一次涨价,最终买单的永远还是玩家。 业内消息显示,GDDR7显存价格出现了明显上涨,单颗2GB显存价格上涨接近20美元。按8GB显存规格计算,一张显卡的显存成本或将增加约542

OpenAI加入签署AI开源模型公开信,组织达35家
科技数码 · 2026-07-25

OpenAI加入签署AI开源模型公开信,组织达35家

7月25日,微软、英伟达等25家美国公司联署公开信支持开放权重AI模型,随后签署方增至35家,新增包括OpenAI等。开放权重模型可下载、修改、运行,能扩大创新、强化竞争并降低风险,避免AI收益集中于少数巨头。