首页 游戏 软件 资讯 排行榜 专题
首页
科技数码
阿里云Qwen3.5-Omni全模态大模型发布

阿里云Qwen3.5-Omni全模态大模型发布

热心网友
30
转载
2026-03-31

3月30日,阿里云正式发布Qwen3.5-Omni全模态大模型,这是Qwen系列最新一代产品,支持文本、图片、音频及音视频理解。该模型采用Hybrid-Attention MoE架构,Thinker与Talker模块均基于此架构设计。系列包含Plus、Flash、Light三种尺寸的Instruct版本,其中Plus版本支持256K长上下文,可处理超过10小时音频输入及400秒720P音视频。

在训练数据方面,模型基于海量文本、视觉素材及超过1亿小时音视频数据进行原生多模态预训练。语言能力方面,Qwen3.5-Omni支持113种语种和方言的语音识别,以及36种语种和方言的语音生成,相比前代Qwen3-Omni有明显提升。

在离线能力测试中,Qwen3.5-Omni-Plus在音频及音视频理解、推理和交互任务上取得215项子任务SOTA成绩,涵盖3个音视频Benchmark、5个音频Benchmark、8个ASR Benchmark、156个S2TT任务和43个ASR任务。通用音频理解、推理、识别、翻译及对话能力全面超越Gemini-3.1 Pro,音视频理解能力达到同尺寸Qwen3.5模型水平。

该模型具备音视频caption能力,可生成可控、详细、结构化的音视频描述,支持自动切片、时间戳打标及人物与音频关系描述。通过原生多模态Scaling,模型还涌现出根据音视频指令直接进行coding的能力,称为Audio-Visual Vibe Coding。

实时交互方面,模型支持五项核心功能。一是语义打断,基于Omni开发自动识别turn-talking意图,避免无效背景音干扰。二是原生支持WebSearch和复杂FunctionCall调用,可自主判断是否启用搜索。三是端到端语音控制和对话,支持对声音大小、语速、情绪等自由控制。四是音色克隆,用户可上传音色定制AI Assistant声音。五是ARIA技术,通过自适应速率交错对齐解决流式语音交互中因文本与语音Token编码效率差异导致的漏读、误读问题。

模型延续Thinker-Talker架构,Thinker通过Vision Encoder和Aut接受视觉和音频信号,Talker负责接收多模态输入及文本输出进行contextual语音生成。不同于前代双轨Talker输入,新版本采用ARIA动态对齐文本与语音单元。

用户可通过Qwen Chat、HuggingFace及ModelScope体验离线及实时Demo,也可通过阿里云百炼调用API。模型提供中英主音色5个、中英场景音色19个、中文方言特色音色8个、多语言音色23个,共计55个发音人选项。

来源:https://www.163.com/dy/article/KPA567A40519U3I5.html
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

谷歌最强开源模型仅2B手机可跑免费商用
AI
谷歌最强开源模型仅2B手机可跑免费商用

谷歌DeepMind今天扔下了一颗重磅冲击波:正式开源发布Gemma 4系列模型。根据官方说法,这是谷歌迄今为止最智能的开放模型,专为高级推理和智能体工作流而生。最引人注目的是,它号称实现了“单位参数下前所未有的智能水平”——换句话说,就是用更小的模型体量,干出更聪明的活儿。 先看几个硬核数据:其3

热心网友
05.20
港科大开源StarVLA视觉大模型 模块化架构大幅降低复现成本
AI
港科大开源StarVLA视觉大模型 模块化架构大幅降低复现成本

当前,视觉语言动作模型(VLA)作为具身智能的核心技术路径,正面临严重的“碎片化”挑战。不同团队采用的动作解码范式各异,数据与训练管线深度绑定,评测标准互不统一,导致研究成果难以横向对比,复现成本高昂,这严重阻碍了领域基础模型的迭代与进步。 针对这一行业痛点,开源项目StarVLA并未选择盲目堆砌算

热心网友
05.19
中国AI独角兽推出龙虾养殖智能方案,助力养殖户高效增产
AI
中国AI独角兽推出龙虾养殖智能方案,助力养殖户高效增产

在OpenClaw应用热潮席卷的当下,一个核心的安全隐患正日益凸显:云端隐私数据保护的缺位。想象一下,你刚向模型输入了一段公司的财务数据,下一秒这条敏感信息可能就已经在云端“裸奔”。这种担忧,正驱使着越来越多的用户将目光投向本地终端,期待能“安全养虾”。然而,端侧设备的有限算力,往往难以高效支撑复杂

热心网友
05.19
MiniMax多模态模型MMX-CLI上线:两行代码快速部署调用
AI
MiniMax多模态模型MMX-CLI上线:两行代码快速部署调用

AI领域再添重磅工具。MiniMax稀宇科技正式推出MMX-CLI,一款专为AI Agent设计的命令行工具。它极大地简化了AI助手调用多模态能力的流程,无论是代码编写、图像创作还是视频生成,都能通过简洁指令轻松完成,显著提升开发与自动化效率。 根据官方发布的信息,MMX-CLI的核心优势在于“开箱

热心网友
05.19
机器人舞姿爆红背后:具身智能行业“卡脖子”难题,终于有了新解法
AI
机器人舞姿爆红背后:具身智能行业“卡脖子”难题,终于有了新解法

头图由智象未来AI大模型生成智东西作者 王涵编辑 漠影在演唱会、各大晚会的舞台上,机器人伴舞团以整齐划一、精准卡点的舞姿惊艳全场。这种整齐划一不仅是硬件的胜利,更是“训练有素”的结果。具身智

热心网友
04.07

最新APP

宝宝过生日
宝宝过生日
应用辅助 04-07
台球世界
台球世界
体育竞技 04-07
解绳子
解绳子
休闲益智 04-07
骑兵冲突
骑兵冲突
棋牌策略 04-07
三国真龙传
三国真龙传
角色扮演 04-07

热门推荐

异人之下手游陆瑾连招技巧 安卓版技能玩法教学
游戏攻略
异人之下手游陆瑾连招技巧 安卓版技能玩法教学

陆瑾是《异人之下》手游中操作门槛较高的角色,主打中近距离压制。其核心在于普攻攒炁,并衔接常技【太冲震恚】与【曲泉交忿】进行输出。关键技能【五雷符】可攻可守,成功防御反击可重置冷却。连招依赖“反手”逻辑与精准预判,形成攻防循环。投技【双龙探爪】与【戾走急脉】则需把握时机,分别用于破防与针。

热心网友
05.20
欧易投资策略指南:新手如何制定稳健的Web3投资计划
web3.0
欧易投资策略指南:新手如何制定稳健的Web3投资计划

投资策略需要明确目标与风险偏好,合理分配资金。通过研究项目基本面、关注市场周期与情绪,建立多元化组合。执行中需设定清晰的买卖规则,利用工具辅助决策,并保持长期视角与纪律性,避免情绪化操作。定期复盘与调整是策略持续有效的关键。

热心网友
05.20
异人之下手游巴伦技能强度解析与安卓实战教程
游戏攻略
异人之下手游巴伦技能强度解析与安卓实战教程

巴伦是《异人之下》手游中的近战压制型角色,核心玩法在于追击与倒地连招。其技能“破势突击”衔接流畅,“极速连斩”可追击倒地目标,“飞身十字固”抓取伤害高,“逆势突围”用于防守反击。角色操作上限高,需练习掌握连招循环,但对战远程角色时较为吃力。

热心网友
05.20
谷歌Gemini 3.5 Pro模型正式发布 性能大幅提升下月上线
AI
谷歌Gemini 3.5 Pro模型正式发布 性能大幅提升下月上线

谷歌宣布Gemini3 5Pro模型下月发布,已在内部广泛使用且进步显著。具体技术细节、性能参数及开放计划尚未公布,更多信息将于下月揭晓。

热心网友
05.20
谷歌AI Ultra订阅计划上线 每月100美元起享高级功能
AI
谷歌AI Ultra订阅计划上线 每月100美元起享高级功能

谷歌在2026年I O大会上推出月费100美元的新AI订阅计划,旨在填补其现有20美元与250美元两档服务之间的市场空白。该计划面向需要更多资源的高级用户和小型团队,提供比基础版更强的性能,同时避免企业级的高昂成本,以竞争中高端市场。

热心网友
05.20