阿里云Qwen3.5-Omni全模态大模型发布
3月30日,阿里云正式发布Qwen3.5-Omni全模态大模型,这是Qwen系列最新一代产品,支持文本、图片、音频及音视频理解。该模型采用Hybrid-Attention MoE架构,Thinker与Talker模块均基于此架构设计。系列包含Plus、Flash、Light三种尺寸的Instruct版本,其中Plus版本支持256K长上下文,可处理超过10小时音频输入及400秒720P音视频。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈
在训练数据方面,模型基于海量文本、视觉素材及超过1亿小时音视频数据进行原生多模态预训练。语言能力方面,Qwen3.5-Omni支持113种语种和方言的语音识别,以及36种语种和方言的语音生成,相比前代Qwen3-Omni有明显提升。
在离线能力测试中,Qwen3.5-Omni-Plus在音频及音视频理解、推理和交互任务上取得215项子任务SOTA成绩,涵盖3个音视频Benchmark、5个音频Benchmark、8个ASR Benchmark、156个S2TT任务和43个ASR任务。通用音频理解、推理、识别、翻译及对话能力全面超越Gemini-3.1 Pro,音视频理解能力达到同尺寸Qwen3.5模型水平。
该模型具备音视频caption能力,可生成可控、详细、结构化的音视频描述,支持自动切片、时间戳打标及人物与音频关系描述。通过原生多模态Scaling,模型还涌现出根据音视频指令直接进行coding的能力,称为Audio-Visual Vibe Coding。
实时交互方面,模型支持五项核心功能。一是语义打断,基于Omni开发自动识别turn-talking意图,避免无效背景音干扰。二是原生支持WebSearch和复杂FunctionCall调用,可自主判断是否启用搜索。三是端到端语音控制和对话,支持对声音大小、语速、情绪等自由控制。四是音色克隆,用户可上传音色定制AI Assistant声音。五是ARIA技术,通过自适应速率交错对齐解决流式语音交互中因文本与语音Token编码效率差异导致的漏读、误读问题。
模型延续Thinker-Talker架构,Thinker通过Vision Encoder和Aut接受视觉和音频信号,Talker负责接收多模态输入及文本输出进行contextual语音生成。不同于前代双轨Talker输入,新版本采用ARIA动态对齐文本与语音单元。
用户可通过Qwen Chat、HuggingFace及ModelScope体验离线及实时Demo,也可通过阿里云百炼调用API。模型提供中英主音色5个、中英场景音色19个、中文方言特色音色8个、多语言音色23个,共计55个发音人选项。
相关攻略
头图由智象未来AI大模型生成智东西作者 王涵编辑 漠影在演唱会、各大晚会的舞台上,机器人伴舞团以整齐划一、精准卡点的舞姿惊艳全场。这种整齐划一不仅是硬件的胜利,更是“训练有素”的结果。具身智
智东西编译 陈佳编辑 程茜智东西4月3日消息,今日谷歌DeepMind开源发布Gemma 4系列模型,根据最新博客,这是谷歌迄今为止最智能的开放模型,专为高级推理和智能体工作流而设计,实现了单位参数
带着 Seedance 2 0 和 ArkClaw 两件新武器,火山引擎开始席卷 MaaS 市场。作者|郑玄两年前,火山引擎说要 All in Token 的时候,很多人觉得这是一句正确但空洞的口号
一个学生忽视了一行代码,结果发现了一件很不对劲的事:在一个多模态医学AI项目中,这行代码原本负责让模型读取图像数据。但因为这次疏忽,模型实际上完全没有看到任何图片。按理说系统应该报错,或者至少拒绝回
智通财经APP获悉,中信证券发布研报称,2026年以来,国产大模型厂商聚焦Agent及代码能力升级,竞相发布新模型。即将发布的DeepSeek下一代新模型有望延续高性价比开源模型路线,在能力上实现更
热门专题
热门推荐
要提升HDFS集群的稳定性,这些配置与优化思路值得关注 想让你的Hadoop分布式文件系统(HDFS)集群运行得更稳定、更可靠吗?这既是一项系统工程,也有一套清晰的优化路径——关键在于,你是否在硬件选型、参数配置、运维管理等核心层面都进行了系统性的规划与调优。下面这张图,可以帮助你快速建立起一个关于
HDFS副本策略调整指南 一 核心概念与层级 要玩转HDFS的副本策略,得先理清几个核心概念。它们像齿轮一样层层咬合,共同决定了数据最终落在哪里。 副本因子:这个最好理解,就是一个数据块要存几份。它直接决定了数据的可靠性和存储开销,默认值是3,算是可靠性与成本之间的经典平衡点。 副本放置策略:这是N
HDFS:一个为容错而生的分布式文件系统 在分布式存储领域,数据的安全性与可靠性是系统设计的核心。HDFS(Hadoop分布式文件系统)之所以能成为大数据生态的基石,关键在于其设计了一套多层次、自动化的容错机制。这套机制确保了在硬件故障、网络异常等常见问题发生时,数据依然保持完整且服务持续可用。本文
在HDFS中设置合理权限:一份实战指南 在Hadoop分布式文件系统(HDFS)中,权限管理绝非小事。它直接关系到数据的安全底线和系统的稳定运行。那么,如何为HDFS中的文件和目录设置一套既安全又实用的权限规则呢?下面这份指南,或许能给你带来清晰的思路。 1 基本概念 在动手之前,先得理清几个核心
在Hadoop分布式文件系统(HDFS)中实现数据压缩 处理海量数据时,存储成本与传输效率是两大核心挑战。HDFS提供了多种数据压缩方案,能够有效降低存储空间占用并提升数据处理性能。本文将详细介绍在HDFS中启用和配置数据压缩的几种实用方法。 1 配置文件设置 最直接且全局生效的方式是通过修改Ha





