阿里巴巴Qwen团队最新发布的Qwen2.5-Omni，堪称多模态人工智能领域的一次重要突破。该模型不仅能够同时处理文本、图像、音频和视频，还可实时生成带有自然语音的流式回复。这项技术的核心创新点主要围绕几个方面：全模态感知、流式输入输出，以及一个名为Thinker-Talker的端到端架构。

Qwen2.5-Omni：多模态模型的全新高度

人类感知世界的方式是多元丰富的——我们同时观看、聆听，然后综合这些信息进行理解与回应。过去，AI虽然在文本、图像、语音等单模态任务上表现出色，但要像人类一样真正融合所有感官，实时处理并做出反应，一直是一道难以逾越的障碍。

想象这样一个场景：你正在与一个AI助手讨论一段视频，它既能观看画面又能听取声音，还能实时描述你刚拍摄的照片，回应不仅包含文字，还带有自然的语气和语调。这大致就是Qwen2.5-Omni所实现的能力。

这绝非一次简单的升级。Qwen2.5-Omni的设计理念是“全模态”，意味着它在同一框架内同时处理文本、图像、音频和视频输入，并以流式方式输出文本和自然语音。接下来，我们将深入探究它是如何实现的。

“全模态梦想”究竟有何不同？

以往的多模态模型，通常只能处理两三种模态的组合，例如文本加图像。要真正实现类人交互，需要满足以下几个条件：

1. 同时感知多种模态——在单一上下文中理解视觉、声音和文本之间的关联（例如观看视频时，理解画面中的对话与动作）。
2. 实时处理信息——处理直播音频或视频流时，不能有明显延迟。
3. 流式生成多种输出——一边输入一边生成文本和语音，真正做到“实时对话”。
4. 端到端架构——感知、推理、生成都在一个统一的框架内完成。

Qwen2.5-Omni成功抓住了这些关键点。它的“全模态”并非简单拼接多种模型，而是在一个系统内同时接收文本、图像、音频和视频（包括视频中的音轨）。

打个比方：以往的多模态AI就像手机上几个独立的应用，各司其职；而Qwen2.5-Omni更像一个集成操作系统，所有感官信息都在同一平台上协同工作。

它的几个关键特性包括：

• • 全模态感知：在同一对话中原生处理文本、图像、音频和视频输入。
• • 流式输入处理：通过块级处理音频和视觉编码器，高效处理长数据流。
• • 双流输出：实时生成文本和自然语音，对语音助手或实时翻译场景尤为重要。
• • 端到端架构：从感官输入到文本或语音输出，全部在名为“思考者-说话者”的框架内联合训练。
• • 时间同步：引入TMRoPE技术，精确对齐视频与音频中的事件。

引擎底层：Thinker-Talker 架构解析

Qwen2.5-Omni是如何管理如此复杂的多任务处理的？核心创新在于“Thinker-Talker”架构设计——灵感来源于人类认知中思维与语言表达的分离。

简单来说：你的大脑先形成一个回应（“Thinker”），发声系统再把这个想法转化为口头语言（“Talker”）。Qwen2.5-Omni正是遵循这一原理：

1. Thinker：这是“大脑”，基于Qwen2.5的LLM架构，负责以下任务：

• • 理解：融合所有输入模态的信息（文本、图像、音频、视频），这些信息由专门的编码器处理。
• • 推理：理解组合输入，执行问答、摘要、跨模态问题解决等任务。
• • 文本生成：像标准LLM一样自回归地生成响应文本。

2. Talker：这是“发声系统”，一个专门的双轨自回归Transformer模型，以流式方式生成语音标记。关键点在于：

• • 输入：Talker不仅接收Thinker最终生成的文本，还直接利用Thinker的丰富隐藏表示（内部状态）和采样的文本标记。
• • 为何使用隐藏状态：这使Talker能够捕捉到纯文本之外的细微差别——例如语气、情感、韵律。就像歌手不仅看歌词，还看乐谱和导演笔记，才能理解歌曲的演绎方式。
• • 输出：使用专门的qwen-tts-tokenizer生成离散的“音频标记”序列，代表语音的声学特性。
• • 流式处理：Thinker一开始生成文本标记，Talker几乎同步开始生成音频标记，实现低延迟流式语音。

端到端训练：Thinker和Talker并非分别训练后再拼接，而是作为单一、连贯模型的一部分，联合训练。这确保了Thinker学会生成对Talker有用的表示，而Talker也学会有效解读Thinker的“内心想法”，避免了模块间可能积累的错误。

交织时间：TMRoPE 与流式输入

处理现实世界数据——尤其是视频——最大的挑战之一就是时间。事件是按顺序发生的，视觉动作与音频之间的对应关系至关重要。而且，要实现实时互动，模型不能等待处理完整段视频才开始工作。

Qwen2.5-Omni采用两种巧妙方案来解决时间同步与流式输入处理的问题。

1. 使用 TMRoPE 同步模态

传统Transformer的位置编码（如RoPE）主要追踪标记的序列顺序，这在文本中足够，但面对视频的多维特性（时间、高度、宽度）以及与音频精确对齐的需求时，就显得力不从心。

Qwen2.5-Omni提出了TMRoPE（时间对齐多模态RoPE），显式表示三个维度：

• • 时间：捕捉事件发生的具体时间点。
• • 高度：视觉标记的垂直位置。
• • 宽度：视觉标记的水平位置。

TMRoPE在处理时间维度上的巧妙之处在于：

• • 一致的时间单位：设定大约40毫秒的基本时间单位。
• • 绝对时间ID：音频段和视频帧根据实际开始时间，以40毫秒为增量分配时间位置ID。
• • 动态视频采样：模型动态采样视频帧，但根据实际时间戳计算时间ID，保证时序准确。
• • 对齐：同一时刻的音频段和视频帧获得相同或非常接近的时间位置ID，使模型能够自然地关联跨模态的同时事件。

可以把TMRoPE想象成给每一条视觉和听觉信息都加上了精确、同步的时间戳，帮助模型构建连贯的事件时间线。

2. 使用块级处理应对流式输入

为了实现实时互动并处理可能非常长的输入（例如监控实时流），Qwen2.5-Omni不能等待一次性处理整个输入。它在编码器中采用了块级处理：

• • 音频编码器：以固定块（如2秒）处理音频，主要在该块内部进行注意力计算。
• • 视觉编码器：类似地处理帧序列，使用FlashAttention等技术合并相邻视觉标记，提高效率。
• • 分块预填充：新数据块到来时，可以快速处理并整合到模型上下文中，无需重新处理整个历史。

这就像逐章阅读一本书，读完一章再看下一章，而不是一次性把整本书塞进工作记忆里。

3. 时间交错策略

为了进一步增强音频与视频的同步处理，Qwen2.5-Omni还采用了时间交错方法。在每个处理块（如2秒）内，先排列该块的所有视觉标记，再排列该块的所有音频标记。这种结构化安排，帮助Thinker的注意机制更高效地融合同一时间窗口的两种模态信息。

结合TMRoPE和块级处理，Qwen2.5-Omni能够准确感知现实世界的时间动态，高效处理连续的多模态信息流，为实时互动奠定坚实基础。

实时对话：流式输出机制

理解流式输入只是完成了一半工作。模型还需要实时响应——用户刚说完话或事件刚发生，就能以最小延迟生成文本和自然语音。这就要依靠Talker架构和专业解码策略。

如前所述，Talker从Thinker那里接收丰富的上下文信息（隐藏状态），可以预测并生成语音标记（甚至在文本响应完全确定之前就能开始）。但如何将这些离散的音频标记高效地转换成实际的音频波形流呢？

Qwen2.5-Omni采用了流式编解码器生成机制：

1. 流匹配DiT模型：使用基于流匹配的DiT（扩散Transformer）模型，将Talker的音频标记转换成梅尔谱图。
2. 滑动窗口注意力：为了实现流式处理并降低初始延迟，DiT模型采用了滑动窗口块注意力机制。生成当前音频标记块的梅尔谱图时，模型只关注当前的标记块、少量历史（如前2个块）和少量前瞻（如下1个块）。

• 3. 低延迟：限制注意力窗口意味着模型不需要整个未来音频标记序列就能开始生成当前音频片段，显著缩短了从接收到第一个输入到产生第一个可听声音之间的时间。
• 4. 逐块波形生成：生成的梅尔谱图块被输入到一个修改后的BigVGAN声码器，也以流式、逐块的方式操作，输出最终的可听语音。

Talker的预测生成（利用Thinker的隐藏状态）与低延迟流式编解码器的结合，使Qwen2.5-Omni能够实现流畅的实时文本和语音生成。

实验测试：性能亮点解读

复杂架构听起来确实令人印象深刻，但实际表现如何？研究人员在广泛的基准测试上进行了全面评估，与专业的单模态模型、其他多模态模型，以及Gemini 1.5 Pro和GPT-4o-mini等强手进行了对比。

结果大致可以总结如下：

1. 真正的全模态能力（OmniBench）：在专门测试多模态集成的基准上，Qwen2.5-Omni达到了最先进的性能，明显超越了Gemini 1.5 Pro、AnyGPT和UnifiedIO2等先前模型。它在OmniBench上的平均得分为56.13%，这一成绩相当突出。

2. 强大的单模态表现：尽管是统一模型，但与专门模型相比也不落下风：

• • 音频理解（Audio -> Text）：经常超越前身Qwen2-Audio，在语音识别（ASR）、语音翻译（S2TT）和音频事件分类等任务上，与Whisper-large-v3和MinMo等模型不相上下。多语言ASR（Common Voice、Fleurs）和音频推理（MMAU SOTA）方面尤为突出。

• • 图像理解（Image -> Text）：与最先进的专门视觉语言模型Qwen2.5-VL-7B表现非常接近，通常还超过了它和GPT-4o-mini，在MMMU（大学水平问题）、MMStar、MME、TextVQA、DocVQA和RefCoco等基准上表现优异。

• • 视频理解（Video -> Text）：在Video-MME、MVBench和EgoSchema上成绩出色，通常超越Qwen2.5-VL-7B和其他竞争对手，展现出强大的视频理解能力。

• • 文本理解（Text -> Text）：虽然主打全模态，文本表现依旧强劲，通常处于Qwen2–7B与顶级纯文本模型Qwen2.5–7B之间，在MATH、GSM8K、HumanEval、MBPP等多个基准上超越了Llama3.1–8B和Gemma2–9B。这说明模型在增加多模态能力的同时，保留了扎实的语言基础。

3. 突破性的语音指令跟随：最令人兴奋的发现之一是，Qwen2.5-Omni几乎能像处理文本指令一样出色地跟随通过语音给出的指令。在评估MMLU和GSM8K等基准时，口语输入的表现与文本基线非常接近。这意味着通过语音交互完成复杂任务终于变得切实可行。

4. 自然且稳健的语音生成（Text -> Speech）：在零样本文本转语音基准（如SEED-TTS）上，Qwen2.5-Omni（尤其在强化学习优化后）在内容一致性（低词错误率）和说话人相似性方面达到了最先进水平，超过了CosyVoice 2和F5-TTS等强基线。主观测试也证实了其生成语音的自然度。

总体而言，评估结果描绘了一个能力强且均衡的全模态模型——它在集成多模态理解和交互方面推动了前沿，同时在单模态性能上也没有做出太多妥协。

技术深入：训练与微调策略

要训练像Qwen2.5-Omni这样复杂的模型，策略上自然不能是简单的“大杂烩”。整个过程分为多个阶段，逐步建立各模态的基础理解，再针对特定交互能力进行精细调整。

预训练策略（3个阶段）

阶段1：基础编码器训练

• • 目标：让视觉和音频编码器建立起与语言的基本语义理解。
• • 方法：冻结核心LLM（Thinker，从Qwen2.5初始化），只训练视觉和音频编码器（视觉：从Qwen2.5-VL初始化；音频：从Whisper-large-v3初始化）及其连接层。先训练轻量适配器，再完整微调编码器。
• • 理由：先建立与语言空间对齐的单模态感知能力，打好基础。

阶段2：全面多模态预训练

• • 目标：教会整个模型在所有模态之间进行融合与推理。
• • 方法：解冻所有模型参数（LLM、编码器、Talker前驱），在庞大的多样化数据集上训练，包括：

1. 图像-文本对
2. 视频-文本对
3. 音频-文本对
4. 带音频（+文本）的视频对
5. 纯文本数据
6. 数据量：大约800B图像/视频标记、约300B音频标记、约100B视频+音频标记。

• • 注意：数据集中常用的层次标签被替换为自然语言提示，以便更好地泛化。初始序列长度限制为8192个标记，保证效率。

阶段3：长上下文预训练

• • 目标：增强模型理解和处理长序列的能力，对长视频或对话场景至关重要。
• • 方法：继续在多模态数据上训练，但将最大序列长度扩展到32,768个标记。
• • 理由：提升对长格式内容和复杂时间依赖关系的处理能力。

后训练/微调：指令跟随与语音质量

预训练建立了广泛的能力后，微调让模型更适合对话互动，并提高输出质量。这部分使用的是ChatML格式化的指令跟随数据集。

• • Thinker微调：在纯文本对话、视觉对话（图像/视频+文本）、音频对话和混合模态对话的组合上微调，使其能够遵循指令，在各模态之间进行连贯的对话。
• • Talker微调（3个阶段）：

1. 上下文学习（ICL）阶段：在对话数据上进行语音续写任务，根据多模态上下文和参考语音预测下一个音频标记，目标是实现上下文恰当的韵律、情感和口音。
2. 直接偏好优化（DPO）：针对ICL后可能出现口齿不清或幻觉等稳定问题，应用DPO技术。模型生成语音样本，根据奖励分数排序（如低词错误率、良好的标点/停顿对齐），学习偏好更高奖励的生成。
3. 多说话者指令微调：DPO优化后的模型进一步在包含多个说话者的指令数据上微调，让Talker能够采纳特定的声音特征，提高自然度。

这一多阶段的训练和微调过程，通过一层层叠加基础知识和专门优化，才实现了Qwen2.5-Omni令人印象深刻的广度与深度。

实操指南：如何使用Qwen2.5-Omni

Qwen项目的一大亮点是其对开源访问的承诺。开发者和研究人员可以通过多个平台探索这个模型：

• • Hugging Face：模型权重和处理器代码。
• • ModelScope：阿里巴巴自家的模型平台。
• • Qwen Chat：体验实时语音/视频通话互动。
• • API：通过DashScope API服务访问。
• • Docker：预构建的Docker镜像（qwenllm/qwen-omni）。
• • Cookbooks：GitHub上的实用使用示例。
• • Web UI演示：运行本地Gradio演示。

基本用法

从GitHub仓库可以找到完整的代码示例。使用时特别注意以下几点：

• • 如果希望获得语音输出，必须使用特定的系统提示。
• • use_audio_in_video 标志在process_mm_info、processor和model.generate中要一致使用。
• • 如果不需要音频输出，可以在模型加载时设置enable_audio_output=False，节省约2GB显存。
• • spk="Chelsie"（默认，女性）或spk="Ethan"（男性）用于选择输出声音。
• • Flash Attention 2强烈推荐，速度和内存效率会显著提升。
• • 对于高吞吐量场景，可以关注GitHub仓库中提到的专用vLLM构建。

关键要点与未来方向

Qwen2.5-Omni不仅仅是又一个多模态模型，它更像是关于人机交互未来的一份宣言。通过统一文本、图像、音频和视频的感知，实现实时双流文本和语音输出，它切实降低了与AI进行自然、直观交流的门槛。

几个关键要点：

• • 统一的全模态性：在单一模型中端到端处理文本、图像、音频和视频。
• • 思考者-说话者架构：高效地将推理/文本生成与上下文感知的语音合成分离。
• • 时间同步：TMRoPE提供了稳健的方法来对齐音频和视频事件。
• • 实时流式处理：块状输入与滑动窗口音频解码实现了低延迟交互。
• • 最先进的性能：集成多模态任务表现突出，单模态基准上竞争力也很强，尤其是音频理解和语音指令跟随。
• • 可访问性：公开的权重、代码和演示鼓励更多研究与开发。

影响与未来方向

Qwen2.5-Omni展示的能力为许多应用打开了新的大门：

• • 超逼真的虚拟形象：能够看、听、自然对话的AI。
• • 先进的无障碍工具：为视障人士提供实时环境描述，或为无法说话的人即时生成语音。
• • 更智能的会议助手：不仅能转录，还能理解谁在什么时候说了什么，分析展示的视觉材料。
• • 直观的创意工具：通过自然对话与AI合作完成多媒体项目。
• • 增强型机器人技术：能够更好理解和响应复杂动态视听环境的机器人。

当然，Qwen团队也承认有些地方仍有改进空间，例如在细粒度视频OCR等挑战性任务上提升性能，以及增强音频与视频流之间的协作理解。最终的追求仍是推动AGI的发展。未来的迭代可能会更快、更强，甚至整合图像或视频生成等额外的输出方式。

Qwen2.5-Omni是人工智能快速进步的有力证明。它挑战我们重新思考与机器的互动方式，为未来——那个AI不再仅仅是通过文本指挥的工具，而是可以对话、展示、倾听的伙伴——铺平了道路。