Wan-Streamer v0.2：阿里通义实验室的端到端全模态实时交互模型

Wan-Streamer v0.2 是阿里通义实验室推出的面向实时双工交互的端到端全模态理解与生成模型。它将“听、看、说、演”统一进单个 Transformer，原生支持文本、音频、视频的实时理解与同步生成，端到端响应延迟仅 550ms，输出分辨率 640×368@25FPS，让 AI 能像真人一样边听边看边回应，实现真正自然的面对面视频交流。

主要功能

• 实时音视频对话：支持视频通话式面对面交互，AI 实时感知用户音视频并同步生成回应。
• 全模态理解：原生支持文本、音频、视频输入的实时理解，无需外部模块拼装。
• 音视频同步生成：同步输出语音与高清视频画面，实现声画完美同步。
• 微表情与手势生成：可生成自然的眼神、身体姿态、手势动作及场景细节。
• 自由角色扮演：支持通过自然语言描述实时生成任意角色进行对话。

技术原理

• 原生流式架构：将用户输入与智能体输出统一映射到同一条因果时间线，无需等待整段话结束。
• 流式单元闭环：每 160ms 完成一次感知、理解、生成、解码的完整闭环，实现边说边听边回应。
• Thinker-Performer 双通路：Thinker 单卡负责低延迟感知与语言推理，Performer 多卡 Ulysses 并行负责高清视频生成。
• 时序重叠调度：单卡 Thinker 与多卡 Performer 计算窗口重叠，将视频生成成本从延迟敏感路径剥离。
• 端到端统一建模：将文本、音频、视频输入与输出统一进单个 Transformer，避免流水线割裂。

如何使用

目前 Wan-Streamer v0.2 以研究项目形式发布，具体开放体验入口及 API 接入方式需关注通义实验室后续官方公告。

小提示： 建议持续关注 项目官网 和通义实验室的官方渠道，第一时间获取开放动态。

核心优势

• 极致低延迟：端到端 550ms，模型侧仅 200ms，显著快于主流实时语音对话模型。
• 全模态端到端：原生支持音视频同步理解与生成，无需 ASR、LLM、TTS 等外部模块拼装。
• 高画质输出：640×368@25FPS，支持微表情、手势和场景细节，不再局限于悬浮头部。
• 全双工交互：边说边听边回应，无需等待用户说完再处理，交流更自然。
• 架构可扩展：Thinker-Performer 双通路设计在提升画质的同时保持极低延迟。

项目地址

• 项目官网：https://wan-streamer.com/
• arXiv技术论文：https://arxiv.org/pdf/2607.04443

同类竞品对比

应用场景

• 视频通话 AI 助手：打开摄像头可面对面交流，适用口语陪练、面试模拟、心理咨询等需要“在场感”的场景。
• 场景化教育：AI 老师可通过画面观察学生表情判断理解程度，实时调整教学节奏。
• 沉浸式游戏 NPC：游戏角色拥有表情、肢体语言和实时反应，与玩家进行真正“面对面”对话。
• 无障碍交互：为听障用户实时生成带精确唇语和手势的视频回应，为视障用户描述周围环境。
• 虚拟角色扮演：可与历史人物、艺术形象或自定义角色实时对话，实现沉浸式文化体验。

Wan-Streamer v0.2 通过原生端到端架构和 Thinker-Performer 双通路设计，在实时视频对话领域树立了新的标杆。随着后续开放，它有望在视频通话、教育、游戏和无障碍等多个领域带来碘伏性体验。

常见问题：
Q：Wan-Streamer v0.2 需要什么硬件才能运行？
A：目前官方尚未公布具体硬件需求，但根据其 Thinker 单卡和 Performer 多卡 Ulysses 并行的架构推测，至少需要高性能 GPU（如 NVIDIA A100 或更高）支持，实际部署需等待官方后续说明。
Q：普通用户如何体验？
A：目前仅作为研究项目发布，暂未开放公测。建议关注官网和通义实验室公告，后续可能提供 Demo 或 API。