2024年12月12日，上海AI实验室低调释出一个重磅消息——正式发布多模态实时交互大模型书生·浦语灵笔2.5-OL（InternLM-XComposer2.5-OmniLive）。简而言之，该模型能够通过视觉与听觉实时“看”和“听”外部环境，自动生成长期记忆，并借助语音与人类进行自然对话。这已不再是传统的一问一答，而是真正向着“陪伴型AI”迈出了关键一步。

提到书生·浦语灵笔系列，其首次亮相可追溯至2023年10月。历经多次迭代，它已具备图文理解、图文混合创作、超高分辨率图像分析、超长多模态上下文处理等多种能力。在开源社区中，该系列累计下载量已突破200万次，成为不少开发者手中的实用工具。

本次推出的书生·浦语灵笔2.5-OL，则将能力从“处理静态内容”拓展至“实时动态交互”。该模型基于书生·浦语2.5大语言模型（InternLM 2.5）研发，采用多模块通专融合架构。核心设计思路为“快慢系统”：实时感知与记忆编码组成的“快系统”应对即时变化，多模态复杂推理构成的“慢系统”处理高层次理解与思考。两者协同，方能实现流畅的实时交互。

那么，这个模型的具体表现如何？从演示视频来看，书生·浦语灵笔2.5-OL在实时视频语音交互方面展现出高质量水平。它不仅能高精度地实时“看”和“听”，还能通过语音进行对话。更值得关注的是，它创新性地引入了多模态长期记忆功能。在演示中，模型能准确回忆起之前看到的内容——例如，协助用户找到遗忘在桌子上的矿泉水，甚至记得旁边还有一盆盆栽。这一功能虽看似平常，但实际对日常交互体验而言，是质的飞跃。

其整体架构与核心模块设计颇具匠心，主要围绕感知、记忆和思考三大功能模块展开：

感知模块

该模块负责实时捕捉外界的音频与视频信号。音频方面，研究团队训练了一个轻量级音频多模态大模型，能够同时识别语音内容并区分背景声音，例如分辨“说话”与“门铃响”的差异。视觉方面，通过视觉编码器实时提取视觉特征。

记忆模块

这是整个系统协作中最具特色的部分。它并非简单记录，而是持续对输入的视觉特征进行多层级的记忆压缩：

• 短时记忆压缩：对短期视频片段内的信息进行精确压缩，形成短期记忆。
• 长期记忆压缩：再对短期记忆进一步压缩，形成高压缩比的长期记忆。
• 记忆查询：当用户提问时，系统可根据指令从长期记忆中查询，并召回相关的短期记忆片段，供思考模块使用。

这一设计让模型既能记住细节，又不会因数据爆炸而反应迟钝。

思考模块

该模块是对话质量的守门员。首先判断语音输入是否为真正需要响应的用户指令，避免频繁误触发——例如用户随口说一句话而无需介入时，模型会保持沉默。若为需响应的指令，则会调用记忆模块查询历史视觉记忆，结合当前语境进行多模态理解与推理，最终生成文字回复，再通过外部语音合成模块输出语音。

整个系统的流程设计也相当完整，从前端到后端各有章法：

• 前端：使用JavaScript开发，负责启用摄像头与麦克风捕捉音视频流，推送至SRS音视频服务器，并与后台建立WebSocket连接，负责播放音频或响应中断信号。
• SRS服务器：一个简单高效的实时音视频服务器，负责中转与传输音频流和视频流数据。
• 后端服务器：后端与前端建立WebSocket连接后，从SRS服务器拉取流媒体，启动独立进程分别处理音频和视频。音频进程持续监听语音的开始与结束：检测到语音开始时，向前端发送中断信号暂停当前音频播放，同时向视频进程发送备份信号保存当前记忆状态（即“记忆快照”）；检测到语音结束时，对音频进行分类和识别，并将结果送入大语言模型待处理队列。视频进程保持读取视频帧并存储，由记忆进程负责识别、提取记忆，并根据信号保存状态以便后续检索。大语言模型进程判断指令是否需要响应，结合记忆给出文字回复。最后，语音合成进程将文字转为音频并发送至前端。

可以说，书生·浦语灵笔2.5-OL已不仅是单纯的开源模型参数，而是将系统集成的完整推理方案、前后端部署全套方案一并开放，并支持免费商用申请。对于希望用实时多模态AI赋能具身机器人、可穿戴设备、移动设备的开发者而言，这无疑是一个可直接上手的工具包。科幻电影中那种能实时感知、记住细节、自然交流的AI助手，或许已离我们不远了。