SpaceServe创新突破：中科院空分复用技术破解MLLM推理瓶颈
中国科学院计算技术研究所团队在NeurIPS 2025会议上展示了一项重要突破——SpaceServe架构，首次将大语言模型推理中的并行-解码分离技术成功拓展到多模态领域。这项创新通过"空分复用"机制，从根本上解决了多模态大语言模型推理过程中的行头阻塞难题。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
随着多模态大语言模型在图像识别、视频解析等高分辨率任务中的应用日益广泛，其推理流程中的多模态编码环节逐渐暴露出性能瓶颈。vLLM等传统系统采用"时间复用"策略，要求GPU必须先完成视觉或音频编码后才能转向文本解码。这种机制在同时处理大量请求时会产生明显问题：一张高分辨率图像的编码可能需要数百毫秒，使得等待生成文本的所有解码请求都被迫暂停，导致解码器处于"饥饿"状态。随着请求数量增加，输出token所需时间急剧上升，系统整体处理能力大幅降低。
SpaceServe架构的创新设计
研究团队开发的SpaceServe架构采用"空分复用"技术，将传统的时间串行执行模式转变为空间并行运行模式。分析数据显示，视觉编码器具有计算密集、内存带宽需求低的特点，而文本解码器则需要大量内存、高度依赖HBM带宽存储KV缓存。虽然两者的资源需求具有互补性，但在时间复用架构下却不得不依次执行，造成GPU资源利用率低下。SpaceServe的关键创新在于将编码器与解码器分离开来，利用现代GPU的流式多处理器细分能力，实现两者在同一GPU上同时运行。
该架构包含三个核心技术要素：首先，通过EPD三阶段逻辑分离与物理共存设计，将多模态编码器从共享文本解码器中完全独立出来，支持分别调度；其次，采用基于时间窗口的最短剩余工作优先编码器调度策略，按照剩余工作量从小到大的顺序批处理编码请求，防止大尺寸图像阻塞小图像处理，确保解码器获得平稳的输入数据流；最后，开发了基于资源利用曲线的动态分配运行环境，通过离线构建资源-效用曲线，在线根据请求特征动态分配流式多处理器计算单元，最大限度缩短端到端延迟。
实测性能表现
在Qwen2-VL系列模型上的测试结果表明，SpaceServe显著超越了传统vLLMv1系统。当请求频率提高时，vLLM的输出token耗时从101ms恶化到365ms，而SpaceServe仅从8.85ms微增至12.62ms。核心原因在于，vLLM中编码器独占用GPU期间解码器完全停滞，而SpaceServe通过空分复用技术让解码器在编码器运行时持续生成token，实现了执行流程的彻底分离。
与英伟达多进程服务方案的对比进一步证明了SpaceServe的优越性。在每秒10个请求的条件下，多进程服务版本的输出token耗时为132ms，而SpaceServe通过细粒度流式多处理器分区将延迟降低到40.68ms，速度提升达3.3倍。这是因为多进程服务仅在进程层面隔离资源，编码器与解码器仍然会争夺同一流式多处理器内的寄存器、L1缓存等资源，导致缓存污染和执行效率下降。SpaceServe则通过流式多处理器级别的物理分区实现了真正的资源隔离，最大化提升了各自执行效率。
这项研究成果无需改动现有模型结构，即可兼容Qwen2-VL、Kimi-VL等主流多模态大语言模型，且代码已经开放源码，有望集成到vLLM、SGLang等框架中，推动多模态服务的高效应用。需要说明的是，SpaceServe主要优化持续处理能力，对首个token生成时间的影响有限，这与设计初衷一致——重点提升解码器的持续高吞吐能力，而非单次编码加速。
项目地址：https://github.com/gofreelee/SpaceServe
热门专题
热门推荐
速览攻略：世界圣羽翼王核心打法与全面解析 本攻略将为你完整呈现《洛克王国》世界圣羽翼王的通关秘籍，深度剖析两种高效实战打法：追求极致速度的“燃薪虫四回合速通”与稳定输出的“酷拉无限连击流”。文章将进一步解析这位翼系精灵王的技能机制、属性克制关系及其在PVE与PVP中的实战定位，帮助你彻底掌握应对其隐
速览：工程系统核心机制解析 在《异种航员2》中，工程系统是整个抵抗力量赖以运转的“战略后勤中枢”。无论是研发新武器、生产重型装甲还是制造先进飞行器，所有实体装备的产出都依赖于此。简言之，该系统的核心运作围绕着两大关键：工程师人力的高效配置与全球稀缺资源的精细化调度。工程师的数量直接决定了每个项目的建
核心速览 在《洛克王国世界》中，治愈兔是一位兼具功能性任务角色与实战辅助能力的精灵。它的价值不仅在剧情推进中体现，更在于对战里出色的治疗与防护表现。本文将为你全面解析治愈兔的精准获取位置、种族属性特点以及实战技能搭配，助你顺利捕捉并最大化其在队伍中的作用。所有关键信息将通过清晰的图文内容详细展示，确
速览 在《红色沙漠》中，挑战传说之狼这一强大的任务BOSS，需要玩家进行充分的准备并遵循完整的任务流程。整个过程环环相扣，你必须首先参与塞莱斯特家族的势力任务，通过完成任务将家族声望提升至指定等级，才能解锁【传说之狼】的专属讨伐任务，最终直面这个传说中的强大生物。 红色沙漠传说之狼怎么打 归根结底，
【宝可梦Pokopia】舒适度全解析：快速提升环境等级的核心秘诀 你是否正在探索《宝可梦Pokopia》世界，并希望有效提升宝可梦栖息地的舒适度？舒适度不仅是衡量宝可梦快乐程度的晴雨表，更是解锁游戏核心内容、加速发展的关键驱动指标。本攻略将系统性地为你揭示提升舒适度的核心途径，涵盖从装饰栖息地、建造