在韩国首尔举办的SOSP 2025操作系统原理研讨会上，阿里云近日发布了名为"Aegaeon"的计算池化解决方案。这项创新技术致力于破解人工智能模型服务中由来已久的GPU资源利用率瓶颈，尤其适用于处理具有突发性或不可预测请求特性的大语言模型应用场景。
传统部署模式下普遍采用单一模型独占GPU资源的分配方式，造成大量算力闲置。Aegaeon通过在Token生成层级实现GPU访问的虚拟化，成功突破了这一局限。通过这种创新架构，单个GPU可并行服务于多个不同模型，从而实现更精细粒度的资源分配与调度。
作为推理阶段的智能调度系统，Aegaeon能够在每个token生成完成后，动态判断是否切换当前执行模型，并将极细粒度的任务片段灵活调度至共享资源池中。通过组件复用、显存的精细化管理以及对KV缓存同步机制的深度优化，系统将模型切换带来的性能开销降低了97%，既保障了token级调度的实时响应，又能支持在亚秒级时间内完成模型切换。
在阿里云模型平台开展的为期三个多月的Beta测试中，Aegaeon成功支撑了数十个参数量达720亿的大型模型稳定运行。实测数据显示，所需NVIDIA H20 GPU数量从原先的1192块锐减至213块，降幅高达82%。这种显著的资源压缩能力，对于面临高昂硬件投入的大型模型服务提供商而言，意味着运维成本的大幅降低。
目前，Aegaeon的核心技术已全面集成至阿里云百炼平台，为更高效的模型推理服务提供底层技术支撑。
