阿里云Aegaeon发布：GPU共享技术如何革新AI推理效率
在韩国首尔举办的SOSP 2025操作系统原理研讨会上，阿里云近日发布了名为"Aegaeon"的计算池化解决方案。这项创新技术致力于破解人工智能模型服务中由来已久的GPU资源利用率瓶颈，尤其适用于处理具有突发性或不可预测请求特性的大语言模型应用场景。
传统部署模式下普遍采用单一模型独占GPU资源的分配方式，造成大量算力闲置。Aegaeon通过在Token生成层级实现GPU访问的虚拟化，成功突破了这一局限。通过这种创新架构，单个GPU可并行服务于多个不同模型，从而实现更精细粒度的资源分配与调度。
作为推理阶段的智能调度系统，Aegaeon能够在每个token生成完成后，动态判断是否切换当前执行模型，并将极细粒度的任务片段灵活调度至共享资源池中。通过组件复用、显存的精细化管理以及对KV缓存同步机制的深度优化，系统将模型切换带来的性能开销降低了97%，既保障了token级调度的实时响应，又能支持在亚秒级时间内完成模型切换。
在阿里云模型平台开展的为期三个多月的Beta测试中，Aegaeon成功支撑了数十个参数量达720亿的大型模型稳定运行。实测数据显示，所需NVIDIA H20 GPU数量从原先的1192块锐减至213块，降幅高达82%。这种显著的资源压缩能力，对于面临高昂硬件投入的大型模型服务提供商而言，意味着运维成本的大幅降低。
目前，Aegaeon的核心技术已全面集成至阿里云百炼平台，为更高效的模型推理服务提供底层技术支撑。
热门专题
最新APP
热门推荐
10月24日消息，受AI驱动的“DRAM超级周期”影响，DDR5和DDR4内存芯片的产能几乎被完全占据，最新的市场估算预测，内存价格将迎来新一轮上涨。DRAM已成为AI供应链中的关键部件，虽然大部分
10月23日，雷鸟创新推出全新AR眼镜RayNeo Air 4，标准版售价1599元，国补后价格为1519 34元；Pro版售价1699元，国补后为1614 24元。新品已于当日在主流电商平台开启销
群晖今日正式推出DSM 7 3操作系统，带来多项功能升级与体验优化。本次更新重点包括全新引入的Synology Tiering分层存储技术、Drive 4 0的共享标签与文件锁定功能，以及融合AI能
10月23日，赛力斯旗下蓝电汽车宣布将推出第三代蓝电E5 PLUS车型，新车计划于11月启动预售。最新透露，该车型定位为家庭出行场景，重点强化户外露营功能，配备多项专属配置。第三代蓝电E5 PLUS
Binance币安[adid]fbd7939d674997cdb4692d34de8633c4[ adid][adid]758691fdf7ae3403