阿里云Aegaeon发布：GPU共享技术如何革新AI推理效率
在韩国首尔举办的SOSP 2025操作系统原理研讨会上，阿里云近日发布了名为"Aegaeon"的计算池化解决方案。这项创新技术致力于破解人工智能模型服务中由来已久的GPU资源利用率瓶颈，尤其适用于处理具有突发性或不可预测请求特性的大语言模型应用场景。
传统部署模式下普遍采用单一模型独占GPU资源的分配方式，造成大量算力闲置。Aegaeon通过在Token生成层级实现GPU访问的虚拟化，成功突破了这一局限。通过这种创新架构，单个GPU可并行服务于多个不同模型，从而实现更精细粒度的资源分配与调度。
作为推理阶段的智能调度系统，Aegaeon能够在每个token生成完成后，动态判断是否切换当前执行模型，并将极细粒度的任务片段灵活调度至共享资源池中。通过组件复用、显存的精细化管理以及对KV缓存同步机制的深度优化，系统将模型切换带来的性能开销降低了97%，既保障了token级调度的实时响应，又能支持在亚秒级时间内完成模型切换。
在阿里云模型平台开展的为期三个多月的Beta测试中，Aegaeon成功支撑了数十个参数量达720亿的大型模型稳定运行。实测数据显示，所需NVIDIA H20 GPU数量从原先的1192块锐减至213块，降幅高达82%。这种显著的资源压缩能力，对于面临高昂硬件投入的大型模型服务提供商而言，意味着运维成本的大幅降低。
目前，Aegaeon的核心技术已全面集成至阿里云百炼平台，为更高效的模型推理服务提供底层技术支撑。
热门专题
热门推荐
公安部就电子数据取证规则公开征求意见，拟将网络安全等行政案件纳入适用范围，并规范取证流程与核心概念。新规特别明确了获取密码、调取通讯内容等特殊程序，需经严格审批并保障当事人权利。配套法律文书也同步优化，以构建更规范且注重权利保障的取证体系。
理想L9和LIvis的定价策略刚掀起波澜，小鹏GX的最终价格就给出了更猛烈的回应——从近40万元的预售价直降至27万元起。用小鹏产品矩阵负责人吴安飞的话说，这叫“9系的产品，8系的价格”。 这12万元的下调，效果堪称立竿见影。发布会次日，小鹏集团港股股价一度大涨超8%。更关键的是市场订单：上市12小
5月21日，环塔拉力赛新疆且末赛段大营迎来了一位备受瞩目的访客——知名零售企业胖东来的创始人于东来。他专程前往长城汽车车队营地，与参赛车手及后勤团队进行了深度交流。据悉，于东来此次自驾越野之旅已历时一月，随行车队中包含多款国产越野车型。经过实地驾驶与多维度对比，他对以长城汽车为代表的国产越野车品质给
比特币官方入口在哪里？一个核心门户的权威指南 说起比特币，很多人第一反应是去找它的“官网”或“官方App”。但这里有个关键点需要先理清：比特币本质上是一种去中心化的全球数字货币，它不属于任何一家公司或机构，而是由一个庞大的、遍布全球的社区共同维护。因此，它并没有传统意义上由某个企业运营的“官方网站”
Ring-2 5-1T是什么 在当今大模型技术激烈竞争的赛道上，追求更长的上下文处理能力和更强大的深度推理性能已成为核心焦点。近日，蚂蚁集团旗下的inclusionAI团队重磅开源了Ring-2 5-1T模型，这是一个参数规模高达万亿级别的混合线性思考大语言模型。该模型基于先进的Ling 2 5架构