蚂蚁集团开源Awex框架：TB级参数交换秒级完成
11月20日，蚂蚁集团正式宣布开源其拥有万亿参数规模的强化学习高性能权重交换框架Awex。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
据介绍，Awex作为专为极致性能设计的训练推理引擎权重同步框架，有效解决了强化学习流程中训练权重参数同步到推理模型的核心难题。该框架能在秒级完成TB级大规模参数交换，显著降低强化学习模型训练延迟，其主要特点包括：
极速同步性能：在千卡集群环境下，万亿参数模型可在6秒内完成全量同步，性能表现领先行业；
统一模型适配层：自动处理训练和推理引擎间的并行策略差异，兼容多种主流模型架构；
零冗余传输与原地更新：仅传输必要的权重分片数据，推理侧实现原地更新显存，避免重复分配与拷贝开销；
多模式传输支持：支持NCCL、RDMA及共享内存等多种传输模式，充分发挥NVLink、NVSwitch和RDMA的带宽优势，有效减少长尾延迟；
异构部署兼容：适配共卡与分卡模式，支持同步和异步强化学习算法训练场景，同时通过RDMA传输模式支持推理实例动态扩缩容；
灵活可插拔架构：支持针对不同模型的定制化权重共享与布局行为，同时兼容新型训练和推理引擎的接入。
Awex权重交换框架整体由三个核心组件构成：
WeightWriter：运行于每个训练进程内部，负责收集并上报当前训练进程的权重分片元数据，执行权重转换、权重重分发计划构建和权重发送等功能；
WeightReader：在每个推理实例的控制进程上运行，会在推理实例管理的每张GPU上启动WorkerWeightsReader，与训练进程的WeightWriter相对应，负责每个推理进程的权重分片元数据收集上报、权重转换、权重接收计划构建和权重接收等功能；
MetaServer：作为任务级别的全局服务组件，用于训练和推理引擎的服务发现与权重元数据交换，以及在共卡场景下的事件通知等功能。
权重交换的核心功能模块主要由五个部分组成：
训练推理权重统一转换：负责将采用不同并行策略和Tensor布局的训练引擎与推理引擎的权重转换为统一格式，为后续的权重元数据计算和权重传输奠定基础；
全局权重元数据计算与交换：将训练推理权重转换为统一格式后，收集每个Worker的所有权重分片元数据，并上报至Meta Server，用于构建后续的权重传输计划；
点对点权重传输执行计划：训练和推理引擎获取全局所有Worker的训练和推理权重分片元数据后，分别构建对应的发送和接收确定性传输计划；
NCCL权重传输：基于构建的传输计划，使用NCCL的send/recv接口完成对等的权重发送与接收；
RDMA权重传输：利用NUMA亲和性优势，面向全局负载均衡的传输计划进行RDMA通信，实现权重的高效更新。
同时，Awex框架还支持对权重进行张量级别的校验，将通过文件系统加载的权重与通过传输模式加载的权重进行精细比对，逐项判断差异，确保传输模式的准确性。
在千卡规模的集群环境中，Awex使用NCCL传输数据时，一秒内即可完成10B规模模型参数交换，二十秒内完成1TB规模的模型权重交换。若采用RDMA进行传输，1TB模型权重交换的耗时更能进一步缩短至六秒。
展望未来，Awex作为蚂蚁ASystem强化学习系统的核心组件之一，而ASystem正是百灵万亿模型训练的坚实基础。我们将在未来陆续开源ASystem的其他核心强化学习组件，进一步完善开源强化学习训练生态。目前Awex开源版已支持Megatron和SGLang等主流引擎。
附开源地址：https://github.com/inclusionAI/asystem-awex
相关攻略
3月31日消息，据媒体报道，蚂蚁灵波科技开源大规模RGB-D深度数据集LingBot-Depth-Dataset。此前，社区中一直缺少大规模真实场景拍摄的深度数据集。现有公开数据集普遍存在规模有限、
3 月 30 日，一则来自 GitHub 社区的消息，瞬间引爆整个开发者圈子。蚂蚁集团旗下的 AI 安全实验室，近期对开源智能体框架 OpenClaw 进行了一次专项安全审计。在为期三天的检测中，团
3月17日消息，在上海交通大学建校 130 周年之际，今日，蚂蚁集团董事长、1994 届本科校友井贤栋，与同届校友夫人共同向母校捐赠1 3 亿元现金及蚂蚁集团股份，捐赠签约暨校董聘任仪式在交大闵行校
蚂蚁集团收购耀才证券金融集团有限公司（耀才证券金融，01428 HK，以下简称“耀才证券”）获批，公司股价3月17日复牌后飙升，盘中一度涨超82%。截至3月17日午间收盘，耀才证券金融股价涨65 9
21世纪经济报道 杨梦雪继3月16日夜间公布蚂蚁要约收购获核准公告后，3月17日开盘，耀才证券金融（HK 01428）股价一路飙涨，盘中最高涨超80%，盘中最高16 88港元 股。3月16日晚间，耀
热门专题
热门推荐
加密货币行业翘首以盼的监管里程碑，终于有了实质性进展。美国证券交易委员会（SEC）主席保罗·阿特金斯（Paul Atkins）近日证实，那份允许加密项目在早期获得注册豁免权的“安全港”框架提案，已经正式送抵白宫，进入了最终审查阶段。 在范德堡大学与区块链协会联合举办的数字资产峰会上，阿特金斯透露了这
微策略Strategy报告：第一季录得144 6亿美元浮亏 再斥资约3 3亿美元买进4871枚比特币 市场震荡的威力有多大？看看Strategy的最新季报就明白了。根据其最新向美国证管会(SEC)提交的8-K报告，受市场剧烈波动影响，这家公司所持的比特币在第一季度录得了一笔惊人的数字——144 6亿
稳定币巨头Tether的动向，向来是加密世界的风向标。这不，它向Web3基础设施的版图扩张，又迈出了关键一步。公司执行长Paolo Ardoino在社交平台X上透露，其工程团队正在全力“烹制”一个新项目——去中心化搜索引擎 “Hypersearch”。这个消息一出，立刻引发了行业的广泛猜想。 采用D
基地位于Coinbase旗下以太坊Layer2网络Base的Seamless Protocol，日前正式宣告了服务的终结。这个曾经吸引了超过20万用户的原生DeFi借贷协议，在运营不到三年后，终究没能跑赢时间。它主打的核心产品是Integrated Leverage Markets（ILMs）——一
PAAL代币揭秘：深度解析Web3社区治理的核心钥匙 在去中心化自治组织的浪潮中，谁真正掌握了项目的话语权？PAAL代币提供了一套系统化的答案。它不仅是生态内流转的价值媒介，更是开启链上治理大门的核心凭证。通过持有并质押PAAL代币，用户能够对协议升级、资金分配乃至战略方向等关键事务投出决定性的一票