首页 游戏 软件 资讯 排行榜 专题
首页
科技数码
蚂蚁集团与清华开源AReaL:AI推理训练速度提升2.77倍

蚂蚁集团与清华开源AReaL:AI推理训练速度提升2.77倍

热心网友
30
转载
2026-03-04

3月4日,IT之家报道称蚂蚁集团与清华大学联合推出开源强化学习训练框架AReaL v1.0稳定版。这一大规模异步强化学习系统通过解耦生成与训练流程,显著提升大语言模型(特别是推理模型)的训练效率。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈

据IT之家引述的论文介绍,随着大语言模型向"大推理模型"(LRM)演进,强化学习已成为提升模型逻辑推理能力的关键技术。

然而,现有的强化学习训练系统主要采用同步机制,即生成阶段必须等待批次中所有输出(通常是最长的那个)完成后才能开始训练。


这种"木桶效应"导致大量GPU算力处于闲置状态,制约了训练效率,在处理需要生成数万个思考标记的复杂推理任务时表现尤为明显。

研究团队为解决这一瓶颈,开发了AReaL系统,这是一个完全异步的强化学习训练架构。AReaL彻底解耦了模型的生成与训练过程:生成工作器可以连续不断地产生新数据,而训练工作器则在收集到足够数据后立即更新模型。


这种流水线式的并行设计消除了同步等待时间,显著提升了硬件资源的利用率,让整个训练过程更加流畅高效。


在算法层面,AReaL面临异步带来的数据"陈旧度"挑战,即训练数据可能来自旧版本的模型。为此,团队设计了陈旧度感知训练机制,通过控制工作负载来平衡数据的新鲜度。

同时,研究团队提出了解耦PPO目标函数,并支持"可中断生成"技术,允许模型在生成过程中无缝更新权重。


实验结果验证了AReaL的卓越性能。在数学和代码推理基准测试中,使用相同数量的GPU,AReaL相比最先进的同步系统,训练速度最高提升2.77倍。更令人惊喜的是,这种加速并未以牺牲准确率为代价,模型的解题能力在部分任务上甚至有所提升。



IT之家附上参考资料

来源:https://www.163.com/dy/article/KN648M8P0511B8LM.html
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

OpenClaw人人养虾:接入Discord
AI
OpenClaw人人养虾:接入Discord

Discord接入:让OpenClaw成为你的社区智能管家 对于全球数亿的游戏玩家和社群爱好者来说,Discord几乎等同于线上“大本营”。那么,有没有可能让你精心搭建的Discord服务器也拥有一个聪明能干的AI助手呢?答案是完全可行。通过创建Discord Bot(机器人),你可以将OpenCl

热心网友
04.15
Claude强到不敢发的Mythos,被质疑用了字节Seed技术
AI
Claude强到不敢发的Mythos,被质疑用了字节Seed技术

Claude最强“神话”模型,可能用到来自字节的技术? 这条猜测直接冲上了热搜榜。 这款被形容为“强到不敢公开发布”的Mythos模型,确实极大地刺激了人们对下一代大语言模型架构的想象空间。 社区讨论的焦点,正集中在它是否采用了“循环语言模型”(Looped Language Model)这一创新架

热心网友
04.14
DeepSeek上线专家模式:国产AI激战正酣,V4能否复刻去年春节炸场?
科技数码
DeepSeek上线专家模式:国产AI激战正酣,V4能否复刻去年春节炸场?

国产大模型DeepSeek迎来重大更新:快速模式与专家模式上线 最新消息显示,国产AI大模型DeepSeek再次迎来重要升级。4月8日,用户在访问DeepSeek时发现,输入框上方新增了“快速模式”与“专家模式”两个选项。根据官方说明,快速模式专注于日常对话场景,响应速度快,同时支持图片和文件中的文

热心网友
04.14
OpenClaw人人养虾:接入飞书
AI
OpenClaw人人养虾:接入飞书

飞书接入指南:为你的团队嵌入一位AI同事 如果你身处国内互联网或科技行业,对飞书这款高效协作平台一定非常熟悉。如今,它已不仅是团队沟通工具,更成为众多企业的数字化工作中枢。那么,能否让团队成员在飞书内部,直接调用强大的AI智能助手来提升效率呢?答案是肯定的。本指南将手把手教你,如何将OpenClaw

热心网友
04.14
让离线强化学习从「局部描摹」变「全局布局」丨ICLR'26
AI
让离线强化学习从「局部描摹」变「全局布局」丨ICLR'26

面对复杂连续任务的长程规划,现有的生成式离线强化学习方法往往会暴露短板。它们生成的轨迹经常陷入局部合理但全局偏航的窘境。它们太关注眼前的每一步,却忘了最终的目的地。针对这一痛点,厦门大学和香港科技大

热心网友
04.07

最新APP

宝宝过生日
宝宝过生日
应用辅助 04-07
台球世界
台球世界
体育竞技 04-07
解绳子
解绳子
休闲益智 04-07
骑兵冲突
骑兵冲突
棋牌策略 04-07
三国真龙传
三国真龙传
角色扮演 04-07

热门推荐

iPhone17越狱是什么意思?如何安全操作?
iphone
iPhone17越狱是什么意思?如何安全操作?

iPhone17越狱:解锁系统潜力的双刃剑 当谈到iPhone17越狱,本质上是在讨论如何通过技术手段解除iOS系统的层层限制,获取设备的最高管理权限。这个过程就像拿到了一把万能钥匙,可以打开苹果生态系统中那些被官方锁定的功能区域。但值得注意的是,这把钥匙在使用时也需要格外小心——它既能开启个性化定

热心网友
04.22
小米蓝牙耳机重新配对后连不上是啥原因
电脑教程
小米蓝牙耳机重新配对后连不上是啥原因

小米蓝牙耳机重置后连不上?别急,根本原因在这里 遇到小米蓝牙耳机重置后无法连接手机的情况,先别急着断定耳机损坏。问题的核心,往往在于一个被称为“软硬件状态同步”的环节——简单来说,耳机虽然清空了数据,进入了可被发现的配对模式,但手机端可能还保留着旧的连接记录或缓存,导致双方信息无法匹配,信任链路无法

热心网友
04.22
最强祖师宗门灵兽饲养秘籍
游戏攻略
最强祖师宗门灵兽饲养秘籍

宗门灵兽完整养成指南:从入门到精通的全方位攻略 在宗门修仙体系中,灵兽不仅是并肩作战的强大伙伴,更是提升宗门整体实力的战略核心。然而,许多道友在成功获取灵兽后,常对后续的培养路径感到困惑。本指南将系统性地为你解析灵兽养成的完整体系,助你高效培育出能征善战、独当一面的专属灵兽,大幅提升宗门战斗力。 一

热心网友
04.22
书伴阅读如何投稿
手机教程
书伴阅读如何投稿

如何向书伴阅读投稿? 在阅读社群里分享自己的感悟、解读甚至是衍生创作,本身就是一件充满乐趣和意义的事。书伴阅读无疑是这样一个理想的分享平台。那么,如何才能让你的稿件成功登上这个平台,与更多同好者见面呢? 第一步:找准你的分享角度 动笔之前,先问问自己:你最想分享什么?是读完一本书后那股不吐不快的激动

热心网友
04.22
5月份开始量产?消息称苹果首款可折叠iPhone显示屏也将由三星供应
iphone
5月份开始量产?消息称苹果首款可折叠iPhone显示屏也将由三星供应

苹果折叠屏iPhone新进展:三星包揽关键部件,屏幕平整度或成亮点 上周行业里传得沸沸扬扬,说苹果今年秋季要推的首款折叠 iPhone,运行内存定了12GB,将由三星电子供货。按照苹果一向的节奏,生产预计第二季度就会启动。 这还没完。最新消息来了,除了内存,这款折叠设备最核心的部件——屏幕,看来也得

热心网友
04.22