让离线强化学习从「局部描摹」变「全局布局」丨ICLR'26
面对复杂连续任务的长程规划，现有的生成式离线强化学习方法往往会暴露短板。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
它们生成的轨迹经常陷入局部合理但全局偏航的窘境。
它们太关注眼前的每一步，却忘了最终的目的地。
针对这一痛点，厦门大学和香港科技大学提出一种名为MAGE（魔法师，Multi-scale Autoregressive Generation）的离线强化学习新算法。
MAGE与现有序列生成方法不同，MAGE采用自顶向下的“由粗到细”生成策略，先建模轨迹的宏观规划，再逐步细化微观细节。
MAGE的核心思路非常符合人类的直觉：“自顶向下、由粗到细”。
这就好比画一幅素描，你不会一上来就描绘眼睛的睫毛，而是先画出整体的身体轮廓（宏观规划），再逐步细化五官和表情
（微观动作）
△MAGE的思考过程
从一场”迷宫寻宝“揭示AI规划的盲区
为了直观展示现有模型的缺陷，研究团队设计了一个迷宫吃金币小实验。智能体需要从随机起点出发，依靠对环境的长程空间理解，先吃银币，再吃金币，最后抵达终点。
△各个算法在迷宫环境的表现
然而，面对这种需要全局规划的场景，现有的模型纷纷暴露了缺陷。
Decision Transformer受限于单向自回归特性带来的全局上下文缺失，它在长程规划中完全迷失方向，最终连终点都未能抵达。Decision Diffuser则由于扩散模型固有的局部生成偏差，生成的轨迹往往只能保证局部合理；虽然智能体抵达了终点，却遗漏了关键的一枚金币，全局连贯性较差。Hierarchical Diffuser虽然尝试通过分层结构建模全局轨迹，但由于其固定的双层结构过于僵硬高低层策略之间缺乏有效协同，生成的轨迹甚至出现了物理违规的“穿墙”现象，全局规划与局部动作严重脱节。
相比之下，MAGE则通过多尺度“从粗到细”的生成架构成功完成了任务。它首先在最粗的时间尺度上勾勒出包含所有关键节点的宏观全局轮廓，随后利用多尺度Transformer在更细的时间尺度上逐层细化，顺利规划出完整的路径。
MAGE的核心思路：从画大纲到扣细节
MAGE采用“自顶向下、由粗到细”的生成方式。MAGE包含两大核心模块，并辅以精确的控制机制：
△MAGE的架构图
MTAE多尺度轨迹自编码器：MAGE将长序列轨迹转化为从粗到细的多尺度离散Token。粗尺度的Token负责掌控全局长程结构，最细尺度的Token则详细建模短期的动态细节。
多尺度条件引导自回归生成：模型使用Transformer序列化地生成这些多尺度Token。在生成每层时，都会严格以“目标回报”和“初始状态”作为条件进行约束，确保智能体的每一步都在朝着最终目标前进。
条件引导细化与动作决策：因为把连续世界变成离散Token会丢失信息，普通的生成过程容易让轨迹起点偏离现实。为此，MAGE在解码器中集成了轻量级的适配器（adapter）模块，并引入了条件引导损失函数Lcond，强制解码出的初始状态与真实环境是精确对齐的。最后，通过潜在逆动力学模型决定最终的动作。
实验表现：长序列任务全面超越，推理速度满足实时控制
研究团队在包含Adroit、Franka Kitchen、AntMaze等5个离线RL基准测试中，将MAGE与15种具有代表性的基线算法进行了广泛的评估。
多任务表现出色
在极具挑战的高维连续控制Adroit机械臂任务中，面对极其稀疏的奖励，MAGE实现了显著的性能提升，大幅优于对比方法。在强调子目标执行顺序的Franka Kitchen组合任务中，MAGE凭借捕获全局结构和局部细节的能力，以相当大的优势超越了所有竞争算法。
在迷宫导航任务中，MAGE在所有数据集上均取得了最佳性能，证明了其处理长序列导航任务的卓越能力。
极高的推理效率与部署潜力
MAGE在保持高性能的同时，实现了出色的计算效率平衡。实验数据表明，MAGE的运行速度比Hierarchical Diffuser快约50倍，比Decision Diffuser快80倍。其每步推理时间保持在27毫秒，完美满足了真实机器人控制所要求的20 Hz实时运行门槛。
结语
MAGE成功地将多尺度轨迹建模与条件引导相结合，通过“从粗到细”的自回归框架生成连贯且可控的高回报轨迹。当有一天，机器人不再需要人类一口一口地“喂”奖励，而是能够自主审视全局，制定长远计划并流畅执行时，也许具身智能的下一个奇点就真正到来了。
论文链接：
https://arxiv.org/abs/2602.23770
开源代码：
https://github.com/xmu-rl-3dv/MAGE
实验室主页：
https://asc.xmu.edu.cn/
作者介绍：
本文第一作者来自厦门大学空间感知与计算实验室（ASC Lab）2024级硕士生林晨兴、2025级硕士生高鑫辉，通讯作者为厦门大学沈思淇副教授，并由张海鹏、李欣然（香港科技大学）、王海涛、梅松竹副研究员、刘伟权副教授（集美大学）、王程教授共同合作完成。研究团队长期聚焦于强化学习，多智能体系统以及大模型智能体。
相关攻略
面对复杂连续任务的长程规划，现有的生成式离线强化学习方法往往会暴露短板。它们生成的轨迹经常陷入局部合理但全局偏航的窘境。它们太关注眼前的每一步，却忘了最终的目的地。针对这一痛点，厦门大学和香港科技大
当下，全球AI领域的竞争早已告别“拼参数”的粗放阶段，资本市场的考量愈发务实——谁能将AI研发投入转化为真实利润，谁就能抢占先机。在这场从“技术概念”到“商业实效”的转型竞赛中，率先跑通商业闭环的企
新智元报道编辑：倾倾【新智元导读】Chatbot时代结束了！Google将AI植入Android底层，让它变成一个主动规划一切的系统管家。每个月$19 99+你的全部数据，就能获得一个全天候24h的
Feeling AI要补齐的，是世界模型最被低估的一块拼图——动态交互的模型层能力。作者｜周悦编辑｜王博《上古卷轴5》发售已经超过十四年，但有一个细节一直卡在Feeling AI创始人戴勃脑海里。玩
热门专题
热门推荐
加密货币行业翘首以盼的监管里程碑，终于有了实质性进展。美国证券交易委员会（SEC）主席保罗·阿特金斯（Paul Atkins）近日证实，那份允许加密项目在早期获得注册豁免权的“安全港”框架提案，已经正式送抵白宫，进入了最终审查阶段。 在范德堡大学与区块链协会联合举办的数字资产峰会上，阿特金斯透露了这
微策略Strategy报告：第一季录得144 6亿美元浮亏 再斥资约3 3亿美元买进4871枚比特币 市场震荡的威力有多大？看看Strategy的最新季报就明白了。根据其最新向美国证管会(SEC)提交的8-K报告，受市场剧烈波动影响，这家公司所持的比特币在第一季度录得了一笔惊人的数字——144 6亿
稳定币巨头Tether的动向，向来是加密世界的风向标。这不，它向Web3基础设施的版图扩张，又迈出了关键一步。公司执行长Paolo Ardoino在社交平台X上透露，其工程团队正在全力“烹制”一个新项目——去中心化搜索引擎 “Hypersearch”。这个消息一出，立刻引发了行业的广泛猜想。 采用D
基地位于Coinbase旗下以太坊Layer2网络Base的Seamless Protocol，日前正式宣告了服务的终结。这个曾经吸引了超过20万用户的原生DeFi借贷协议，在运营不到三年后，终究没能跑赢时间。它主打的核心产品是Integrated Leverage Markets（ILMs）——一
PAAL代币揭秘：深度解析Web3社区治理的核心钥匙 在去中心化自治组织的浪潮中，谁真正掌握了项目的话语权？PAAL代币提供了一套系统化的答案。它不仅是生态内流转的价值媒介，更是开启链上治理大门的核心凭证。通过持有并质押PAAL代币，用户能够对协议升级、资金分配乃至战略方向等关键事务投出决定性的一票