三星TRM论文解析:巧用递归方法,轻量化模型挑战Transformer架构
三星SAIL蒙特利尔实验室的研究团队近日发表论文《Less is More: Recursive Reasoning with Tiny Networks》,提出名为Tiny Recursive Model(TRM)的创新递归推理架构。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈
大数据文献摘录整理
三星SAIL蒙特利尔实验室在最新发布的论文《Less is More: Recursive Reasoning with Tiny Networks》中,正式推出这款名为Tiny Recursive Model(TRM)的递归推理框架。
图示
这项研究证明,在复杂推理任务中,结构精巧的小型网络同样能够超越大型语言模型的表现。
TRM仅采用700万参数的双层神经网络结构,就在多项高难度任务中超越了DeepSeek R1、Gemini 2.5 Pro、O3-mini等主流模型。
在架构设计上,TRM大胆摒弃了自注意力层(仅限TRM-MLP变体;TRM-Att仍保留自注意力机制)。论文指出,对于固定输入的小规模任务,多层感知机反而能有效降低过拟合风险。此外,当上下文序列较短时,注意力机制反而会造成计算资源的浪费。TRM在数独求解、困难迷宫等特定任务中,采用纯MLP架构的表现优于基于Transformer的模型。
图示
图解说明:Tiny Recursive Model(TRM)通过在“答案y”和“潜在思考变量z”之间持续进行递归更新,实现了小参数模型的多轮自我修正推理。
传统大模型依赖链式思维(Chain-of-Thought)生成推理步骤,但这种方法成本高昂且容易累积误差。
TRM则通过递归式更新“答案”与“潜在思考变量”,使模型在持续自我修正中逐步逼近正确答案。
论文总结道:“TRM以极小的参数量实现了前所未有的泛化能力。”在ARC-AGI推理基准测试中,TRM分别获得45%(ARC-AGI-1)与8%(ARC-AGI-2)的准确率,显著优于多数大型模型。在Sudoku-Extreme任务中,其准确率更是达到87.4%,刷新了该领域的性能纪录。
研究团队强调,这种架构的核心逻辑在于“递归即深度”:深度递归可替代层数堆叠,模型无需增加网络深度,只需通过反复思考即可完成任务。
推理机制重构:少即是多
TRM的设计灵感源于对上一代分层推理模型(HRM)的深入反思。
图示
HRM模型采用双网络在不同频率下递归更新潜变量与答案的过程,通过先无梯度、后带梯度的双阶段循环,实现高低频递归推理的有机结合。
HRM使用两个网络在不同“频率层次”上进行递归运算,模拟人脑的多层推理结构。然而,其训练流程复杂,依赖不动点定理和生物学假设等理论基础。
TRM则彻底摒弃了这些理论假设。
研究人员发现,单一网络配合深度监督即可实现相同甚至更优的推理效果。
模型通过多次前向递归更新内部潜变量z与当前答案y,让推理链条的每一步都更加精准。
与HRM相比,TRM的参数量缩减约74%,单步前向传播次数减半,同时提升整体准确率。
论文数据显示:在Maze-Hard数据集上,TRM测试准确率达到85.3%,较HRM高出十个百分点。
TRM还取消了传统的“自适应计算时间”机制(Adaptive Computational Time, ACT)中的第二次前向传播。
研究者改用简单的二元判断来决定是否停止推理。
结果显示,模型训练速度显著提升,而准确率几乎保持不变。
在架构选择上,TRM也放弃了自注意力层。对于小规模固定输入任务(如数独),使用多层感知机反而能减少过拟合现象。
论文明确指出,“当上下文长度较短时,注意力机制反而是一种浪费。”这一发现挑战了AI界“模型越大性能越强”的经验法则。减少层数、加深递归,是让模型真正学会“思考”的关键所在。
结果与启示:推理的新尺度
实验结果表明,TRM不仅在性能上反超HRM,更在泛化能力与效率比上树立了新标准。
图示
在Sudoku-Extreme测试中,它以500万参数实现87.4%准确率;
图示
在Maze-Hard任务上,以700万参数实现85.3%;
图示
在ARC-AGI系列测评中,表现超越Gemini 2.5 Pro与DeepSeek R1等大型模型。
研究团队将这一成果概括为:“以递归取代规模,以思考取代堆叠。”
论文分析认为,大模型在生成式推理中往往容易因单次错误而放大误差,而TRM通过循环式的自我修正,将推理过程拆分为多个小步骤,显著降低了误差传递。
这种结构在小样本条件下尤为有效。
作者还发现,双层网络的泛化能力优于更深层的模型。当网络层数增加到四层或以上时,性能反而下降,原因在于过拟合风险增加。
团队引入指数移动平均(EMA)技术以稳定训练,使模型在小数据集上保持收敛一致性。
研究指出,这种方法为“轻量级AI推理”提供了全新路径:当算力与数据受限时,小模型通过递归学习仍可实现复杂思维行为。
这为未来的边缘AI与低资源应用指明了方向。真正的智能深度,并非必然来自模型规模,而可能源于反复思考的能力。
相关攻略
AI 时代最赚钱的公司,可能从来不是做 AI 的那个。作者|张勇毅编辑|靖宇淘金热里最稳赚的人,从来不是淘金的,是卖铲子的。这句老话在 2026 年的科技行业又应验了一次。只不过这次卖铲子的不是英伟
智通财经APP获悉,Counterpoint Research表示,随着智能手机价格不断攀升,消费者对升级换机的理由愈发审慎,性价比变得前所未有的重要。原始设备制造商(OEM)如今必须提供切实可感知
据中国证券报4月6日消息,记者当天从产业链人士处获悉,富士康已在试产苹果折叠屏iPhone手机。此前,据证券时报综合多方消息,苹果公司将于今年9月份推出首款折叠屏手机。基于苹果公司在消费电子领域的引
4月6日消息,如今的存储芯片涨价让众多电子行业面临压力,手机、电脑今年出货量暴跌是定局了,但对三星等公司来说,现在的行情可以说是爽上天的好日子,Q1季度的利润爆表了。三星这两天就会公布第一季度的初步
4月4日消息,据外媒报道,三星Galaxy Z Wide Fold阔折叠手机的内屏设计迎来重大升级,新机内屏比例调整为4:3,横向显示区域显著加宽。相比前代Galaxy Z Fold 7接近正方形的
热门专题
热门推荐
加密货币行业翘首以盼的监管里程碑,终于有了实质性进展。美国证券交易委员会(SEC)主席保罗·阿特金斯(Paul Atkins)近日证实,那份允许加密项目在早期获得注册豁免权的“安全港”框架提案,已经正式送抵白宫,进入了最终审查阶段。 在范德堡大学与区块链协会联合举办的数字资产峰会上,阿特金斯透露了这
微策略Strategy报告:第一季录得144 6亿美元浮亏 再斥资约3 3亿美元买进4871枚比特币 市场震荡的威力有多大?看看Strategy的最新季报就明白了。根据其最新向美国证管会(SEC)提交的8-K报告,受市场剧烈波动影响,这家公司所持的比特币在第一季度录得了一笔惊人的数字——144 6亿
稳定币巨头Tether的动向,向来是加密世界的风向标。这不,它向Web3基础设施的版图扩张,又迈出了关键一步。公司执行长Paolo Ardoino在社交平台X上透露,其工程团队正在全力“烹制”一个新项目——去中心化搜索引擎 “Hypersearch”。这个消息一出,立刻引发了行业的广泛猜想。 采用D
基地位于Coinbase旗下以太坊Layer2网络Base的Seamless Protocol,日前正式宣告了服务的终结。这个曾经吸引了超过20万用户的原生DeFi借贷协议,在运营不到三年后,终究没能跑赢时间。它主打的核心产品是Integrated Leverage Markets(ILMs)——一
PAAL代币揭秘:深度解析Web3社区治理的核心钥匙 在去中心化自治组织的浪潮中,谁真正掌握了项目的话语权?PAAL代币提供了一套系统化的答案。它不仅是生态内流转的价值媒介,更是开启链上治理大门的核心凭证。通过持有并质押PAAL代币,用户能够对协议升级、资金分配乃至战略方向等关键事务投出决定性的一票





