英伟达4B小模型登顶ARC-AGI+2:零预训练策略成本优势详解
在人工智能模型性能比拼的赛场上,英伟达推出的4B小模型NVARC在ARC-AGI+2测试中脱颖而出,以27.64%的公开榜成绩超过GPT-5 Pro的18.3%,成功登顶榜首。这一成绩不仅展现了小模型的强大潜力,也引发了业界关于模型发展方向的新一轮讨论。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈
NVARC的显著优势不仅体现在成绩上,更在于其出色的成本控制能力。该模型每任务成本仅为20美分,而GPT-5 Pro的单任务成本超过7美元;NVARC的成本仅为前者的1/36。这种低成本特性使其在实际应用中更具竞争力,尤其是在资源有限的场景下。
NVARC的成功得益于其独特的零预训练深度学习架构。与依赖大规模通用数据集进行前期预训练的模型不同,NVARC避免了预训练模型可能存在的领域偏见和数据依赖问题。这种方法使它在ARC-AGI+2测试中表现突出,该测试旨在评估模型能否高效获取超出其训练数据的新技能,且测试数据与公共训练数据无重叠。
为了实现这一突破,英伟达团队采取了创新的策略。他们将复杂推理转移至离线的合成数据管道,通过大规模合成高质量数据来优化现有模型。具体而言,团队利用GPT-OSS-120B生成了320多万个增强样本的合成数据集,每个样本最多包含7对输入/输出。这一过程通过拆分推理管线为多个独立验证阶段,确保了数据质量。
在模型选择上,NVARC以改进版ARChitects方法论为基础,选用小参数模型Qwen3-4B,并通过对话式模板简化解题推理。训练过程中,团队借助NeMo RL框架和Megatron后端进行监督微调。而真正让模型取得优异成绩的关键在于测试时微调(TTFT)技术。针对ARC-AGI-2“每个任务都是全新规则”的特点,NVARC引入了LoRA微调技术,对每个问题进行单独微调,使模型能快速适应新任务。
团队对ARChitects方法的解码阶段进行了优化,通过批处理DFS算法修复结果非确定性问题,并统一了8种数据增强操作评估候选解。这些改进共同助力NVARC在公开榜上获得27.64%的分数。
在竞赛后期,团队还尝试了“少即是多”的TRM方法论,与Qwen3-4B集成以进一步提升分数。尽管这一方法带来了一定提升,但受限于多种因素,并未实现大幅突破。
有人质疑,这样训练出来的小模型是否只是“做题机器”,难以与全面发展的超级大模型相提并论。然而,NVARC的成功表明,在特定领域任务中,经过针对性优化的小模型性能并不逊色。其低成本、高速度、强适配性和领域聚焦等优势,使其在诸多场景中展现出巨大应用潜力。
这一成果提醒我们,在模型开发中,将正确的方法应用于正确的场景,往往能实现更大的价值。小模型的崛起,或许将为人工智能的发展开辟新的路径。
热门专题
热门推荐
加密货币行业翘首以盼的监管里程碑,终于有了实质性进展。美国证券交易委员会(SEC)主席保罗·阿特金斯(Paul Atkins)近日证实,那份允许加密项目在早期获得注册豁免权的“安全港”框架提案,已经正式送抵白宫,进入了最终审查阶段。 在范德堡大学与区块链协会联合举办的数字资产峰会上,阿特金斯透露了这
微策略Strategy报告:第一季录得144 6亿美元浮亏 再斥资约3 3亿美元买进4871枚比特币 市场震荡的威力有多大?看看Strategy的最新季报就明白了。根据其最新向美国证管会(SEC)提交的8-K报告,受市场剧烈波动影响,这家公司所持的比特币在第一季度录得了一笔惊人的数字——144 6亿
稳定币巨头Tether的动向,向来是加密世界的风向标。这不,它向Web3基础设施的版图扩张,又迈出了关键一步。公司执行长Paolo Ardoino在社交平台X上透露,其工程团队正在全力“烹制”一个新项目——去中心化搜索引擎 “Hypersearch”。这个消息一出,立刻引发了行业的广泛猜想。 采用D
基地位于Coinbase旗下以太坊Layer2网络Base的Seamless Protocol,日前正式宣告了服务的终结。这个曾经吸引了超过20万用户的原生DeFi借贷协议,在运营不到三年后,终究没能跑赢时间。它主打的核心产品是Integrated Leverage Markets(ILMs)——一
PAAL代币揭秘:深度解析Web3社区治理的核心钥匙 在去中心化自治组织的浪潮中,谁真正掌握了项目的话语权?PAAL代币提供了一套系统化的答案。它不仅是生态内流转的价值媒介,更是开启链上治理大门的核心凭证。通过持有并质押PAAL代币,用户能够对协议升级、资金分配乃至战略方向等关键事务投出决定性的一票





