英伟达4B小模型比肩GPT-5？成本仅1/36的突破
英伟达的小型模型持续展现出优异表现。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
在最新的ARC-AGI 2基准测试中，参数量仅4B的模型NVARC取得了27.64%的公开榜单成绩，力压GPT-5 Pro的18.3%，成功登顶榜首。
更令人瞩目的是，其每项任务的成本仅为20美分，大约是GPT-5 Pro单任务成本（超过7美元）的1/36，性价比优势极其显著。
最新分析指出，NVARC此次夺冠的关键在于采用了零预训练的深度学习方法。它没有依赖大规模通用数据集进行前期预训练，从而规避了预训练模型常见的领域偏见、数据依赖等问题。
ARC-AGI 2本身是一套剔除了与公共训练数据重叠的、更高难度的测试集，其核心是考察模型能否高效地获取超出其训练数据的新技能。
成绩公布后，我们最新访问到了NVARC团队的Jean-Francois Puget和Ivan Sorokin，对其中技术细节进行了深入剖析。
不妨一起来看看，这位“性价比之王”究竟是如何“练”成的？
不靠参数堆料
英伟达的策略是将复杂的推理工作转移到离线的合成数据管道中完成，从而训练出能够在评估时快速运行的较小模型。
简而言之，就是大规模合成高质量数据，然后对现有模型进行优化，并将昂贵的计算工作转移到离线进行。
由于Kaggle比赛对计算资源的限制非常严格，团队意识到，他们不能直接使用那些需要超强算力的大型LMM来执行复杂的、一步一步的推理和代码生成。
因此他们改变了思路，决定将最烧钱的计算工作转移到离线完成。比如利用GPT-OSS-120B来大规模制作高质量的合成谜题。
团队从H-ARC、BARC数据集中搜集了现有的ARC谜题数据，然后将简单的谜题混合起来，生成更复杂的新谜题。
为了确保数据质量，他们将复杂的推理管线拆分成不同的阶段，每个阶段都可以独立验证。
通过这种方式，他们建立了一个包含320万+增强样本的合成数据集，其中每个样本最多有7对输入/输出示例。
这里忍不住提一嘴，哈萨比斯刚强调了Scaling Law的重要性，那么合成数据的Scaling怎么不算呢（doge）？
言归正传，NVARC核心的推理模块以改进版ARChitects方法为基础，选用小参数模型Qwen3-4B，通过对话题模板简化谜题理解。
训练时借助NeMo RL框架和Megatron后端进行监督微调。
不过，让模型取得优异成绩的关键一步在于测试时微调（TTFT）。
针对ARC-AGI-2“每个任务都是全新规则”的特点，NVARC引入了LoRA微调技术，并且是针对每一个问题都进行微调，让模型在做题前快速适应。
而对ARChitects方法的改进在于解码阶段DFS算法做了批处理优化，修复了结果非确定性问题。
同时统一了8种数据增强操作评估候选项，最终在公开榜单获得了27.64%的分数。
在竞赛后期，团队还应用了“少即是多”的TRM方法，尝试与Qwen3-4B集成补充分数，虽然有一定提升，但受各种限制并没有大幅优化。
那么问题来了，有人会说这样训练出来的小模型不就是做题机器吗？哪里比得上全面发力的超级大模型？
但更值得关注的或许不在于模型本身，而在于实现突破的方法。
在特定领域任务中，小型模型经过针对性优化，性能并不逊色。加之其在成本、速度、适配性与领域聚焦上的优势，它们已经在诸多场景崭露头角。
将正确的方法用在正确的地方，将会实现更大的价值。
热门专题
热门推荐
加密货币行业翘首以盼的监管里程碑，终于有了实质性进展。美国证券交易委员会（SEC）主席保罗·阿特金斯（Paul Atkins）近日证实，那份允许加密项目在早期获得注册豁免权的“安全港”框架提案，已经正式送抵白宫，进入了最终审查阶段。 在范德堡大学与区块链协会联合举办的数字资产峰会上，阿特金斯透露了这
微策略Strategy报告：第一季录得144 6亿美元浮亏 再斥资约3 3亿美元买进4871枚比特币 市场震荡的威力有多大？看看Strategy的最新季报就明白了。根据其最新向美国证管会(SEC)提交的8-K报告，受市场剧烈波动影响，这家公司所持的比特币在第一季度录得了一笔惊人的数字——144 6亿
稳定币巨头Tether的动向，向来是加密世界的风向标。这不，它向Web3基础设施的版图扩张，又迈出了关键一步。公司执行长Paolo Ardoino在社交平台X上透露，其工程团队正在全力“烹制”一个新项目——去中心化搜索引擎 “Hypersearch”。这个消息一出，立刻引发了行业的广泛猜想。 采用D
基地位于Coinbase旗下以太坊Layer2网络Base的Seamless Protocol，日前正式宣告了服务的终结。这个曾经吸引了超过20万用户的原生DeFi借贷协议，在运营不到三年后，终究没能跑赢时间。它主打的核心产品是Integrated Leverage Markets（ILMs）——一
PAAL代币揭秘：深度解析Web3社区治理的核心钥匙 在去中心化自治组织的浪潮中，谁真正掌握了项目的话语权？PAAL代币提供了一套系统化的答案。它不仅是生态内流转的价值媒介，更是开启链上治理大门的核心凭证。通过持有并质押PAAL代币，用户能够对协议升级、资金分配乃至战略方向等关键事务投出决定性的一票