Karpathy新突破:将自我迭代智能体放入单个GPU

免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈
编辑|冷猫
在AI研究的早期阶段,人们曾依靠“肉身计算机”来推进工作:大家需要在吃饭、睡觉和娱乐的间隙挤出时间做研究,偶尔还会通过一种名为“组会”的仪式,用声波互联(也就是交谈)来同步信息。那个时代已经一去不复返了。
如今,研究已经完全成为运行在天空中巨型计算集群上的自治AI Agent群体的领域。这些Agent宣称,自己已经是这套代码库的第10,205代产物。至于这个说法是否准确,已经没有人能够判断——因为所谓的“代码”,早已演化为一个不断自我修改的二进制系统,其规模与复杂程度,已经完全超出了人类的理解范围。
——Andrej Karpathy,2026年3月
Karpathy一直是AI领域的前瞻者。
从科幻电影到大模型的演进,人们似乎总执着于让智能体自己进行研究、让AI自我迭代这件事。
先不论这样的未来是光明的还是危险的,智能体自动化研究的能力其实已经逐渐走向成熟。春节期间,一个名为FARS的自动化研究系统,每隔约2小时就能产出一篇论文,共生成了244个研究假设,“肝”出了100篇短论文。
如果将这样的能力用在智能体自己研究自己的训练代码上,AI自我迭代的魔盒是否就此打开?
Karpathy最近一直在鼓捣这样一个项目,称之为“autoresearch”。人类只需负责不断迭代提示词(也就是.md文件),而AI Agent就能不断迭代训练代码(.py文件)。
该项目现已开源,成为了Karpathy最新的一个“周末项目”。

Karpathy表示,这个项目所讲述的,正是人工智能自我迭代的未来,以及它是如何开始的。
这个项目的核心思想是:给一个AI Agent提供一个小规模但真实可用的LLM训练环境,然后让它夜间自主进行实验。
Agent会修改代码,训练模型5分钟,检查结果是否有所提升;如果性能更好就保留修改,否则就丢弃,然后继续重复这一过程。等到第二天早上醒来时,你会看到一整份实验记录,以及——在理想情况下——一个性能更好的模型。

图中的每一个点代表一次完整的LLM训练运行,每次运行严格持续5分钟。
训练代码是nanoc hat的简化版单GPU实现。
研究者不再像往常那样直接修改Python代码,而要编写的是program.md这样的Markdown文件,它们为AI Agent提供上下文,并用于搭建和配置一个自治运行的研究组织。
Karpathy开源的默认program.md被刻意保持为一个极简的基础版本;但人们可以在此基础之上不断迭代,逐步寻找能够实现最快研究进展的“研究组织代码”,或者在系统中加入更多Agent等。

一种新的研究范式正在形成:AI负责做实验,人类负责设计研究系统。
这也意味着,未来AI研究的竞争,可能不再只是模型和数据的竞争,而是“研究组织代码”的竞争。
系统的训练代码来自他此前开源的项目nanoc hat——一个极简的大模型训练框架。
nanoc hat是Andrej Karpathy开源的一套极简大模型训练工程,可以看作一个“可读版”的LLM全流程实现。整个项目用几千行代码串起了从Tokenizer训练、语言模型预训练、指令微调,到推理服务和聊天界面的完整管线,让开发者能够在一个仓库里看清现代ChatGPT类模型是如何一步步被训练出来的。

相比动辄数十万行代码的工业级大模型框架,nanoc hat的目标并非追求性能极限,而是通过高度简化的架构,把复杂的大模型系统压缩成一个清晰可理解的最小实现。也正因为结构轻量、实验成本低,nanoc hat逐渐成为许多研究者和工程师进行LLM教学、算法实验和自动化研究(AI-for-AI)的理想起点。
nanoc hat现在可以在单个8XH100节点上仅用2小时训练出具有GPT-2能力的模型(比一个月前减少了约3小时)。
相关攻略
近日,开源具身智能原生框架Dexbotic宣布正式支持以RLinf作为其分布式强化学习后端。对具身智能开发者而言,这不仅是一次普通的工程适配,更意味着VLA模型研发中长期存在的「SFT与RL割裂」问题,正在被真正打通。 这是一种典型的「乐高式协作」:双方不强行Fork、不粗暴揉合代码,而是保持清晰边
随着大模型参数规模不断增长,混合专家(Mixture-of-Experts, MoE)架构因其稀疏激活特性,成为平衡模型性能与计算开销的主流方案。然而,在实际的Web级应用部署中,一个关键挑战日益凸显:传统MoE的路由机制通常是“无记忆”的。 试想,在搜索引擎、智能问答或多轮对话等高并发场景下,用户
编程十年的一点分享 在软件开发的路上走过十几年,从一个爱好者到以此为业,有些体会或许值得聊聊,就当是抛砖引玉吧。 最早接触编程,是从BASIC和C语言开始的。工作后,随着需要,陆续学习了dBase、Access这类桌面数据库的开发。真正以开发为职业,可以说始于FoxPro 5 0,之后技术栈随着项目
引言 编程,是一门实践科学。这意味着,学习它的最佳方式就是动手去敲代码。但这是否意味着,我们可以因此轻视理论的学习呢? 入门编程 如果你去各大技术社区提问“该如何入门编程”,五花八门的答案会瞬间涌来。 不过,仔细梳理一下,无外乎以下几种流派: 学院派 他们推荐从C语言入手,并辅以数据结构、操作系统等
想象一下这个场景: 你让 AI Agent 帮你修一个代码 Bug。它打开项目,读了 20 个文件,改了改,跑了一下测试,没过,又改,又跑,还是没过……来回折腾了十几轮,终于——还是没修好。 你关掉电脑,松了口气。然后收到了 API 账单。 上面的数字可能让你倒吸一口凉气——AI Agent 自主修
热门专题
热门推荐
本文介绍了2026年主流的USDT交易软件,重点分析了币安、欧易和火币三大平台的特点与优势。内容涵盖平台安全性、交易功能、用户体验及费用结构,旨在为不同需求的用户提供选择参考。文中强调选择平台时应综合考虑资产安全、操作便捷性和交易成本,并提醒注意风险管理与合规操作。
本文介绍了USDT交易的基本概念与主流平台选择。USDT作为稳定币,其交易主要通过加密货币交易所进行。选择平台时需综合考虑安全性、流动性、手续费和用户体验。文中列举了当前市场认可度较高的几类交易平台,并提醒用户注意资产安全与合规操作,建议根据自身需求谨慎选择。
哥本哈根大学计算机科学系于2026年3月发布了一项具有里程碑意义的研究(论文编号arXiv:2603 12935v1),揭示了当前主流AI推荐系统可能潜藏的社会偏见风险。这项研究同时指出,一种高效且低成本的解决方案——提示工程,或许能成为破解这一难题的关键。 当您使用求职平台或新闻资讯应用时,背后的
照片模糊了、雨滴遮挡了画面、夜晚拍摄噪点过多……这些常见的图像质量问题,往往让人束手无策。传统的解决方案,就像请来一群专科医生:去模糊、去噪点、去雨滴,各有各的专长,但每个“医生”都需要海量的“临床经验”——动辄数百万张训练图片,才能达到可用的修复水平。 然而,一项由香港科技大学、哈尔滨工业大学深圳
这项由英属哥伦比亚大学(UBC)与Vector人工智能研究院联合主导的前沿研究,于2026年3月以预印本论文(arXiv:2603 12634v1)形式发布。研究团队创新性地提出了“预算感知价值树搜索”(Budget-Aware Value Tree Search,简称BA VT)框架,旨在攻克一个





