Karpathy新突破：将自我迭代智能体放入单个GPU

首页

热心网友

转载

2026-03-09

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

编辑｜冷猫

在AI研究的早期阶段，人们曾依靠“肉身计算机”来推进工作：大家需要在吃饭、睡觉和娱乐的间隙挤出时间做研究，偶尔还会通过一种名为“组会”的仪式，用声波互联（也就是交谈）来同步信息。那个时代已经一去不复返了。
如今，研究已经完全成为运行在天空中巨型计算集群上的自治AI Agent群体的领域。这些Agent宣称，自己已经是这套代码库的第10,205代产物。至于这个说法是否准确，已经没有人能够判断——因为所谓的“代码”，早已演化为一个不断自我修改的二进制系统，其规模与复杂程度，已经完全超出了人类的理解范围。
——Andrej Karpathy，2026年3月

Karpathy一直是AI领域的前瞻者。

从科幻电影到大模型的演进，人们似乎总执着于让智能体自己进行研究、让AI自我迭代这件事。

先不论这样的未来是光明的还是危险的，智能体自动化研究的能力其实已经逐渐走向成熟。春节期间，一个名为FARS的自动化研究系统，每隔约2小时就能产出一篇论文，共生成了244个研究假设，“肝”出了100篇短论文。

如果将这样的能力用在智能体自己研究自己的训练代码上，AI自我迭代的魔盒是否就此打开？

Karpathy最近一直在鼓捣这样一个项目，称之为“autoresearch”。人类只需负责不断迭代提示词（也就是.md文件），而AI Agent就能不断迭代训练代码（.py文件）。

该项目现已开源，成为了Karpathy最新的一个“周末项目”。

Karpathy表示，这个项目所讲述的，正是人工智能自我迭代的未来，以及它是如何开始的。

这个项目的核心思想是：给一个AI Agent提供一个小规模但真实可用的LLM训练环境，然后让它夜间自主进行实验。

Agent会修改代码，训练模型5分钟，检查结果是否有所提升；如果性能更好就保留修改，否则就丢弃，然后继续重复这一过程。等到第二天早上醒来时，你会看到一整份实验记录，以及——在理想情况下——一个性能更好的模型。

图中的每一个点代表一次完整的LLM训练运行，每次运行严格持续5分钟。

训练代码是nanoc hat的简化版单GPU实现。

研究者不再像往常那样直接修改Python代码，而要编写的是program.md这样的Markdown文件，它们为AI Agent提供上下文，并用于搭建和配置一个自治运行的研究组织。

Karpathy开源的默认program.md被刻意保持为一个极简的基础版本；但人们可以在此基础之上不断迭代，逐步寻找能够实现最快研究进展的“研究组织代码”，或者在系统中加入更多Agent等。

一种新的研究范式正在形成：AI负责做实验，人类负责设计研究系统。

这也意味着，未来AI研究的竞争，可能不再只是模型和数据的竞争，而是“研究组织代码”的竞争。

系统的训练代码来自他此前开源的项目nanoc hat——一个极简的大模型训练框架。

nanoc hat是Andrej Karpathy开源的一套极简大模型训练工程，可以看作一个“可读版”的LLM全流程实现。整个项目用几千行代码串起了从Tokenizer训练、语言模型预训练、指令微调，到推理服务和聊天界面的完整管线，让开发者能够在一个仓库里看清现代ChatGPT类模型是如何一步步被训练出来的。

相比动辄数十万行代码的工业级大模型框架，nanoc hat的目标并非追求性能极限，而是通过高度简化的架构，把复杂的大模型系统压缩成一个清晰可理解的最小实现。也正因为结构轻量、实验成本低，nanoc hat逐渐成为许多研究者和工程师进行LLM教学、算法实验和自动化研究（AI-for-AI）的理想起点。

nanoc hat现在可以在单个8XH100节点上仅用2小时训练出具有GPT-2能力的模型（比一个月前减少了约3小时）。

来源:https://www.163.com/dy/article/KNIV2T5C0511AQHO.html

免责声明：游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。

上一篇：GPT-5杀入Excel，Claude击溃IBM！华尔街担忧AI颠覆行业格局下一篇：GAN之父Ian Goodfellow病愈回归，引领高效生成模型新突破