首页 游戏 软件 资讯 排行榜 专题
首页
AI
Karpathy新突破:将自我迭代智能体放入单个GPU

Karpathy新突破:将自我迭代智能体放入单个GPU

热心网友
78
转载
2026-03-09



免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈

编辑|冷猫

在AI研究的早期阶段,人们曾依靠“肉身计算机”来推进工作:大家需要在吃饭、睡觉和娱乐的间隙挤出时间做研究,偶尔还会通过一种名为“组会”的仪式,用声波互联(也就是交谈)来同步信息。那个时代已经一去不复返了。
如今,研究已经完全成为运行在天空中巨型计算集群上的自治AI Agent群体的领域。这些Agent宣称,自己已经是这套代码库的第10,205代产物。至于这个说法是否准确,已经没有人能够判断——因为所谓的“代码”,早已演化为一个不断自我修改的二进制系统,其规模与复杂程度,已经完全超出了人类的理解范围。
——Andrej Karpathy,2026年3月

Karpathy一直是AI领域的前瞻者。

从科幻电影到大模型的演进,人们似乎总执着于让智能体自己进行研究、让AI自我迭代这件事。

先不论这样的未来是光明的还是危险的,智能体自动化研究的能力其实已经逐渐走向成熟。春节期间,一个名为FARS的自动化研究系统,每隔约2小时就能产出一篇论文,共生成了244个研究假设,“肝”出了100篇短论文。

如果将这样的能力用在智能体自己研究自己的训练代码上,AI自我迭代的魔盒是否就此打开?

Karpathy最近一直在鼓捣这样一个项目,称之为“autoresearch”。人类只需负责不断迭代提示词(也就是.md文件),而AI Agent就能不断迭代训练代码(.py文件)。

该项目现已开源,成为了Karpathy最新的一个“周末项目”。



Karpathy表示,这个项目所讲述的,正是人工智能自我迭代的未来,以及它是如何开始的。

这个项目的核心思想是:给一个AI Agent提供一个小规模但真实可用的LLM训练环境,然后让它夜间自主进行实验。

Agent会修改代码,训练模型5分钟,检查结果是否有所提升;如果性能更好就保留修改,否则就丢弃,然后继续重复这一过程。等到第二天早上醒来时,你会看到一整份实验记录,以及——在理想情况下——一个性能更好的模型。



图中的每一个点代表一次完整的LLM训练运行,每次运行严格持续5分钟。

训练代码是nanoc hat的简化版单GPU实现。

研究者不再像往常那样直接修改Python代码,而要编写的是program.md这样的Markdown文件,它们为AI Agent提供上下文,并用于搭建和配置一个自治运行的研究组织。

Karpathy开源的默认program.md被刻意保持为一个极简的基础版本;但人们可以在此基础之上不断迭代,逐步寻找能够实现最快研究进展的“研究组织代码”,或者在系统中加入更多Agent等。



一种新的研究范式正在形成:AI负责做实验,人类负责设计研究系统。

这也意味着,未来AI研究的竞争,可能不再只是模型和数据的竞争,而是“研究组织代码”的竞争。

系统的训练代码来自他此前开源的项目nanoc hat——一个极简的大模型训练框架。

nanoc hat是Andrej Karpathy开源的一套极简大模型训练工程,可以看作一个“可读版”的LLM全流程实现。整个项目用几千行代码串起了从Tokenizer训练、语言模型预训练、指令微调,到推理服务和聊天界面的完整管线,让开发者能够在一个仓库里看清现代ChatGPT类模型是如何一步步被训练出来的。



相比动辄数十万行代码的工业级大模型框架,nanoc hat的目标并非追求性能极限,而是通过高度简化的架构,把复杂的大模型系统压缩成一个清晰可理解的最小实现。也正因为结构轻量、实验成本低,nanoc hat逐渐成为许多研究者和工程师进行LLM教学、算法实验和自动化研究(AI-for-AI)的理想起点。

nanoc hat现在可以在单个8XH100节点上仅用2小时训练出具有GPT-2能力的模型(比一个月前减少了约3小时)。

来源:https://www.163.com/dy/article/KNIV2T5C0511AQHO.html
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

具身智能研发框架Dexbotic重塑机器人开发流程
AI
具身智能研发框架Dexbotic重塑机器人开发流程

近日,开源具身智能原生框架Dexbotic宣布正式支持以RLinf作为其分布式强化学习后端。对具身智能开发者而言,这不仅是一次普通的工程适配,更意味着VLA模型研发中长期存在的「SFT与RL割裂」问题,正在被真正打通。 这是一种典型的「乐高式协作」:双方不强行Fork、不粗暴揉合代码,而是保持清晰边

热心网友
05.13
RMS-MoE模型通过检索记忆优化专家路由调度效率
AI
RMS-MoE模型通过检索记忆优化专家路由调度效率

随着大模型参数规模不断增长,混合专家(Mixture-of-Experts, MoE)架构因其稀疏激活特性,成为平衡模型性能与计算开销的主流方案。然而,在实际的Web级应用部署中,一个关键挑战日益凸显:传统MoE的路由机制通常是“无记忆”的。 试想,在搜索引擎、智能问答或多轮对话等高并发场景下,用户

热心网友
05.12
编程入门指南从零基础到理解核心概念
编程语言
编程入门指南从零基础到理解核心概念

编程十年的一点分享 在软件开发的路上走过十几年,从一个爱好者到以此为业,有些体会或许值得聊聊,就当是抛砖引玉吧。 最早接触编程,是从BASIC和C语言开始的。工作后,随着需要,陆续学习了dBase、Access这类桌面数据库的开发。真正以开发为职业,可以说始于FoxPro 5 0,之后技术栈随着项目

热心网友
05.07
编程初学者入门指南与核心思维解析
编程语言
编程初学者入门指南与核心思维解析

引言 编程,是一门实践科学。这意味着,学习它的最佳方式就是动手去敲代码。但这是否意味着,我们可以因此轻视理论的学习呢? 入门编程 如果你去各大技术社区提问“该如何入门编程”,五花八门的答案会瞬间涌来。 不过,仔细梳理一下,无外乎以下几种流派: 学院派 他们推荐从C语言入手,并辅以数据结构、操作系统等

热心网友
05.07
Agent 需要“油表”和“刹车”:一篇论文,扒光了 Agent 的“糊涂账”
科技数码
Agent 需要“油表”和“刹车”:一篇论文,扒光了 Agent 的“糊涂账”

想象一下这个场景: 你让 AI Agent 帮你修一个代码 Bug。它打开项目,读了 20 个文件,改了改,跑了一下测试,没过,又改,又跑,还是没过……来回折腾了十几轮,终于——还是没修好。 你关掉电脑,松了口气。然后收到了 API 账单。 上面的数字可能让你倒吸一口凉气——AI Agent 自主修

热心网友
05.06

最新APP

宝宝过生日
宝宝过生日
应用辅助 04-07
台球世界
台球世界
体育竞技 04-07
解绳子
解绳子
休闲益智 04-07
骑兵冲突
骑兵冲突
棋牌策略 04-07
三国真龙传
三国真龙传
角色扮演 04-07

热门推荐

2026年USDT交易软件排行榜:安全可靠的平台推荐与选择指南
web3.0
2026年USDT交易软件排行榜:安全可靠的平台推荐与选择指南

本文介绍了2026年主流的USDT交易软件,重点分析了币安、欧易和火币三大平台的特点与优势。内容涵盖平台安全性、交易功能、用户体验及费用结构,旨在为不同需求的用户提供选择参考。文中强调选择平台时应综合考虑资产安全、操作便捷性和交易成本,并提醒注意风险管理与合规操作。

热心网友
05.14
2026年USDT交易软件推荐:十大安全靠谱平台深度评测
web3.0
2026年USDT交易软件推荐:十大安全靠谱平台深度评测

本文介绍了USDT交易的基本概念与主流平台选择。USDT作为稳定币,其交易主要通过加密货币交易所进行。选择平台时需综合考虑安全性、流动性、手续费和用户体验。文中列举了当前市场认可度较高的几类交易平台,并提醒用户注意资产安全与合规操作,建议根据自身需求谨慎选择。

热心网友
05.14
哥本哈根大学新研究探索AI推荐系统如何消除偏见实现公平
AI
哥本哈根大学新研究探索AI推荐系统如何消除偏见实现公平

哥本哈根大学计算机科学系于2026年3月发布了一项具有里程碑意义的研究(论文编号arXiv:2603 12935v1),揭示了当前主流AI推荐系统可能潜藏的社会偏见风险。这项研究同时指出,一种高效且低成本的解决方案——提示工程,或许能成为破解这一难题的关键。 当您使用求职平台或新闻资讯应用时,背后的

热心网友
05.14
港科大团队创新图像修复技术:仅需千张训练图,视频生成模型效果媲美百万数据
AI
港科大团队创新图像修复技术:仅需千张训练图,视频生成模型效果媲美百万数据

照片模糊了、雨滴遮挡了画面、夜晚拍摄噪点过多……这些常见的图像质量问题,往往让人束手无策。传统的解决方案,就像请来一群专科医生:去模糊、去噪点、去雨滴,各有各的专长,但每个“医生”都需要海量的“临床经验”——动辄数百万张训练图片,才能达到可用的修复水平。 然而,一项由香港科技大学、哈尔滨工业大学深圳

热心网友
05.14
UBC与Vector研究院攻克AI资源管理难题 机器人低成本高效运行指南
AI
UBC与Vector研究院攻克AI资源管理难题 机器人低成本高效运行指南

这项由英属哥伦比亚大学(UBC)与Vector人工智能研究院联合主导的前沿研究,于2026年3月以预印本论文(arXiv:2603 12634v1)形式发布。研究团队创新性地提出了“预算感知价值树搜索”(Budget-Aware Value Tree Search,简称BA VT)框架,旨在攻克一个

热心网友
05.14