Andrej Karpathy开源项目爆火：8000行代码复现ChatGPT，仅需100美元成本
「这是我写过最疯狂的代码之一。」
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
本周一，AI 领域大神 Andrej Karpathy 发布了自己的最新开源项目，瞬间引来了整个社区的关注。
这个名为 nanoc h a t 的项目据说可以教你从零开始，以 100 美元的成本自建 ChatGPT。它覆盖 LLM 的训练和推理，只要跟着学就可以了解构建大模型的所有步骤了。
总共是 8000 行代码，在 GitHub 上放出不到 12 个小时，star 量就已经超过 4500：
GitHub 链接：https://github.com/karpathy/nanoc h a t
与 Karpathy 之前发布的 nanoGPT 仓库（只覆盖了预训练阶段）不同，nanoc h a t 是一个从零开始实现的、极简但完整的 ChatGPT 克隆版训练 / 推理全流程项目，所有内容都集中在一个依赖极少、结构干净的代码库中。
你只需要启动一台云 GPU 机器，运行一个脚本，大约 4 小时后就可以在 ChatGPT 风格的 Web 界面里和你自己的 LLM 聊天。
仓库大约8,000 行代码，但已经实现了以下全部功能：
使用全新的 Rust 实现训练分词器。
在 FineWeb 数据集上预训练 Transformer LLM，并在多个指标上评估 CORE 分数。
Mid-train 阶段训练 SmolTalk 的用户 - 助手对话、多选问答、工具使用等数据。
SFT 微调，并评估模型在世界知识类多选题（ARC-E/C、MMLU）、数学（GSM8K）、代码（HumanEval）上的表现。
可选：使用 GRPO 在 GSM8K 上进行 RL 强化训练。
高效推理引擎，支持 KV Cache、prefill/decode 推理、工具调用（轻量沙箱中的 Python 解释器），可通过 CLI 或 ChatGPT 风格 WebUI 交互。
自动生成 Markdown 评分报告卡，总结与游戏化展示整个训练过程。
麻 将Karpathy 表示，只花约 100 美元成本（8×H100 上 4 小时训练），你就能训练一个「能聊的」迷你 ChatGPT，可以写故事 / 诗歌、回答简单问题。大约 12 小时训练即可超过 GPT-2 的 CORE 指标。
如果进一步扩展到 1000 美元预算（训练 41.6 小时），模型连贯性会快速提升，能解决基础数学 / 代码任务，并通过一些多选测试。例如，一个 30 层深度、训练 24 小时的模型（相当于 GPT-3 Small 125M 的 FLOPs，约为 GPT-3 的 1/1000 规模）即可在 MMLU 拿到 40+ 分、ARC-Easy 70+ 分、GSM8K 20+ 分 等。
Karpathy 的目标是把一整套「强势基线」能力完整地打包进一个结构统一、可读性强、易于 hack、方便 fork 的仓库中。nanoc h a t 将会是 LLM101n 课程的压轴项目（课程仍在开发中）。
Karpathy 认为 nanoc h a t 也有潜力像 nanoGPT 一样，逐渐成长为一个 研究平台或标准基准。它现在还远未算完美，也没有特别调优或性能优化（他认为很接近了）。不过，整体框架已经成型，因而适合放到 GitHub 上，让社区协同迭代改进每个模块。
使用 WebUI 与价值 100 美元、耗时 4 小时的 nanoc h a t 进行的示例对话。
下图是 Karpathy 这次 100 美元快速训练（speedrun）示例在报告中产出的一些指标摘要。
这样看来，构建一个具备聊天功能的大模型是如此的简单且低成本，并且有了 Karpathy 成熟的开源代码支持，那我们创建一个属于自己的个人化的模型来辅助工作可行吗？
有网友提出了大家都会关心的问题：
但 Karpathy 却对这类应用破了一盆冷水，他认为这不是一个适合个性化目的的代码。
Karpathy 认为，应该把这个微型模型更多地看作是非常年幼的孩子，并没有那么强大的原始智能。如果你在自己的数据上微调 / 训练它，你可能会得到一些有趣的鹦鹉学舌效果，感觉像是你在风格上写作，但它会一团糟。
要实现个性化模型的效果，大致需要这样几个步骤：
准备原始数据
在此基础上进行大量的合成数据生成和重写（复杂、不明显、需要研究）
用这些数据去微调一个当前较强的开源大模型（比如 tinker ）
微调时还可能需要混入大量预训练数据，以避免模型丢失太多通用智能能力
麻 将可以说，要真正把这个方案跑得效果好，现在还是偏科研的事情。
更多详细技术介绍与分步构建示例请参阅以下链接：
https://github.com/karpathy/nanoc h a t/discussions/1
热门专题
热门推荐
加密货币行业翘首以盼的监管里程碑，终于有了实质性进展。美国证券交易委员会（SEC）主席保罗·阿特金斯（Paul Atkins）近日证实，那份允许加密项目在早期获得注册豁免权的“安全港”框架提案，已经正式送抵白宫，进入了最终审查阶段。 在范德堡大学与区块链协会联合举办的数字资产峰会上，阿特金斯透露了这
微策略Strategy报告：第一季录得144 6亿美元浮亏 再斥资约3 3亿美元买进4871枚比特币 市场震荡的威力有多大？看看Strategy的最新季报就明白了。根据其最新向美国证管会(SEC)提交的8-K报告，受市场剧烈波动影响，这家公司所持的比特币在第一季度录得了一笔惊人的数字——144 6亿
稳定币巨头Tether的动向，向来是加密世界的风向标。这不，它向Web3基础设施的版图扩张，又迈出了关键一步。公司执行长Paolo Ardoino在社交平台X上透露，其工程团队正在全力“烹制”一个新项目——去中心化搜索引擎 “Hypersearch”。这个消息一出，立刻引发了行业的广泛猜想。 采用D
基地位于Coinbase旗下以太坊Layer2网络Base的Seamless Protocol，日前正式宣告了服务的终结。这个曾经吸引了超过20万用户的原生DeFi借贷协议，在运营不到三年后，终究没能跑赢时间。它主打的核心产品是Integrated Leverage Markets（ILMs）——一
PAAL代币揭秘：深度解析Web3社区治理的核心钥匙 在去中心化自治组织的浪潮中，谁真正掌握了项目的话语权？PAAL代币提供了一套系统化的答案。它不仅是生态内流转的价值媒介，更是开启链上治理大门的核心凭证。通过持有并质押PAAL代币，用户能够对协议升级、资金分配乃至战略方向等关键事务投出决定性的一票