卡帕西开源NanoChat：百元4小时训练，12小时性能超GPT-2
与卡帕西早期开发的纯预训练模型nanoGPT不同，此次发布的nanoChat构建了包含全栈训练与推理流程的完整体系。该项目通过精简直观的代码库（仅8304行代码），整合了从数据预处理到强化学习的全流程解决方案，其架构设计融合了Meta Llama的简洁结构与modded-nanoGPT的改进方案。开发者仅需启动云GPU实例并运行单个脚本，最快4小时即可完成基础模型训练。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
实验数据显示，该系统在成本控制方面表现突出。卡帕西透露，完成指令微调阶段的训练仅需3小时51分钟，总成本92.4美元（约合人民币657.4元）。当训练时长延长至12小时后，模型在CORE评估指标上的表现已超越GPT-2；若将投入提升至1000美元（约合人民币7114.7元）进行41.6小时训练，系统可解决基础数学与编程问题，并通过选择题测试验证。
技术实现层面，项目包含七大核心功能：采用Rust语言重写的训练分词器、基于FineWeb数据集的预训练机制、多阶段中期训练（含用户对话数据与工具使用数据）、指令微调与多基准评估、可选的GRPO强化学习算法、带KV缓存的高效推理引擎，以及自动生成的Markdown评估报告。其中，推理引擎支持Python解释器工具调用，可通过命令行或网页界面进行交互操作。
性能测试表明，深度为30的模型训练24小时后（计算量相当于GPT-3的千分之一），在MMLU语言理解基准取得超40分，ARC-Easy常识推理突破70分，GSM8K数学测试达20分以上。卡帕西展示的对话案例显示，基础版系统已具备撰写诗歌、回答常识问题的能力。
开源社区对该项目反响热烈。网友不仅称赞其"极具启发性"，更有人制作出可交互的实时代码图谱，帮助开发者直观探索代码结构。有评论指出，这种高效开发模式为AI技术普及开辟了新路径——在适当架构设计下，百美元级成本实现基础对话功能已成为技术现实。
尽管当前版本与商用大模型存在性能差距，但其展现的性价比优势已引发行业关注。随着开源社区持续优化，这种轻量化开发模式或将催生教育、客服等领域的新应用场景。
热门专题
热门推荐
加密货币行业翘首以盼的监管里程碑，终于有了实质性进展。美国证券交易委员会（SEC）主席保罗·阿特金斯（Paul Atkins）近日证实，那份允许加密项目在早期获得注册豁免权的“安全港”框架提案，已经正式送抵白宫，进入了最终审查阶段。 在范德堡大学与区块链协会联合举办的数字资产峰会上，阿特金斯透露了这
微策略Strategy报告：第一季录得144 6亿美元浮亏 再斥资约3 3亿美元买进4871枚比特币 市场震荡的威力有多大？看看Strategy的最新季报就明白了。根据其最新向美国证管会(SEC)提交的8-K报告，受市场剧烈波动影响，这家公司所持的比特币在第一季度录得了一笔惊人的数字——144 6亿
稳定币巨头Tether的动向，向来是加密世界的风向标。这不，它向Web3基础设施的版图扩张，又迈出了关键一步。公司执行长Paolo Ardoino在社交平台X上透露，其工程团队正在全力“烹制”一个新项目——去中心化搜索引擎 “Hypersearch”。这个消息一出，立刻引发了行业的广泛猜想。 采用D
基地位于Coinbase旗下以太坊Layer2网络Base的Seamless Protocol，日前正式宣告了服务的终结。这个曾经吸引了超过20万用户的原生DeFi借贷协议，在运营不到三年后，终究没能跑赢时间。它主打的核心产品是Integrated Leverage Markets（ILMs）——一
PAAL代币揭秘：深度解析Web3社区治理的核心钥匙 在去中心化自治组织的浪潮中，谁真正掌握了项目的话语权？PAAL代币提供了一套系统化的答案。它不仅是生态内流转的价值媒介，更是开启链上治理大门的核心凭证。通过持有并质押PAAL代币，用户能够对协议升级、资金分配乃至战略方向等关键事务投出决定性的一票