首页 游戏 软件 资讯 排行榜 专题
首页
AI
OpenAI人才揭秘:本科生凭一篇博客加入,无需博士与论文

OpenAI人才揭秘:本科生凭一篇博客加入,无需博士与论文

热心网友
17
转载
2026-02-23


免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈

新智元报道

编辑:Aeneas

【新智元导读】他没博士、没论文,却靠公开改进论文和跑基准测试,直接打动大佬、入职OpenAI!Noam Brown亲证:行动力和开源项目,才是逆袭顶级AI实验室的真正通行证。

就在今天,OpenAI传奇研究员 、德扑AI之父Noam Brown的一篇文章被刷屏了。

没有博士学位,没有研究背景,是否有可能在顶尖AI实验室找到工作?

这听起来像天方夜谭,但这个世界上奇妙的地方就在于,这样的例子还真不少。

比如,一个叫Keller Jordan的小哥,仅仅凭借一篇开源博客,就成功入职OpenAI,成为一名机器学习研究员!


是的,他没有写论文,而是将完整的研究过程、代码和实验结果在GitHub上完全开源。

最后Noam Brown总结道:虽然如今开放研究的空间比以前小了,但是在已有论文的基础上做改进,依然是一个向实验室研究员证明自己能力的绝佳方式!


这种做法,也会让对方更有信心,为你争取到一次面试机会。

从AI审核做起,走向人生巅峰

2020年,Keller毕业于UCSD,获得数学和计算机的双学士学位。

毕业时,他从未发表过任何一篇论文。

第一份工作, 是在一家人工智能内容审核初创公司。


有一天,他看到谷歌研究大牛Behnam最近发表的一篇论文,想到了一个改进思路,于是给Behnam发了一封邮件。

Behnam看到邮件后,同意指导这个年轻人。在没有人脉、没有背景的情况下,小哥就这样和大佬搭上了线。

更神奇的来了,这段合作,最终促成了一篇ICLR论文。

再后来,Keller的一项表现亮眼的工作「NanoGPT speed run」,直接改变了全新的研究范式,这不仅让特斯拉AI负责人Karpathy称赞不已,还引起了OpenAI的注意。

这不是一篇传统意义上的论文,却成为Keller命运的转折点。

因为他所有的工作都有完整记录,而且成果可量化、进展清晰,所以,OpenAI毫不犹豫地向他伸出了橄榄枝。

让Karpathy直呼「干得漂亮」

NanoGPT是Karpathy开源的一个项目,是一个极简的轻量级GPT训练和微调框架。

而Keller喜欢干的一件事,就是不断刷新NanoGPT的训练速度。为此,他不断尝试新的方法。

在2024年10月,他跑出了一个成果,将训练Transformer模型的token效率提高了3.8倍!


这也让他直接赢得Karpathy的盛赞。

NanoGPT speedrun的目标听起来非常简单:在固定模型规模(124M Transformer)和固定验证集损失目标(3.28 val loss)的前提下,用尽可能少的token、尽可能短的时间完成训练。

Keller所做的,就是基于Karpathy的nanoGPT/llm.c PyTorch训练代码,将其改造为一个可复现、可量化、可对比的基准。

最终,他让Token效率提升了3.8倍,而且从原本约10B tokens降低到2.7B tokens,即可达到目标loss。


这意味着,这个改进可以被严格验证,是一个硬指标。

让实验便宜到「人人能参与」

而且,Keller还非常有独创性。

与很多动辄需要数十万、上百万算力成本的训练不同,他在设计这个speedrun时,有一个非常明确的原则:让尝试新想法的成本足够低。

为此,他刻意做了几件事,比如让代码压缩到极简,只有537行;在8×H100的全新环境下,让安装和运行的时间仅为20分钟;甚至单次的尝试成本,低至8美元。

即使在今天的AI研究环境中,这也是一个极其罕见的设计选择。

这就意味着,从此不是只有大实验室才能参与,所有个人研究者、学生、独立工程师都能快速验证想法,创新不会再被算力门槛挡住。

被OpenAI注意到

就这样,NanoGPT speedrun成为了Keller逆袭之路上的关键一环。

一切都表明,这个成果非常硬:代码、日志、实验都完全可复现;在指标上,完全无法作弊;甚至,还有开发社区的真实参与。

甚至连验证方式都被设计得极其严谨:每一次speedrun的log文件中,都会包含完整代码副本。

任何人想复现一个新纪录,只需调用log文件即可。

Muon横空出世

而接下来,整件事情发展到了高潮。

在2024年底,他设计的神经网络隐藏层的优化器Muon横空出世,直接凭卓越性能刷新了NanoGPT和CIFAR-10训练速度的世界纪录!


Muon,是一种为神经网络2D参数隐藏层设计的优化器。它的核心思想是,SGD-动量法(SGD-momentum)生成的更新矩阵,通过Newton-Schulz迭代进行正交化处理,生成接近于半正交矩阵的更新,从而提升训练效率。

它的实现简单高效,支持在bf16精度下稳定运行,显著降低了计算开销。


比起AdamW优化器,Muon在多个任务中,表现非常惊艳。

虽然AdamW能让GPT、LLaMA、Qwen学得又稳又快,但随着模型参数从几亿增加到几千亿,训练时间从几天变成几周甚至几个月,AdamW的局限性开始显现。

虽然还未成为主流通用优化器,但Muon的出现表明,它很可能是AI模型训练领域的一次重大基础创新。

入职OpenAI

Muon在开发者社区的影响力越来越大,也就在同时,Keller于2024年12月,正式加入OpenAI。


有趣的是,Keller在2月份表示,虽然Muon火了,也帮他进入了OpenAI,但是他不会给Muon写一篇论文。

在他看来,与其在arXiv发一篇大概率被「淹没」的论文,还不如继续老老实实地研究自己的优化器。

毕竟在他看来,大多数优化器论文都是虚假的水文。


这些人,都成功逆袭大公司

此外,Noam Brown还列举了其他成功的案例。

比如被谷歌DeepMind发掘的Sholto Douglas。


他在X上十分低调,从未以一作身份发表过任何引人注目的论文,入行时间也只有一年半,然而,他却是Gemini成功的背后关键人物。


还在麦肯锡工作时,Sholto就逐渐确信AI会迎来爆发,于是开始在业余时间做自己的项目,还在Jax的GitHub上提出不少有洞见的问题。

这些表现打动了James Bradbury,最终被邀请到谷歌DeepMind去面试。

Andy Jones是一位半退休的量化分析师,在测试时计算还没火起来之前,他就写了一篇论文,毕竟了比较了扩大预训练规模和扩大测试时计算量的影响。


这篇论文让人印象极其深刻,并是因为刷新了某个基准,而是做出了非常聪明的设计选择,自己编写了GPU加速的环境,并且进行了严谨细致的消融实验。

最终,Andy Jones入职Anthropic。


参考资料:

https://x.com/polynoamial/status/2014084431062114744

https://x.com/polynoamial/status/2014084432685326485

https://x.com/polynoamial/status/2014084509575291163


来源:https://www.163.com/dy/article/KMFUI10C0511ABV6.html
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

中国科协:2026年NeurIPS会议资助调整与学者参会指引
科技数码
中国科协:2026年NeurIPS会议资助调整与学者参会指引

中国科学技术协会2026年3月31日发布告示:中国科协曾于2026年3月27日就2026年NeurIPS会议发表声明,本意是尽力维护我国关涉学者正当利益,其措施原则是清晰、适当的,没有发生变化。现就

热心网友
03.31
康奈尔大学将离开全球最大论文预印本平台arXiv
科技数码
康奈尔大学将离开全球最大论文预印本平台arXiv

Cornell University 图源:wikipedia撰文|张天如果有一天,全球科研人员突然无法访问arXiv,许多领域的研究节奏可能会被打乱。每天清晨刷新论文列表,已经成为部分数学家、物理

热心网友
03.31
中国科协重申新冠病毒源头结论:持续科学调查未发现变异
科技数码
中国科协重申新冠病毒源头结论:持续科学调查未发现变异

据微信公众号“中国科协之声”消息,3月31日,中国科学技术协会发布告示: 中国科协曾于2026年3月27日就2026年NeurIPS会议发表声明,本意是尽力维护我国关涉学者正当利益,其措施原则是清

热心网友
03.31
吴文俊人工智能奖出炉:阿里达摩院获唯一特等奖
科技数码
吴文俊人工智能奖出炉:阿里达摩院获唯一特等奖

今日,阿里达摩院发文称,近日,中国人工智能学会颁发了“吴文俊人工智能科学技术奖”,阿里巴巴达摩院参与完成的重大科技项目“深度自然语言理解和生成关键技术与应用”,获得唯一的科技进步奖特等奖。据介绍,该

热心网友
03.31
NeurIPS紧急致歉背后,AI安全风险更值得警惕
科技数码
NeurIPS紧急致歉背后,AI安全风险更值得警惕

【文 观察者网 心智观察所】 最近,NeurIPS——人工智能领域最具影响力的学术会议之一——在2026年征稿规则中新增了一项条款:凡被美国财政部海外资产控制办公室(OFAC)列入制裁名单的机构,

热心网友
03.31

最新APP

火柴人传奇
火柴人传奇
动作冒险 04-01
街球艺术
街球艺术
体育竞技 04-01
飞行员模拟
飞行员模拟
休闲益智 04-01
史莱姆农场
史莱姆农场
休闲益智 04-01
绝区零
绝区零
角色扮演 04-01

热门推荐

百度网盘app如何切换企业版-百度网盘app切换企业版的具体操作方法介绍
手机教程
百度网盘app如何切换企业版-百度网盘app切换企业版的具体操作方法介绍

百度网盘个人版如何转企业版?完整切换步骤详细指南 当个人网盘难以满足团队文件共享与协作需求时,百度网盘提供的企业版无疑是高效解决方案。本文将为你详细解析如何直接在百度网盘App内,将个人账户一键切换至功能更强大的企业版,快速开启团队文件管理新模式。 第一步:进入个人中心页面 首先,请确保已安装并打开

热心网友
04.02
AI+eSIM落地 中国联通5G AI CPE巴展重磅亮相
科技数码
AI+eSIM落地 中国联通5G AI CPE巴展重磅亮相

“AI+eSIM”云智终端方案正式商用,首批合作项目5G AI CPE成功落地 在MWC 2026世界移动通信大会上,产业合作迎来重大进展。由全球移动通信系统协会(GSMA)与中国联通共同倡导的“‘AI+eSIM’云智终端合作联通方案”正式对外发布,并迅速完成首个商业化项目签约。中国联通联合通则康威

热心网友
04.02
洛克王国世界水泡壳如何搭配技能-洛克王国世界水泡壳技能搭配方法
游戏资讯
洛克王国世界水泡壳如何搭配技能-洛克王国世界水泡壳技能搭配方法

洛克王国世界水泡壳技能搭配完全指南:打造攻防一体的战术核心 世界水泡壳的技能池设计充满了战术深度,完美诠释了攻防一体的战斗哲学。无论是纯粹依靠威力压制对手的技能,还是具备控制、辅助等战略功能的技能,都能在其技能库中找到。掌握其技能搭配的核心思路,是让世界水泡壳在对战中发挥出全部潜力的关键,能够轻松取

热心网友
04.02
现货比特币(BTC)ETF当周吸金14.2亿美元,创10月初以来最强劲一周
web3.0
现货比特币(BTC)ETF当周吸金14.2亿美元,创10月初以来最强劲一周

现货比特币ETF单周吸金14 2亿美元,强势回归背后的市场信号 加密货币市场正迎来关键转折点。近期数据显示,现货比特币ETF资金流入呈现爆发式增长,成为近期最受关注的市场风向标。这不仅反映了机构资金的重新布局,更可能预示着市场供需结构的深层变化。 数据解读:创纪录的资金流入意味着什么? 根据专业追踪

热心网友
04.02
燕云十六声河西竹篮打水奇遇怎么做-燕云十六声河西竹篮打水奇遇的做法介绍
游戏资讯
燕云十六声河西竹篮打水奇遇怎么做-燕云十六声河西竹篮打水奇遇的做法介绍

河西竹篮打水奇遇触发地点指南 想要成功触发《燕云十六声》中颇具趣味的“竹篮打水”奇遇,玩家需要首先前往河西地图的特定区域进行探索。该触发点位置较为隐蔽,建议在河西沿岸的村落与水边场景多番巡视。当你接近正确位置时,可以留意游戏内的环境暗示,例如独特的视觉标识、背景音效的变化或氛围的微妙转变,这些都是系

热心网友
04.02