原PyTorch成员爆料:为何AI巨头坚持选择PyTorch开发大模型?
不知道你有没有留意到,当前与你对话的各类聊天机器人,背后几乎都由PyTorch提供核心支撑。可以说,它已然成为主流大语言模型研发链路中实际采用的标准框架。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈
编辑 | 云昭
出品 | 51CTO技术栈(微信号:blog51cto)
PyTorch已稳操胜券。
无论是国外的OpenAI与Anthropic,还是国内的智谱、阿里、月之暗面,这些顶尖企业发布的大模型或开源实现,都提供或倾向于选择PyTorch作为基础架构。
早在2020年,OpenAI就在最新声明中明确表示,将研究标准化平台定位在PyTorch之上,以此提升科研迭代效率。
图片
而从OpenAI出走的Anthropic,同样公开表明了对PyTorch框架的偏爱。其研究团队使用PyTorch定义、训练和推理其Transformer模型(涵盖Claude 1~3系列)。更令人惊讶的是,Claude甚至从未发布过TensorFlow版本,也未提供兼容的推理接口——其整个生态系统完全围绕PyTorch与CUDA构建。
图片
即便是拥有TensorFlow与JAX的谷歌,也毫不避讳地在最新文档中发布了Gemma模型运行于PyTorch的详细教程。
图片
国内各大模型领军企业同样紧随这一趋势。阿里的Qwen、智谱的ChatGLM、月之暗面的Kimi等,社区中几乎找不到对应的TensorFlow版本,最新的技术说明文档甚至不再提及TensorFlow。
图片
可以说,除了谷歌系模型(其最新产品采用JAX而非TensorFlow),几乎所有头部模型公司都已将PyTorch作为首选框架。而TensorFlow目前更多活跃于移动端、教材和教学视频领域。
那么,PyTorch究竟凭什么脱颖而出?
这个问题,相信每位使用过PyTorch的开发者心中都有各自的答案。
不过要深入探讨这个问题,由最早参与PyTorch开发的团队成员来解答再合适不过。
上周,在旧金山举行的PyTorch 2025年度大会上,PyTorch基金会技术顾问委员会主席Luca Antiga发表了关于PyTorch长远发展的重要观点。作为最早参与撰写PyTorch论文的团队成员之一,Luca还合著了《Deep Learning with PyTorch》这本经典著作。
接下来,让我们梳理一下Luca发言的核心内容。
面向研究者的“Pythonic”设计理念
拥有生物医学工程学术背景的Luca指出,PyTorch之所以能迅速流行,关键在于它对研究者极其友好。许多早期用户来自学术界的研究人员,后来他们进入工业界,也将PyTorch一同带入。
它非常符合Python语言风格。过去虽然很多框架号称使用Python,但实际上你需要编写一种‘元语言’,在代码和问题本身之间额外增加了一层隔阂,调试过程也更加困难。
而PyTorch在这方面具有革命性意义——它将Python的易用性、快速迭代能力,以及“先动手尝试”的理念精神,真正带入了神经网络、反向传播和GPU计算的世界。
从神经网络到生成式AI,PyTorch始终屹立潮头
PyTorch诞生之初,行业焦点仍在神经网络,主要用于图像识别或情感分析。直到ChatGPT的出现,生成式AI才让公众真正认识到人工智能的潜力。但Antiga认为,PyTorch从未“过时”。
无论经历多少次技术变革,你总能看见PyTorch的身影。
当然,还有像JAX这样的强劲对手。但相比之下,PyTorch已发展成整个产业的基石,支撑起整个生态系统。
如今,PyTorch不再仅是训练模型的工具,它也成为了模型推理阶段的核心组件。
看看当前最流行的推理框架——vLLM与SGLang,它们都在生产环境中使用PyTorch。
今天你与任何一个聊天机器人互动时,后台运行的很可能就是PyTorch。
强化学习让PyTorch再度领先
近期PyTorch人气再度攀升的另一个重要原因,在于强化学习的广泛应用。强化学习通过“奖励正确行为、纠正错误行为”的方式,来微调预训练的大语言模型,而PyTorch对这类任务表现出天然的契合度。
强化学习鼓励模型在面对环境时,做出能带来更大奖励的决策。
PyTorch的灵活性特别适合在这种动态、交互式的场景下使用。
PyTorch基金会的最新动向
至于PyTorch基金会本身,值得注意的是,几个月前它开始接纳更多项目,首先是vLLM与DeepSpeed。如今随着分布式计算框架Ray的加入,基金会旗下已有四个重要项目。
但Luca强调,基金会并不打算变成一个“巨型伞形组织”。
我最关心的是生态系统中的用户——当他们进入由PyTorch基金会“背书”的生态系统时,会经历怎样的历程?
我的目标是帮助他们成功。
个人最关注的AI突破方向:LLM微缩化
当大模型狂飙向前之际,哪些研究方向最值得关注?
Luca对此给出了明确的看法:当前的大型模型虽然可用,但结构过于臃肿,资源消耗巨大。
我们其实在做一件惊人的事:我们正在训练一种“类比机器”,一种不需要精确指令、能通过模式和类比自我推理的机器。
但我们现在的这台“飞行机器”,更像是靠一堆齿轮和螺旋桨驱动的庞然大物——能飞,却笨重不堪。真正的“飞行证明”其实来自鸟类。
人类大脑才是我们的“对照组”——我们大脑思考时消耗的能量极低,却能完成复杂的推理。
未来的突破方向,在于能否将LLM那种庞大结构“微缩化”,让模型能从头到尾学习,而不需要如此多的显存与能耗。
PS:这一点毫不夸张,现在就连个体开发者都能在代码工具上进行价值上万美元的优化。
“这让我非常着迷。我不确定PyTorch基金会是否会朝这个方向发展,但我个人对此充满热情。”
对于这个方向,Luca也正在身体力行地持续投入。作为Lightning AI的首席技术官,他带领团队打造了一个对PyTorch友好的训练推理平台,其中许多客户的核心诉求正是:优化每一份资源的使用效率。
因此,我们特别关注训练与推理的全链路优化——从GPU核心层到数据加载、任务调度与流式处理,每一个环节都可能成为瓶颈。
有时瓶颈在于数据加载,有时是计算没有充分并行,有时又是模型本身未经调优。
要真正优化性能,必须从端到端进行分析。
我们也希望帮助开发者提高算力利用率,让他们能够用其所长、尽其所用。
好了,文章到这里就告一段落。目前,PyTorch已成为全球AI模型事实上的“操作系统”。无论是研究者构建模型,还是企业部署模型,它都作为底层框架的当之无愧之选。
大家如何看待PyTorch的未来发展之路呢?
相关攻略
想抢在A家之前上市的OpenAI,刚一回头却发现:啊啊啊,家里着火了!!一边是高层出现剧烈人事动荡——COO转任特别项目,多位核心高管离职或休假;另一边,主导IPO的CEO与掌管钱袋子的CFO,却因
快科技4月6日消息,伊朗伊斯兰革命卫队(IRGC)近日通过发布最新视频,向美国发出了措辞强硬的报复警告,明确将OpenAI位于阿联酋阿布扎比、总投资300亿美元的星际之门(Stargate)AI数据
4月4日消息,今日,美国大模型头部公司Anthropic旗下AI 编程工具Claude Code负责人Boris Cherny发文称,美国西部时间4月4日中午12点起,Claude订阅服务将不再包含
OpenAI在激进扩张路线与财务审慎之间的内部张力正浮出水面。据The Information报道,首席执行官Sam Altman私下表示希望最早于今年第四季度完成IPO,而首席财务官Sarah F
4月3日消息,美国时间周四,微软旗下研究部门Microsoft AI宣布推出三款基础人工智能模型,全面覆盖文本、语音及图像生成领域。此举表明,微软在维持与OpenAI深度合作的同时,正持续构建自主的
热门专题
热门推荐
加密货币行业翘首以盼的监管里程碑,终于有了实质性进展。美国证券交易委员会(SEC)主席保罗·阿特金斯(Paul Atkins)近日证实,那份允许加密项目在早期获得注册豁免权的“安全港”框架提案,已经正式送抵白宫,进入了最终审查阶段。 在范德堡大学与区块链协会联合举办的数字资产峰会上,阿特金斯透露了这
微策略Strategy报告:第一季录得144 6亿美元浮亏 再斥资约3 3亿美元买进4871枚比特币 市场震荡的威力有多大?看看Strategy的最新季报就明白了。根据其最新向美国证管会(SEC)提交的8-K报告,受市场剧烈波动影响,这家公司所持的比特币在第一季度录得了一笔惊人的数字——144 6亿
稳定币巨头Tether的动向,向来是加密世界的风向标。这不,它向Web3基础设施的版图扩张,又迈出了关键一步。公司执行长Paolo Ardoino在社交平台X上透露,其工程团队正在全力“烹制”一个新项目——去中心化搜索引擎 “Hypersearch”。这个消息一出,立刻引发了行业的广泛猜想。 采用D
基地位于Coinbase旗下以太坊Layer2网络Base的Seamless Protocol,日前正式宣告了服务的终结。这个曾经吸引了超过20万用户的原生DeFi借贷协议,在运营不到三年后,终究没能跑赢时间。它主打的核心产品是Integrated Leverage Markets(ILMs)——一
PAAL代币揭秘:深度解析Web3社区治理的核心钥匙 在去中心化自治组织的浪潮中,谁真正掌握了项目的话语权?PAAL代币提供了一套系统化的答案。它不仅是生态内流转的价值媒介,更是开启链上治理大门的核心凭证。通过持有并质押PAAL代币,用户能够对协议升级、资金分配乃至战略方向等关键事务投出决定性的一票





