游乐游手机版
首页/AI教程/文章详情

算力悖论:理论正确算力可控,错误再多也徒劳

时间:2026-06-19 13:48
OpenAI前首席科学家IlyaSutskever指出,靠堆算力的Scaling时代已结束,算力悖论在于理论正确时算力可控,错误则空耗。现有模型泛化能力远逊人类,需回归真正研究。谷歌最新进展印证这一观点,预示产业竞争将转向“软硬一体”模式。
最近,OpenAI前首席科学家Ilya Sutskever为宣传其新创公司SSI,接受了一场深度访谈。尽管这显然是一场推广活动,但不可否认,这可能是过去半年里围绕人工智能产业最具洞见的公开对话。核心观点已在各大媒体广泛传播,但仍有必要深入剖析。 算力悖论:理论对了所需算力是可控的,理论错了再多算力也白搭 Ilya的观点直截了当:当前这一波人工智能热潮,方向存在根本性偏差。不是细枝末节的调整,而是底层逻辑的谬误。 他向所有忙于签署数十亿美元计算合同的实验室负责人泼了一盆冷水:那个依赖堆叠算力、拼凑规模的阶段,已经画上句号。未来要向前迈进,整个行业必须重新拾起被长期搁置的东西——真正的研究。 “我们活在一个公司远多于独创性想法的世界里。”这句话从Ilya口中说出,分量非同寻常。正是他参与打造的AlexNet与GPT-3,用十年时间证明了“规模至上”的逻辑。而今,这位scale的信徒却宣告此路不通。 核心要点如下: - 依赖算力堆砌、规模扩张的Scaling时代(2020-2025)已终结。 - 算力悖论:若理论正确,所需算力可控;若理论错误,再多算力也是徒劳。 - 现有方法无法催生真正的智能,问题根源在于模型的泛化能力远逊于人类,表明基础架构存在缺陷。 - 要突破大模型时代的首个平台期,产业竞争必须回归“真正的研究”。 通常,对一个人的理论观点往往见仁见智。但Ilya的见解尤其值得重视,因为谷歌在大模型领域的最新进展基本印证了他的判断:谷歌在各条技术栈上追平甚至超越OpenAI,表明理论正确时,不仅算力可控,算力模式也可控(从GPU到TPU)。这预示着谷歌在大模型理论研究上取得了三年来最重要的突破。可以预见,“软硬一体”的公司竞争模型已成为所有AI企业的必由之路。 这在很大程度上为2026年全年的AI产业竞争奠定了基调。在展开未来主线之前,不妨先复述这篇访谈的核心脉络。

01 Scaling的尽头

Ilya的论证起点颇具趣味性——他从语言说起。“Scaling”这个词逐渐成为整个行业的战略指南针。大家认为只要往计算和数据上砸钱,回报就是板上钉钉的事。预训练提供了一套清晰配方:按固定比例混合算力、数据和模型参数,性能就能稳定提升。 这种确定性吸引了海量投资。研究有风险,扩张只是花钱——当你动用数十亿美金时,这区别至关重要。 但配方终会过期。高质量训练数据接近枯竭,互联网文本几乎被刮尽。合成数据能提供一定帮助,但用Ilya的话说,收益递减的拐点已经到来。所有大实验室都面临同一个问题:当扩张曲线趋于平缓,接下来怎么办? 他的答案并不悦耳。现有路径“还能再走一段,但之后后劲不足。它会继续改进,但不会成为真正的智能。”行业想要的、能展现真正智能的系统,需要另一种方法。“而我们还没学会如何制造它们。” 换句话说,这并非抱怨“算力不够”,而是在质疑当前智能架构本身的缺陷。

02 泛化,那个老难题

Ilya理论的技术核心在于泛化能力。当前模型在基准测试中表现亮眼,但一遇到真实场景,便会以各种方式失败,暴露出底层缺陷。 他描述了一个用过代码助手的人都熟悉的场景:你遇到一个程序漏洞,让模型修复,它带着近乎表演的诚恳道歉,然后给你塞进一个完全不同的新漏洞。你指出这个新问题,最初的那个漏洞又原样返回。它似乎完全意识不到自己正陷入死循环。可同样是这个系统,在编程竞赛的排行榜上却能碾压人类。这不合逻辑。 他给出了两种解释。 第一种,强化学习训练出的是一种狭隘的专注,模型为了特定的奖励信号被过度优化,却丢失了更广泛的能力。第二种更棘手:研究者们会不自觉地“为考核而训练”。团队设计的强化学习环境,无形中受到他们将如何被评估的影响。等到基准测试与实际效用脱节时,往往为时已晚。 他用一个类比点明了关键:想象两个学编程的学生。一个花一万小时死磕竞赛编程,背熟了所有算法和证明技巧,成为这个特定领域的顶尖高手。另一个花一百小时学到还不错,就转而学别的去了。谁未来的发展更好?几乎总是那个通才。 现在的模型就像那个偏执的专才。在狭窄领域投入巨量强化学习,产出的都是基准测试冠军,却在相邻任务上步履蹒跚。 人类智能并非如此。我们用少得多的数据快速学习、广泛适应,在不同情境下保持一致性。 “这些模型的泛化能力,不知怎的就是比人差一大截,”Ilya说,“这太明显了,感觉是个非常根本的问题。” 他相信,理解可靠的泛化机制,是那个核心的未解之谜。其他问题,包括AI对齐,都由此衍生。价值学习之所以脆弱,是因为泛化本身脆弱;目标优化之所以失败,是因为泛化失败。修好底层机制,很多表面问题自会消解。

03 SSI的另类算法

对Ilya“研究优先”思路最直接的质疑是:SSI筹了30亿美元,可听说OpenAI一年光实验就要花50到60亿(这还不算推理成本)。小团队怎么拼? 他的算法挑战了行业的默认假设。在他看来,前沿实验室的开支被各种需求分散:推理基础设施吞掉巨额资本,产品工程、销售团队和功能开发又吃掉一大块研究预算,多模态研发再分走一杯羹。 “当你看看真正留给研究的还剩多少,差距就小得多了。” 历史似乎也站在他这边。AlexNet用两块GPU训练而成,最初的Transformer模型用的也是2017年水平的8到64块GPU。真正的范式突破研究,从来不需要最大的算力规模,它需要的是洞察力。 SSI的结构就体现了这个理念:没有产品,没有推理负载,不被任何事干扰研究重心。这家公司只为验证一个关于泛化的技术理论而存在。理论对了,验证所需的算力是可控的;理论错了,再多算力也白搭。 这是一场纯粹的战略豪赌。Ilya不是在说SSI会比谁花钱多,他是在赌,当范式转变时,思想比预算重要。

04 AGI,一个被高估的概念?

访谈中还埋着一个更激进的观点:人类本身也不是AGI。这话听着离谱,但细想之下有深意。 AGI这个概念,最初是为了区别于“窄AI”——那些下象棋、打游戏很强但无法举一反三的系统。AGI承诺的是反过来:一个什么都能同时干的系统。预训练强化了这个想法,因为更多的训练似乎均匀地提升了所有任务的能力,通用性好像真能通过规模实现。 但人类智能不这么工作。我们先掌握一些基础能力,然后通过经验学习具体技能。你妹妹可能花十小时就学会了开车,而一个医学生要花近十年才能成为合格的诊断医生。这些技能复杂度天差地别,却都来自同一套底层学习机器。知识是在与世界的持续互动中积累的,不是一次性前置灌输的。 这个新理解直接影响部署策略。如果超级智能是“无所不知的系统”,那你得在发布前把它完全造好。如果它是“能快速学会任何事的系统”,部署就变成了持续教育的过程。你要发布的是一个“超级智能的15岁少年,充满渴望,虽然现在懂得不多,但是个极好的学生”。

05 未来的模样

Ilya给出了具体预测:具备当前模型所缺乏的泛化能力的类人学习系统,将在5到20年内出现。这个时间范围体现的是“哪条路能走通”的不确定,而非“有没有解决方案”的怀疑。 他预测,随着AI能力越来越肉眼可见,行业行为会改变:激烈的对手会在安全上合作(OpenAI和Anthropic已经宣布联手),政府会更深地介入,当AI开始“让人感觉到它的强大”时,公司们会对安全“变得偏执得多”。 他个人倾向的对齐目标是:关心所有感知生命的AI,而不仅仅是人类。他的理由很务实:一个自己可能拥有感知能力的AI,去关心所有感知生命,会比只关心人类更自然。 他提到人类自己就有跨物种的共情——尽管进化主要筛选的是群体内合作。我们会为关于狗的电影流泪,踩到蚂蚁时至少偶尔会愧疚。Ilya推测,这是因为大脑使用同一套神经机制来理解他人和理解自己,效率至上,共情成了副产品。 这理论站得住脚吗?很难说。神经科学本身争议不断,从生物共情到机器对齐的跳跃,包含着太多可能在未来被证伪的假设。但Ilya在这些问题上挣扎思考的时间,比这个领域里几乎所有人都长,他抵达的结论,至今鲜有人跟随。

06 关于“品味”

访谈尾声,Patel问了一个可能决定AI未来走向的问题:什么是研究品味?Ilya合作完成的开创性论文,在深度学习领域可能无人能及,他如何嗅到那个值得追寻的想法? 他的回答透着美学追求。有希望的方向通常优美、简洁,并且从生物智能中获得了正确的灵感。人工神经元重要,是因为大脑里有无数神经元,而且它们感觉是根基;从经验中学习重要,是因为大脑显然就是这么做的。一个方法如果显得“丑陋”,那通常预示着问题。 但光靠美感撑不过一次次失败。实验总会不断推翻看似完美的想法,漏洞总藏在代码里。怎么知道是该继续调试,还是该放弃方向? “是靠那种自上而下的信念,”Ilya解释,“你可以认定,事情必须是这个样子的。类似的东西一定得行,所以我们必须坚持下去。” 这是一种研究者的信仰,是任何规模的算力都无法替代的。是对“某些路径必然有效”的强烈信念,强到足以支撑你穿越所有反面证据,直到找到那个漏洞,或打磨好那个理论。规模扩张曾经为这种信仰提供了替代品——当任何方法只要放大规模就能改进时,你无需对特定方向有如此强烈的信念。 如果Ilya关于规模扩张已达极限的判断是对的,那么这个替代品就消失了。剩下的,将是2020年以前我们所熟知的研究本身:充满不确定性,由想法驱动,并且依赖那种花钱买不来的品味。
来源:https://www.aiagiai.com/15333.html
上一篇ChatGPT三周年:企业高管战略建议 下一篇DeepSeek新模型追平谷歌最强,挑战GPT-5
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
ControlNet Mac电脑的详细完整安装教程:Apple Silicon与Intel配置步骤详解
AI教程 · 2026-07-05

ControlNet Mac电脑的详细完整安装教程:Apple Silicon与Intel配置步骤详解

ControlNet是常用AI绘画控制插件,macOS安装需区分AppleSilicon与Intel环境,重点处理Python、WebUI、插件目录、模型文件和启动参数,配置前应做好备份并关注版本兼容。

Krita AI Diffusion 新手入门从下载安装到首次运行保姆级教程
AI教程 · 2026-07-05

Krita AI Diffusion 新手入门从下载安装到首次运行保姆级教程

KritaAIDiffusion适合在Krita中完成文生图、图生图和局部重绘。安装重点是确认Krita版本、导入插件、配置本地或远程后端、下载模型,并在首次运行前检查显存、路径和权限。

Krita AI Diffusion安装失败?常见报错日志排查与升级回滚方案
AI教程 · 2026-07-05

Krita AI Diffusion安装失败?常见报错日志排查与升级回滚方案

KritaAIDiffusion安装异常多与版本不匹配、压缩包结构错误、Python插件未启用、后台服务或模型下载失败有关。可通过日志定位原因,按步骤重装、升级或回滚,避免覆盖配置和模型文件。

Krita AI Diffusion插件安装全流程教程:浏览器、编辑器、扩展市场
AI教程 · 2026-07-05

Krita AI Diffusion插件安装全流程教程:浏览器、编辑器、扩展市场

KritaAIDiffusion可将生成式绘图能力接入Krita,适合草图细化、局部重绘和风格探索。安装需确认版本、下载插件、配置后端服务与模型路径,并注意显卡资源、来源安全和版权合规。

Krita AI Diffusion API密钥配置教程:账号注册、密钥获取与国内网络设置
AI教程 · 2026-07-05

Krita AI Diffusion API密钥配置教程:账号注册、密钥获取与国内网络设置

KritaAIDiffusion配置重点在于确认插件版本、完成服务账号注册、创建并保存APIKey,再结合本地代理、证书、下载源与连接测试解决国内网络不稳定问题,避免密钥泄露和误用。