游乐游手机版
首页/科技数码/文章详情

清华姚班校友研究获谷歌AI赞赏,为大模型带来新突破

时间:2025-11-17 17:35
谷歌AI负责人Jeff Dean近日点赞了一项突破性研究,这项由清华姚班校友钟沛林团队主导的成果,为解决大语言模型长期存在的灾难性遗忘问题提供了全新思路。研究提出的Nested Learning(嵌

谷歌AI负责人Jeff Dean近日盛赞一项突破性研究,这项由清华姚班校友钟沛林主导的成果,为解决大语言模型长期存在的灾难性遗忘问题提供了全新视角。研究提出的Nested Learning(嵌套学习,简称NL)范式,通过模拟人类大脑的分层记忆机制,构建出具备动态学习能力的智能系统。

传统深度学习模型存在显著局限:预训练完成后难以吸收新知识,依赖固定参数和有限上下文窗口,无法像人类一样实现知识的动态积累。更严峻的是,单纯增加网络层数或模型规模已难以带来性能提升,反而可能导致训练效率下降和泛化能力不足。研究团队从人类大脑的记忆机制中汲取灵感,发现大脑通过在线巩固与离线巩固的协同作用,实现短期记忆快速更新与长期记忆缓慢沉淀的分层管理。

NL范式将这种生物机制数字化,构建出多层级的优化体系。每个层级配备独立的上下文流和更新频率,形成类似联想记忆的模块化结构:部分模块快速响应实时数据,另一些则沉淀长期规律。这种分层协作模式突破了Transformer架构的线性层限制——后者本质上是NL范式的简化版本,未能充分发挥多层级协同优势。研究团队开发的Hope模型基于此范式,在语言建模和长上下文记忆任务中全面超越主流模型,在Wiki文本困惑度、物理常识推理等指标上表现尤为突出。

该研究带来三大核心创新:深度优化器通过神经网络存储梯度规律,实现参数动态调整;自我修改模型突破固定更新规则,在训练中自主优化架构;连续记忆系统将传统二元记忆结构升级为多尺度记忆链,不同模块按频率更新,分别处理短期细节与长期规律。这些创新使Hope模型在760M至1.3B参数范围内,均展现出超越Transformer、RetNet等基线模型的性能。

这项研究的领军人物钟沛林,2016年毕业于清华姚班,2024年获得哥伦比亚大学计算机博士学位后加入谷歌纽约研究院。他的学术轨迹早有预兆:中学时期就以竞赛达人著称,深夜与全球选手同步编程解题,2012年代表雅礼中学夺得国际信息学奥利匹克竞赛金牌。与钟沛林同年获奖的还有三位中国选手,其中发小艾雨青受其影响走上竞赛道路,两人作为雅礼中学双子星保送清华姚班。

目前这对昔日搭档已先后入职meta,钟沛林担任AI科学家,艾雨青则从事软件工程开发。他们的职业轨迹折射出中国顶尖计算机人才在国际舞台的持续影响力,而NL范式的提出,更标志着深度学习领域正从参数堆砌转向认知机制探索的新阶段。

来源:https://www.itbear.com.cn/html/2025-11/1020426.html
上一篇DRAM价格飙升冲击低端手机市场,厂商计划减产应对 下一篇李彦宏百度世界大会:百度AI成果显著引领行业变革
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
理想新车布局预测:L9L与i9上半年发布
科技数码 · 2026-07-04

理想新车布局预测:L9L与i9上半年发布

1月23日消息,综合权威公开信息与行业趋势研判,理想汽车2026年度新车布局规划正式曝光。此番产品线布局,不仅持续深耕SUV市场,同时加速补齐全场景覆盖的拼图。 理想L9旗舰SUV 在增程动力领域,理想L系列将迎来一位新成员——L9L,预计2026年上半年正式上市,预估售价区间为45万至55万元。与

三星消息应用7月停用 部分旧设备可继续使用
科技数码 · 2026-07-04

三星消息应用7月停用 部分旧设备可继续使用

6月29日,多家海外媒体援引三星官方消息证实,三星消息(Samsung Messages)应用将于2026年7月正式终止服务。随着这个截止日期越来越近,依然在使用该应用的Galaxy用户需要尽快迁移到新的默认信息工具。其实过去两年里,三星一直在悄悄引导用户转向谷歌信息(Google Messages

吉利发布2030战略:年销650万辆全面迈向全球前五
科技数码 · 2026-07-04

吉利发布2030战略:年销650万辆全面迈向全球前五

1月22日,吉利控股集团在北京召开战略解析大会,正式发布“一个吉利,全面领先”的2030战略蓝图。战略目标清晰明确:到2030年,全球总销量(含乘用车与商用车)突破650万辆,稳居全球车企前五。其中,新能源车型占比预计达到75%左右,海外销量占比超过三分之一。尤为关键的是,依托全新全球化架构,单车型

OPPO Find X9系列旗舰手机累计销量突破250万部Ultra版超12万部
科技数码 · 2026-07-04

OPPO Find X9系列旗舰手机累计销量突破250万部Ultra版超12万部

OPPO Find X9 Ultra 旗舰机型 回顾产品发布背景:Find X9系列于2025年10月正式登场,作为OPPO年度旗舰产品线,涵盖标准版、Pro版与Ultra版三大版本。该系列的核心竞争力十分明确——影像系统与综合性能的双重显著提升。上市以来,凭借芯片算力、屏幕显示素质、续航表现以及影

IntelliJ IDEA 2025.3.2 版本正式发布
科技数码 · 2026-07-04

IntelliJ IDEA 2025.3.2 版本正式发布

IntelliJ IDEA 2025 3 2 版本现已正式发布。除了常规的漏洞修复与功能完善,本次更新有几个修复点值得格外关注——特别是如果你经常使用终端工具执行命令,或者正在采用远程开发工作流。终端工具窗口的闪烁问题终于得到彻底解决。此前在调用支持同步输出的命令行工具(例如 Claude Code