首页 游戏 软件 资讯 排行榜 专题
首页
AI
谷歌发布嵌套学习框架!AI像人脑温故知新,告别健忘实现过目不忘

谷歌发布嵌套学习框架!AI像人脑温故知新,告别健忘实现过目不忘

热心网友
42
转载
2025-11-11

11月10日消息,谷歌研究院于11月7日发布研究论文,针对AI模型在持续学习新知识时遭遇的"灾难性遗忘"难题,正式提出"嵌套学习"这一全新机器学习范式。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈

尽管当前大语言模型性能强大,但其知识获取仍受限于预训练数据集或有上限的上下文窗口。与人类大脑通过"神经可塑性"(指大脑能够根据经验、学习和环境变化来调整自身结构和功能的能力)持续掌握新技能同时保留旧知识的能力不同,现有模型难以实现类似的学习机制。

谷歌发布“嵌套学习”范式:让 AI 像人脑一样温故知新,从“健忘”到“过目不忘

若直接用新数据更新模型参数,往往会导致"灾难性遗忘"现象——模型在学习新任务后,原有任务的性能会出现显著衰退。为解决这一根本性挑战,谷歌研究院的科研团队提出了突破性的解决方案。

在 NeurIPS 2025 会议上发表的论文中,谷歌正式提出了"嵌套学习"框架。这一范式从理论层面统一了传统上被分开处理的模型架构与优化算法这两个核心概念。

该框架认为,一个复杂的机器学习模型本质上是一系列相互嵌套或并行的优化问题,每个子问题都有自己独立的"上下文流"和参数更新频率。这一创新视角揭示了全新的设计维度,使研究人员能够构建计算深度更深的AI组件,从而有效缓解灾难性遗忘问题。

基于嵌套学习框架,研究团队提出了两项具体的技术突破:

首先是"深度优化器"技术,通过将优化器本身也视为可学习模块,并改进其底层目标函数,使其对不完美的训练数据具备更强的鲁棒性。

其次是"连续体内存系统",它将模型的内存视为一个由多个不同更新频率的模块组成的光谱,从短期记忆平滑过渡到长期记忆,构建了更丰富、更高效的持续学习记忆体系。

为验证上述理论,研究团队设计并实现了一款名为"Hope"的概念验证模型。Hope 是一种基于 Titans 架构的自修正循环网络,深度集成了连续体内存系统,能够通过自我参照的过程优化自身记忆机制,从而实现近乎无限层级的上下文学习能力。

在一系列公开的语言建模和常识推理任务中,Hope 架构的困惑度更低,准确性显著优于现代循环模型和标准 Transformer 架构。

谷歌发布“嵌套学习”范式:让 AI 像人脑一样温故知新,从“健忘”到“过目不忘

谷歌发布“嵌套学习”范式:让 AI 像人脑一样温故知新,从“健忘”到“过目不忘

尤其在考察模型长文本记忆能力的"大海捞针"测试中,Hope 展现出卓越的记忆管理能力,证明连续体内存系统是处理超长信息序列的有效方案,为实现真正能"温故知新"的AI铺平了道路。

NIAH 是一种用于评估大型语言模型长文本理解和信息检索能力的基准测试,要求模型从极长的文本(草堆,Haystack)中精准地找出并回答一个特定信息点(针,Needle)。

参考文献

Introducing Nested Learning: A new ML paradigm for continual learning

Nested Learning: The Illusion of Deep Learning Architectures

来源:https://www.ithome.com/0/896/155.htm
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

谷歌 TurboQuant 算法遭质疑,中国博士后指其论文存在严重问题
业界动态
谷歌 TurboQuant 算法遭质疑,中国博士后指其论文存在严重问题

谷歌TurboQuant算法遭中国博士后质疑,论文争议点深度剖析 近日,AI模型压缩领域发生了一场引人关注的学术风波。事件的起因是谷歌研究院在3月25日重磅发布的全新极端压缩算法TurboQuant。该技术旨在破解大语言模型推理过程中的核心瓶颈——键值缓存(KV Cache)所导致的庞大内存占用问题

热心网友
04.01
OpenAI再上演资产大逃亡:别等ASI,模型已成流量诱饵
AI
OpenAI再上演资产大逃亡:别等ASI,模型已成流量诱饵

新智元报道编辑:倾倾【新智元导读】全世界都在等ASI降临,OpenAI却在年初悄悄上线广告位。9亿用户撑不起数百亿美元的算力账单,智力正在贬值,神仙也得下凡赚钱!2025年底,一份名为ChatGPT

热心网友
04.01
谷歌 Willow 量子处理器开放限量早期试用,加速商业化进程
业界动态
谷歌 Willow 量子处理器开放限量早期试用,加速商业化进程

谷歌Willow量子处理器启动限时早期访问,加速商业应用落地 近期,谷歌在量子计算领域的连续动作引发了业界广泛关注,其商业化节奏明显提速。从中性原子计算路径的探索,到后量子加密技术部署时间表的提前,一系列进展均显示出强烈的推进意图。而最新发布的 Willow 量子处理器限量早期访问计划,更被视为其从

热心网友
04.01
谷歌为 Pixel 10 等手机酝酿通勤模式:过滤通知、切换音频等
科技数码
谷歌为 Pixel 10 等手机酝酿通勤模式:过滤通知、切换音频等

谷歌 Pixel 手机将推“通勤模式”:智能优化公共交通出行体验 科技领域的最新动向显示,谷歌即将为其 Pixel 智能手机引入一项备受期待的新功能——“通勤模式”(Transit Mode)。该功能旨在深度优化用户在乘坐地铁、公交等公共交通工具时的手机使用体验,帮助乘客在嘈杂或拥挤的环境中更好地管

热心网友
04.01
谷歌翻译AI外语外教实测:每日学习督导机制详解
手机教程
谷歌翻译AI外语外教实测:每日学习督导机制详解

12 月 9 日消息,科技媒体 Android Authority 今天(12 月 9 日)发布博文,通过拆解谷歌翻译(Google Translate)安卓版 v9 29 安装包代码,发现了多项

热心网友
04.01

最新APP

火柴人传奇
火柴人传奇
动作冒险 04-01
街球艺术
街球艺术
体育竞技 04-01
飞行员模拟
飞行员模拟
休闲益智 04-01
史莱姆农场
史莱姆农场
休闲益智 04-01
绝区零
绝区零
角色扮演 04-01

热门推荐

《崩坏因缘精灵》卡芙卡介绍
游戏攻略
《崩坏因缘精灵》卡芙卡介绍

《崩坏因缘精灵》卡芙卡全解析:第十一真王与星河猎手之谜 卡芙卡是《崩坏因缘精灵》中极具神秘色彩的核心角色之一。关于她的背景与来历,官方设定至今仍保留了大量悬念。目前已知的关键信息是,她隶属于著名的“星河猎手”组织,并且其身份被明确标记为“第十一真王”——这也是游戏中首次正式引入“真王”这一顶级战力阶

热心网友
04.04
《崩坏因缘精灵》服装介绍
游戏攻略
《崩坏因缘精灵》服装介绍

《崩坏因缘精灵》全角色服饰深度解析:设计语言与细节彩蛋 游戏角色外观设计往往蕴含着丰富的叙事细节。作为系列主角之一,琪亚娜的精灵造型在视觉上进行了多层次的“传承”与创新。这套服装延续了作品标志性的设计元素,例如裤脚处精炼的五角星装饰,精准复刻了其战斗装甲的核心设计语言,成为唤醒老玩家共鸣的经典视觉符

热心网友
04.04
遗弃之地天书系统:升级顺序推荐及选择攻略
游戏攻略
遗弃之地天书系统:升级顺序推荐及选择攻略

遗弃之地天书升级攻略:最优顺序与高阶选择全解析 在《遗弃之地》中,天书系统是战力跃迁的核心模块。其种类丰富、功能多样,玩家需要根据当前关卡挑战与自身养成进度进行动态搭配。然而,拥有选择权仅是基础,掌握正确的升级优先级与资源投放策略,才是突破瓶颈、高效闯关的制胜法则。本指南将为你梳理一套经过实战验证的

热心网友
04.04
《红色沙漠》冰霜之翼披风获得方法介绍
游戏攻略
《红色沙漠》冰霜之翼披风获得方法介绍

《红色沙漠》冰霜之翼披风获取全攻略 在人气游戏《红色沙漠》中,冰霜之翼披风以其独特的造型与华丽特效,成为众多玩家梦寐以求的外观装备。想要成功入手这款高颜值披风,只需遵循明确的任务线并完成关键解谜即可。 红色沙漠冰霜之翼披风获取步骤详解 获取流程主要分为三个核心阶段。首先,玩家必须将游戏主线剧情推进至

热心网友
04.04
三国志战棋版蛮族入侵棋道会阵容选择指南
游戏攻略
三国志战棋版蛮族入侵棋道会阵容选择指南

三国志战棋版蛮族入侵赛季棋道会阵容搭配全攻略 随着光荣正版授权手游《三国志·战棋版》进入“蛮族入侵”赛季,其标志性的PVP竞技场“棋道会”迎来了玩法与规则上的革新。面对赛季更迭带来的挑战,许多玩家都在寻找适配当前环境的强势阵容。本文旨在深度解析新赛季棋道会的实战环境,为您精心推荐数套经过高强度对局验

热心网友
04.04