首页 游戏 软件 资讯 排行榜 专题
首页
AI
大模型告别记忆压缩:细节不失,GAM算法深度解析

大模型告别记忆压缩:细节不失,GAM算法深度解析

热心网友
73
转载
2025-11-28

GAM最核心的贡献在于对记忆本质的重新诠释。传统方法将记忆视为数据压缩,而GAM则提出记忆其实是动态的检索过程——就像人类回忆起某件事时,往往先进行模糊搜索,再进行细节联想。

传统AI记忆系统存在一个根本缺陷:为了节省存储空间,系统总是试图将冗长的思维链条和工具调用记录压缩成简短的摘要。这就像把一本百科全书压成便利贴,当你需要具体信息时,系统无法提供足够的细节支撑,因为关键内容都在压缩过程中丢失了。

北京通用人工智能研究院近期发表重要论文《通用智能体记忆与深度探索》,创新性地提出了GAM(通用智能记忆)框架,采用"即时编译"策略。该框架的核心逻辑是:搜索才是记忆的本质,预设存储的记忆只是为了支持检索过程。该系统同时维护两种数据:微型备忘录(约50词)和完整对话记录的搜索库。只有当AI需要回溯时,记忆检索组件才会启动搜索。这套机制就像一位档案管理员,能够根据当前需求动态重建上下文。

双组件设计

图片

GAM框架包含两大核心模块:

记忆编码器:将智能体的历史轨迹按每页2048个token进行分割,为每页生成轻量级摘要,同时完整保留原始信息。该流程参考BGE地标检索思路,为每个页面添加语义明确的标题,确保后续检索的准确性。

研究引擎:接收查询后执行三步循环——规划、检索、反思。系统配备三种检索工具:向量搜索处理语义相似性,BM25负责关键词匹配,ID访问则直接定位特定页面。默认最多进行3轮反思,每轮检索5个页面,系统会根据任务复杂度动态调整循环次数。

值得注意的是,研究引擎对模型规模变化更为敏感。当使用0.5B参数模型时,记忆编码器尚能保持48.83的F1分数,但研究引擎的表现就直接跌至9.08了。原因很直观:信息提取相对简单,而迭代规划推理则复杂得多。

实验数据

在文档问答测试中,该方法比长上下文提示准确率提升37%,比基础检索增强生成高出28%。

图片

具体数据进一步证实了该方法的有效性:

LoCoMo对话记忆测试:单跳任务F1从48.62%提升至57.75%,多跳推理从35%跃升至42% HotpotQA多跳问答:在448K token文档库中F1达到59.81%,而传统方法普遍低于50% RULER长本文理解:多跳追踪任务准确率93.2%,而RAG方法接近0%

其中最引人深思的发现是"上下文稀释"现象。即使使用128K窗口的长文本模型,面对大量干扰信息时性能仍然不佳。简单地扩展窗口容量并非根本解决方案。

工具组合效应

单独使用检索工具效果有限,但组合使用则威力倍增。BM25最稳定(F1=48.64%),向量搜索次之(32.31%),ID访问相对较弱(28.96%)。三者结合达成最佳性能。

图片

研究团队还验证了"测试时计算缩放"效应,即增加反思轮数和检索页面数都能持续提升性能。这是传统固定流程无法实现的弹性优势。

效率平衡

GAM处理1000页历史记录的平均响应时间为1.2秒。

详细性能表现: 56K文档:在线响应12.43秒 224K文档:16.65秒 448K文档:18.49秒

虽然比传统方法慢10-50倍,但准确率从20-30%提升至50-60%。这样的性价比完全值得。

图片

有学者指出,这种即时检索机制解决了AI工作流的调试难题。"决策路径比最终状态更重要"。不过也有观点认为,这不过是将人类档案管理的老办法用在了AI系统上。

小结

GAM框架的核心突破在于对记忆本质的重新定义。传统方法把记忆当作数据压缩,而GAM则认为记忆是动态搜索过程——就像人类回忆时先进行模糊检索,再逐步重建具体细节。

这套设计带来三大优势:保真度高(完整保留原始信息)、适应性强(按需定制上下文)、可优化(支持端到端强化学习)。

论文:https://arxiv.org/abs/2511.18423

来源:https://www.51cto.com/article/830608.html
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

大模型告别记忆压缩:细节不失,GAM算法深度解析
AI
大模型告别记忆压缩:细节不失,GAM算法深度解析

GAM的核心贡献是重新定义了记忆的本质。传统方法把记忆当数据压缩,GAM认为记忆是动态搜索过程,想象一下人类,也是一个粗略检索,再具体回想情节的过程。 传统AI记忆系统有个致命伤:为了节省空间,它们

热心网友
11.28
Levi退役:越南打野之神告别赛场,十冠传奇落幕
游戏资讯
Levi退役:越南打野之神告别赛场,十冠传奇落幕

最新消息,LCP官推宣布GAM打野选手Levi正式退役,而今天正好也是Levi的28岁的生日。“作为越南LOL电竞史上最成功的选手,Levi拥有10座冠军奖杯、5次世界

热心网友
11.20
G2险胜GAM晋级MSI正赛 越南战队再演
游戏资讯
G2险胜GAM晋级MSI正赛 越南战队再演"抗中奇侠"剧本未果

MSI败者组决赛,G2有惊无险击败GAM,拒绝被让二追三定在耻辱柱。此前GAM从未在BO5上击败过四大赛区的队伍,而第一次赢下四大赛区,还要追溯到S12的小组赛,击败TES。

热心网友
08.11
2025MSI战报:BLG 3-0横扫GAM晋级胜者组 北川首秀斩获MVP
游戏资讯
2025MSI战报:BLG 3-0横扫GAM晋级胜者组 北川首秀斩获MVP

BLG轻取GAM迎MSI开门红 LPL终结国际赛七连败2025年6月28日·温哥华——在今日结束的MSI入围赛中,LPL二号种子BLG以3-0

热心网友
08.11
2025MSI入围赛收视破纪录:G2对决GAM海外峰值110万创历史新高
游戏资讯
2025MSI入围赛收视破纪录:G2对决GAM海外峰值110万创历史新高

根据Esports Charts最新数据显示,G2与GAM在2025MSI入围赛的BO5对决海外峰值观众达110万,成为赛事首个突破百万观赛的场次。该数据超越同期其他电竞赛事(如C

热心网友
08.11

最新APP

宝宝过生日
宝宝过生日
应用辅助 04-07
台球世界
台球世界
体育竞技 04-07
解绳子
解绳子
休闲益智 04-07
骑兵冲突
骑兵冲突
棋牌策略 04-07
三国真龙传
三国真龙传
角色扮演 04-07

热门推荐

阿里钉钉文档全功能解析在线协同办公套件使用指南
AI
阿里钉钉文档全功能解析在线协同办公套件使用指南

钉钉文档官网 在探讨企业级协同办公解决方案时,钉钉文档无疑是备受瞩目的核心工具之一。作为阿里巴巴钉钉官方推出的旗舰级应用套件,它深度融合了在线文档编辑、智能表格、思维导图等多种高效创作工具。其核心优势在于与钉钉平台生态的无缝衔接,能够直接同步企业内部组织架构与通讯录,实现团队成员间的即时协作与信息流

热心网友
05.15
商汤小浣熊智能助手基于自研大语言模型
AI
商汤小浣熊智能助手基于自研大语言模型

在数字化转型浪潮中,高效、易用的数据分析工具已成为企业提升决策效率的关键。商汤科技推出的“办公小浣熊”智能助手,正是基于自研大语言模型打造的一款创新产品,旨在彻底降低数据分析的技术门槛。用户无需掌握编程知识或复杂操作,即可通过自然对话完成从数据查询、处理到可视化洞察的全流程,让数据价值触手可及。 办

热心网友
05.15
MiniMax新一代智能模型矩阵全面解析与应用指南
AI
MiniMax新一代智能模型矩阵全面解析与应用指南

在人工智能技术快速发展的今天,MiniMax作为一家专注于全栈自研的AI公司,正以其独特的技术路径和前瞻性的布局,在业界脱颖而出。公司致力于构建覆盖文本、图像、语音和视频的新一代多模态智能模型矩阵,这不仅体现了对核心底层技术自主权的深度掌控,也展现了对未来人机交互与内容生成形态的前瞻思考。 那么,M

热心网友
05.15
Apollo Credit Fund价格预测逻辑解析 ACRED未来走势与投资前景
web3.0
Apollo Credit Fund价格预测逻辑解析 ACRED未来走势与投资前景

ApolloCreditFund(ACRED)作为连接传统信贷与DeFi的桥梁,其价格受市场情绪、协议基本面及宏观环境影响。其价值逻辑根植于现实世界资产(RWA)的收益捕获与链上流动性释放。短期价格波动难以预测,但长期发展取决于信贷资产质量、协议安全性和市场采用度。投资者需关注其底层资产表现、代币经济模型及整个RWA赛道的发展趋势。

热心网友
05.15
智能客服机器人解决方案:AI客服系统提升企业服务效率
AI
智能客服机器人解决方案:AI客服系统提升企业服务效率

在数字化转型浪潮中,一套能够深度适配业务、彰显品牌特色的智能客服系统,已成为企业提升服务效率与用户体验的关键工具。然而,市场上许多解决方案往往模式固化,难以满足个性化需求。如何让AI客服不仅具备基础的自动化应答能力,更能承载独特的品牌文化与服务哲学?其核心在于系统是否支持深度的自定义与持续的AI训练

热心网友
05.15