MIT新研究:零改动架构解锁大模型的千万级上下文能力
无论大模型声称自己的上下文窗口有多大,它们处理超长文本时,都会遇到文本越长,对早期信息的记忆越模糊,推理性能直线下滑的问题。这就好比我们读百万字小说,读到后半段,早就忘了前半段的关键情节。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈
让大模型轻松处理比自身上下文窗口长两个数量级的超长文本!
MIT CSAIL研究团队提出了一种叫做递归语言模型RLM的长文本处理新方法,来解决上下文腐化问题。
不修改模型架构、不升级模块设计,但能让GPT-5、Qwen-3这类顶尖模型推理层具备千万级token的超长文本处理能力。

核心思路是不把提示词直接塞进大模型的上下文窗口,而是把它“外包”给可交互的Python环境,让模型主动通过自动编程和递归调用拆解任务、按需处理。
啊?大模型读上下文也能递归操作?
上下文窗口不够,仍能推理
先说说上下文腐化这个扎心的问题。
无论大模型声称自己的上下文窗口有多大,它们处理超长文本时,都会遇到文本越长,对早期信息的记忆越模糊,推理性能直线下滑的问题。
这就像我们读百万字小说,读到后半段,早就忘了前半段的关键情节。
现在主流的解决办法有上下文压缩、检索增强生成RAG,或者对模型进行架构级优化。
比如,GPT-5.2-Codex采用的就是窗口内的原生上下文压缩技术,在持续数周的大型代码仓库协作任务中保持全上下文信息。
同时,GPT系列、Claude、Qwen等企业级版本原生集成RAG功能也是行业共识。
而架构级优化的例子,有社区普遍猜测的Gemini 3的环形注意力等。
现在的RLM和这些直接在模型上“硬碰”的方法不同,它把上下文处理给“外包”了。
图片
RLM给模型搭了一个可交互的Python编程环境REPL。
开始处理上下文前,它先启动Python REPL交互式编程环境,将超长提示词作为字符串变量存入环境;
接着模型像程序员一样编写代码,对文本变量进行关键词筛选、局部探查、逻辑拆分等操作,通过「编写代码-观察结果」的交互循环减少无效信息摄入;
随后模型将复杂任务拆解为若干子任务,递归调用自身或轻量化子模型处理拆分后的文本片段,所有子任务输出均存储为新变量回流到REPL环境;
最后主模型编写代码读取并整合所有子任务结果变量,进行逻辑拼接或语义处理,形成最终输出。
全程由模型自主决策,实现按需处理,彻底解耦输入文本长度与模型上下文窗口的绑定。
实验显示,RLM有效处理规模已突破千万级Token,超过GPT-5等前沿模型原生上下文窗口的两个数量级。
在复杂长文本任务中,RLM的优势也比较显著。面对要求聚合成对信息、复杂度呈二次方增长的OOLONG-Pairs任务,基础GPT-5和Qwen3-Coder的 F1分数不足0.1%;
采用RLM方案后,两款模型分别取得58.00%和23.11%的F1分数。
在600万到1100万Token规模的BrowseComp-Plus(1K)多文档推理任务中,RLM(GPT-5)的正确率高达91.33%,大幅超越其他长文本处理方案;
即便在要求线性扫描并处理几乎所有信息的OOLONG任务中,RLM也实现了双位数的性能提升。

从调用成本上看,在50分位数这个指标上,RLM的成本和其他长文本处理方案处于同一水平,甚至更低。
这说明在大多数常规任务场景中,RLM的性价比是很有优势的。
但到了95分位数这类高百分位区间时,RLM的成本会出现明显飙升。
主要是因为RLM的推理过程是动态的,会根据任务复杂度自主决定代码编写、文本拆分和递归调用的次数,额外的步骤会增加API调用次数。

最后再划个小重点,RLM是一种不碰模型架构的通用推理策略,也就是说,理论上任何模型都能直接上车。
论文地址
参考链接
相关攻略
OpenClaw 完整使用攻略:从零安装到高效配置的实战经验 在深度使用 OpenClaw 的过程中,我遇到了不少典型问题。本文将系统梳理从环境准备到最终配置的核心步骤与避坑要点,旨在帮助你高效部署,避免重复踩坑。 1 环境准备:正确安装方法与版本选择 首先,确保你的 npm 和 Node js
4月1日消息,字节跳动Seed正式启动大模型人才校招,下设2027届应届生招聘和在校实习生招聘。据悉,今年Seed将加大人才投入,本次在全球招募的2027届大模型人才将达到约100位。在招聘标准上,
OpenClaw本地调用Ollama大模型:免API密钥,云端级模型轻松部署 现在,你可以轻松在本地环境中调用功能强大的大模型,无需依赖第三方平台的API密钥,也不必担心额外费用与隐私泄露风险。OpenClaw与Ollama完美协同,能够在本地部署如GLM-4等云端级别的模型,让你获得安全、高效、可
网易汽车3月19日报道提及2026年最为爆火的是什么,答案一定非 AI Agent莫属。比如最近流行的OpenClaw全民“养龙虾”,就是典型代表。你无需一步一步的告诉它做什么,只需告诉它想要的结果
智通财经APP获悉,中信证券发布研报称,2026年以来,国产大模型厂商聚焦Agent及代码能力升级,竞相发布新模型。即将发布的DeepSeek下一代新模型有望延续高性价比开源模型路线,在能力上实现更
热门专题
热门推荐
百度网盘个人版如何转企业版?完整切换步骤详细指南 当个人网盘难以满足团队文件共享与协作需求时,百度网盘提供的企业版无疑是高效解决方案。本文将为你详细解析如何直接在百度网盘App内,将个人账户一键切换至功能更强大的企业版,快速开启团队文件管理新模式。 第一步:进入个人中心页面 首先,请确保已安装并打开
“AI+eSIM”云智终端方案正式商用,首批合作项目5G AI CPE成功落地 在MWC 2026世界移动通信大会上,产业合作迎来重大进展。由全球移动通信系统协会(GSMA)与中国联通共同倡导的“‘AI+eSIM’云智终端合作联通方案”正式对外发布,并迅速完成首个商业化项目签约。中国联通联合通则康威
洛克王国世界水泡壳技能搭配完全指南:打造攻防一体的战术核心 世界水泡壳的技能池设计充满了战术深度,完美诠释了攻防一体的战斗哲学。无论是纯粹依靠威力压制对手的技能,还是具备控制、辅助等战略功能的技能,都能在其技能库中找到。掌握其技能搭配的核心思路,是让世界水泡壳在对战中发挥出全部潜力的关键,能够轻松取
现货比特币ETF单周吸金14 2亿美元,强势回归背后的市场信号 加密货币市场正迎来关键转折点。近期数据显示,现货比特币ETF资金流入呈现爆发式增长,成为近期最受关注的市场风向标。这不仅反映了机构资金的重新布局,更可能预示着市场供需结构的深层变化。 数据解读:创纪录的资金流入意味着什么? 根据专业追踪
河西竹篮打水奇遇触发地点指南 想要成功触发《燕云十六声》中颇具趣味的“竹篮打水”奇遇,玩家需要首先前往河西地图的特定区域进行探索。该触发点位置较为隐蔽,建议在河西沿岸的村落与水边场景多番巡视。当你接近正确位置时,可以留意游戏内的环境暗示,例如独特的视觉标识、背景音效的变化或氛围的微妙转变,这些都是系





