谷歌AI新突破：剪切技术让模型记忆力提升98%
与AI进行长对话时，你是否常感到困惑：随着对话轮次增加，AI的回答开始变得逻辑混乱、前后矛盾，仿佛患上了“记忆衰退症”？这普遍现象的背后，核心症结在于AI模型的“长上下文处理能力”存在瓶颈。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
近期，一项由约翰斯·霍普金斯大学与卡内基梅隆大学联合进行的研究，在预印本平台arXiv上发布（论文编号arXiv:2602.05258v1），为这一难题带来了一个简单而高效的解决方案。研究人员发现，仅需一个巧妙的“剪切”操作，即可将AI的长文本记忆与理解能力提升近一倍。更关键的是，该方法无需对模型进行耗时的重新训练，也无需改动复杂的底层架构，成本极低且效果立即可见。
要理解这一突破的价值，首先需了解AI如何“记忆”信息。在大型语言模型内部，一项名为“旋转位置编码”（RoPE）的核心技术，负责为序列中的每个词元赋予一个“位置坐标”，类似于时间戳，以确定词语间的相对顺序。
然而，此系统存在固有缺陷。当需要处理的文本长度超出模型训练时的预设范围，这套“定位系统”便会失效，导致AI的认知出现混乱。更深层的研究还揭示了一个此前被低估的问题：即使在训练长度范围内，AI识别语义关联的能力也会随着词元间距离的拉大而显著衰减。换言之，文本越长，AI就越难准确关联分散在各处的相关信息。
有趣的是，这两个看似独立的问题，其根源都指向RoPE系统中的低频分量。这些低频分量如同走时不准的时钟，运行越久，累积的误差越大，最终导致系统失灵。为此，研究团队提出了名为CoPE（Clipped RoPE）的解决方案，其核心思想正是“修剪”这些不稳定的低频部分。
需要强调的是，这里的“剪切”并非简单粗暴的移除，而是一种“软剪切”策略。如果将RoPE比作一首交响乐，硬剪切好比突然关掉部分乐器，必然产生刺耳杂音；而软剪切则如同用调音台平滑地减弱某些声部的音量，确保整体旋律依然和谐、连贯。
一、AI记忆原理深度剖析：为何对话越长越易“遗忘”
要透彻理解CoPE为何有效，必须深入AI处理序列信息的底层机制。RoPE技术本质上是一个精妙的多层旋转编码系统，不同层级以不同频率旋转，共同编码词元间的相对位置关系。
问题的核心在于该系统的频谱构成。高频分量擅长捕捉局部、近距离的位置关系，而低频分量则负责建模长距离的语义依赖。麻烦在于，在模型训练阶段，许多低频分量并未经历完整的周期变化。这就像一个学生只观察了钟摆的半次摆动，却要预测其未来的完整轨迹，准确性自然难以保证。
理论分析给出了更直观的数据：以一个在8192长度上训练的模型为例，其64个频率分量中，竟有最后29个低频分量从未完成过一个完整周期。这意味着近一半的“定位感知器”处于“训练不足”的状态。
这直接引发了双重困境：当文本超出训练长度时，这些未充分训练的低频分量会“失控”，导致外推能力崩溃；即便在训练长度内，它们也会造成语义理解能力随距离增加而系统性下降。可以说，低频分量既是AI“长文本失忆”的元凶，也是其“远程理解力衰退”的主因。
二、化混乱为有序：软剪切技术如何重塑AI认知能力
既然找到了问题根源，最直接的想法是移除有问题的低频分量，即实施“硬剪切”。但信号处理理论表明，这种突然截断会引发“频谱泄漏”，在时域中产生“振铃效应”。
映射到AI的注意力机制中，这种效应表现为虚假的长距离关联——AI会错误地认为相隔很远的词语存在强联系，从而导致注意力分散与逻辑推理混乱。
因此，研究团队选择了更为优雅的“软剪切”方案。他们采用余弦衰减窗口函数，平滑地降低低频分量的权重，使其影响力逐渐减弱而非瞬间消失。这种方法既有效抑制了不稳定的低频噪声，又保留了必要的长程语义连接，同时完美规避了硬剪切带来的副作用。
从工程实现角度看，CoPE的优势堪称“开箱即用”：它不改变模型原有架构，无需进行重新训练，推理过程也保持不变。开发者仅需在模型初始化阶段应用预先计算好的软剪切权重，即可立即获得性能提升，真正实现了“零成本”升级。
三、突破性实验验证：从64K到256K的上下文处理飞跃
为验证CoPE的实际效果，研究团队以Llama-3-8B模型为基础，将其上下文处理长度从原始训练的8K扩展至64K，并进一步测试了更长的外推能力。
在涵盖文档摘要、长文本问答、检索增强生成等多种现实任务的HELMET基准测试中，CoPE展现出了全面而显著的性能优势。
尤其在处理长达256K（约相当于一本中型小说）的文档摘要任务时，传统RoPE方法的得分已降至9.06，而采用CoPE的模型仍能保持32.37的高分，性能提升幅度超过250%。在超长文档问答任务中，CoPE在128K和256K长度上的准确率分别达到18.23%和19.06%，远高于传统方法的8.21%和7.93%。
更值得关注的是性能提升的规律：文本越短，提升越温和（在8K-16K长度提升约4.54%）；在训练长度附近（32K-64K），提升增至10.39%；而当进入真正的挑战区——外推范围（128K-256K）时，提升幅度则飙升至58.61%。这恰恰证明，CoPE精准地弥补了传统方法最薄弱的环节。
当然，任何改进都不能以牺牲基础能力为代价。在MMLU、GPQA等通用知识基准测试中，CoPE不仅完全保持了模型的原有性能，部分任务上还有小幅提升，证明了其优化的精准性与安全性。
四、技术内核解读：从理论洞察到工程实践的无缝衔接
CoPE的成功，根植于其背后深刻的理论分析。研究团队通过严谨的数学推导，精确界定了一个模型的“有效维度”——即在训练中真正完成了完整周期学习的维度数量。对于Llama-3-8B模型，这个数字是70，对应35个旋转对。
基于此，他们设计了余弦衰减窗口进行软剪切，起始点选择在第20个旋转对（对应44维）。这一选择并非随意，而是通过大量消融实验寻找到的最佳平衡点，能在抑制噪声与保留有效长程信息之间达到最优。
与需要复杂频率调整的Position Interpolation、NTK等传统长文本扩展方法相比，CoPE的简洁性尤为突出。更重要的是，它并非替代方案，而是能与现有技术完美协同。实验中，团队将其与ABF（训练时优化）和YaRN（推理时优化）等技术结合，实现了效果的叠加增益。
五、广阔应用前景：从技术突破到行业赋能
CoPE的价值，远不止于学术论文中的漂亮数据。它预示着AI处理长上下文的能力即将迎来一次普惠性的重大升级。
在法律领域，分析长达数万字的合同与判例文书将不再困难；在学术研究界，快速通读数十页的论文并梳理其核心逻辑成为可能；在医疗健康行业，AI能更连贯地分析患者跨越数年的完整电子病历；对于作家与内容创作者，AI在辅助进行长篇创作时，能更好地维持情节的连贯性与角色设定的统一性。
其“即插即用”的特性，极大降低了技术落地门槛。企业和开发者无需对现有AI系统进行伤筋动骨的改造，即可让旗下的智能助手、客服机器人或分析工具获得长文本处理能力的质的飞跃。
归根结底，CoPE的成功揭示了一个朴素而深刻的道理：有时，最复杂问题的解决方案，恰恰源于对基础原理的深刻洞察与一个精巧的“微调”。这项研究不仅贡献了一项实用技术，更展示了一种优雅的工程解决思路。随着此类技术的普及，一个AI能够真正理解长文档、拥有持久“对话记忆力”的新时代，或许正加速到来。
Q&A
Q1：什么是CoPE软剪切技术？
A：CoPE是一种针对AI位置编码系统的优化技术。它通过“软剪切”方式，即使用平滑的衰减函数（如余弦窗）来渐进式降低RoPE中不稳定低频分量的权重，而非直接删除。这种方法能显著增强AI的长上下文处理能力，同时避免因粗暴修改而引入新的噪声或错误关联。
Q2：CoPE技术能将AI的记忆力提升多少？
A：根据严格的实验数据，在处理超长文本（例如256K令牌）时，采用CoPE技术的模型相比传统方法，在关键任务上的性能提升可超过98%（接近翻倍）。其提升效果随着文本长度的增加而愈加显著，精准靶向了AI在长对话、长文档分析场景下的核心弱点。
Q3：开发者如何快速应用CoPE技术？
A：CoPE最大的优势在于部署简便、成本极低。对于大多数开发者，无需重新训练模型，也无需大幅修改现有架构或推理代码。通常只需在加载模型权重时，应用研究团队提供的预计算软剪切权重进行初始化，即可无缝集成，快速获得长文本处理能力的显著提升。
相关攻略
与AI进行长对话时，你是否常感到困惑：随着对话轮次增加，AI的回答开始变得逻辑混乱、前后矛盾，仿佛患上了“记忆衰退症”？这普遍现象的背后，核心症结在于AI模型的“长上下文处理能力”存在瓶颈。 近期，一项由约翰斯·霍普金斯大学与卡内基梅隆大学联合进行的研究，在预印本平台arXiv上发布（论文编号arX
人工智能虽降低部分成本，但无法消除土地、独特区位、顶尖人才时间等根本稀缺约束。丰裕经济反而凸显原作与稀有资产的溢价，复杂系统也催生新的风险管理需求。这些仍需货币作为统一记账单位，以高效分配并衡量不可复制领域的稀缺价值。货币不会消失，其作用将转向衡量稀缺价值。
5月12日，小米技术正式官宣启动「MiMo Orbit 100T Token 计划」，面向全球AI开发者与用户免费发放总计100万亿Token权益。该计划目标在30天内完成全部发放，行动迅速。据官方披露，截至发布当日，已成功发放近80万亿Token，进度远超预期，展现了小米在AI生态布局上的高效执行
昆仑万维2024年起持续亏损，2025年净亏损15 93亿元，2026年一季度亏损扩大。虽营收增长，但高额AI研发与市场成本侵蚀利润。公司以投入换市场，构建AI全产业链，但多线布局稀释资源，面临数据、算力与资金压力。2026年是其证明能否实现自我造血的关键一年。
科技媒体发现谷歌PixelScreenshots应用存在桌面版本号，暗示其正将这款手机端AI工具拓展至大屏设备。该应用能自动整理分析截图内容，建立可搜索的资料库。桌面版目前处于早期适配阶段，推测其目标可能是为传闻中的AluminumOS系统铺路，以构建统一的AI生产力生态。
热门专题
热门推荐
最近游戏圈内出现了一个引人注目的现象：宝石老舅的全新单曲《枪火》，与硬核战术射击游戏《三角洲行动》的契合度，达到了惊人的高度。起初这或许被视为一次常规的联动宣传，但深入聆听后你会发现，歌曲中弥漫的街头对峙张力与激烈交火的临场感，几乎能穿透耳机，瞬间将玩家拽入游戏那紧张刺激的战场环境之中。 说来也巧，
在Bybit交易时，若下错订单或需调整策略，找到正确的撤销入口至关重要。平台提供了多种便捷的撤销路径，包括交易界面的快速操作、订单管理中心的集中处理以及App端的灵活管理。了解这些方法能帮助用户及时纠正错误，避免不必要的损失，从而更从容地应对市场变化。
在《闪耀吧噜咪》的奇幻旅程中，想要成功捕捉并收集那些独特又强大的噜咪伙伴吗？那么，“噜咪卡”就是你不可或缺的核心道具。简单来说，它是游戏中捕捉噜咪的唯一指定道具，其品质等级直接决定了捕捉的成功概率——品质越高，你将心仪噜咪纳入麾下的机会就越大。 闪耀吧噜咪：噜咪卡获取方法及作用一览 一、核心作用：捕
5月12日，机器人领域传来一则重磅消息：宇树科技正式发布了全球首款量产版载人变形机甲“GD01”。这款被许多人视为“现实版高达”的产品，起售价定为390万元软妹币，它的出现，或许正在重新定义民用交通工具的边界。 从官方定位来看，GD01并非单纯的机器人，而是一款具备变形能力的“民用交通工具”。视觉上
在《卡拉彼丘》的战术竞技场中，狙击手是掌控胜负走向的核心角色。而心夏这位狙击天使，却以其独特的双重性格脱颖而出。她展现给队友的，总是一副随性温和、甚至略带慵懒爱开玩笑的模样。作为欧泊小队的专属医疗兵，她的状态时而放松，时而又展现出无微不至的关怀，这种反差确实令人印象深刻。 然而，这一切轻松的表象之下