过去一个月，AI行业里最有趣的变化之一，就是两家头部公司不约而同地给自家模型装上了“做梦”机制。Anthropic在5月的Code with Claude大会上推出了Dreaming功能，让Claude Managed Agents能在会话结束后自动回顾历史、提炼跨任务模式——法律科技公司Harvey启用后，任务完成率直接提升了约6倍。紧接着OpenAI在6月初推出ChatGPT Dreaming V3，把后台记忆整合作为所有用户的核心机制，记忆召回成功率从手动记忆的41.5%飙升至82.8%。
这两件事背后，Google的一篇论文给出了底层原因：LLM患上了顺行性遗忘症——能记住预训练时的旧知识，也能在对话中临时学习（in-context learning），但对话一结束，新知识就消失了。就像电影《记忆碎片》的主角，永远活在“当下”，无法形成新的长期记忆。
论文提出的Sleep范式，正是为LLM设计的一套“睡眠-做梦”系统，让模型像人类大脑一样，在“清醒时”接收新信息，在“睡眠时”巩固记忆并自我改进。
核心洞察：LLM的顺行性遗忘症
当前Transformer架构可以看作一个两级记忆系统：
- Attention（注意力层）：短期记忆，更新频率无限高，但上下文窗口一结束，知识就遗忘
- MLP/FFN（前馈层）：长期记忆，预训练后几乎不再更新，知识永远停留在“预训练截止日期”之前
论文用一个精妙的类比说明这个问题：
“就像顺行性遗忘症患者，LLM的知识被限制在两种形态中：(1) 能塞进上下文窗口的即时记忆，或 (2) 预训练截止日期前的陈旧知识。”
这意味着：模型能临时学会一个新API的用法，但下次对话时完全忘记；能回答2024年前的事实，但对2025年后的事件一无所知。
| 方案 | 问题 |
|---|---|
| 重新预训练 | 计算成本极高，无法频繁更新 |
| 持续微调/LoRA | 迭代更新导致灾难性遗忘（Catastrophic Forgetting）——旧任务性能断崖式下跌 |
| In-Context Learning | 受限于上下文窗口，新知识随会话结束而消失 |
Sleep范式：给LLM装上“大脑睡眠机制”
3.1 两阶段架构：Memory Consolidation + Dreaming
论文提出的Sleep范式包含两个核心阶段，直接对应人类睡眠的NREM（慢波睡眠）和REM（快速眼动睡眠）：
阶段一：Memory Consolidation（记忆巩固）
- 对应人类的慢波睡眠（NREM）
- 将高频更新的短期记忆（如Attention层、高频FFN）蒸馏到低频更新的长期记忆（低频FFN）
- 通过参数扩展增加模型容量，避免灾难性遗忘
- 使用知识播种（Knowledge Seeding）实现“向上蒸馏”——小模型向大模型传授知识
阶段二：Dreaming（做梦/自我改进）
- 对应人类的REM睡眠
- 模型利用RL生成合成数据（“梦境”），在无人监督的情况下排练新知识、精炼现有能力
- 通过MoE路由器的随机专家选择，引入受控的“噪声”，探索知识的新组合
3.2 技术核心一：知识播种（Knowledge Seeding）
这是论文最具创新性的技术贡献。传统蒸馏是“大模型教小模型”（向下蒸馏），而知识播种是“小模型教大模型”（向上蒸馏）。
为什么需要向上蒸馏？在记忆巩固中，“教师”是高频更新的记忆模块（参数较少、知识较新但较碎片化），“学生”是低频更新的记忆模块（参数更多、需要整合长期知识）。如果直接让学生模仿教师的输出，学生会因容量过大而学到次优表示。
论文的解决方案是广义知识蒸馏（GKD）+ 模仿学习：
- On-Policy蒸馏：学生生成数据，教师提供token级别的反馈
- Learning to Imitate（LTI）：用RL教学生模仿教师的采样行为，奖励同时考虑语义相似度和token级别的Levenshtein距离
公式上，知识播种的目标函数为：
其中 是模仿学习奖励， 是分布散度。
3.3 技术核心二：Dreaming（做梦）
Dreaming阶段解决一个关键问题：模型如何在睡眠中自我改进而不遗忘旧知识？
论文基于SEAL（Zweiger et al., 2025）但做了三项关键改进：
- 梯度驱动的数据选择：为每个生成的“梦境”计算重要性分数，只保留Top-k最有价值的梦境
- 随机专家注入噪声：MoE路由器在采样时随机选择不相关的专家，模拟REM睡眠中大脑探索新奇连接的过程
- 两阶段隔离：先巩固记忆（NREM），再自我改进（REM），避免迭代自训练直接覆盖旧知识
Sleep真的有效吗？
4.1 持续学习：对抗灾难性遗忘
论文在三个文本分类数据集上测试了类别增量学习（Class-Incremental Learning）：
关键发现：Sleep不仅比传统正则化方法（EWC）好，也比外部学习器（InCA）和纯上下文学习（ICL）强，因为它将prompt级别的临时适应转化为持久的参数化记忆。
4.2 长上下文理解：从128K到10M tokens
在BABILong基准测试中，Sleep展现出惊人的长上下文稳定性：
为什么Sleep能处理10M tokens？因为显式的记忆巩固将短-lived激活转化为紧凑的参数化表示，学习更高层次的抽象，使模型对上下文长度增长不敏感。
4.3 数学推理：超越SFT和GRPO
在AIME-24/25和HMMT-25数学推理基准上，Sleep的表现如下：
4.4 知识整合：新事实的持久记忆
在SQuAD知识整合任务中，Sleep的消融实验揭示了各组件的贡献：
关键消融：移除Dreaming后性能暴跌至35.7%/36.2%，证明Dreaming阶段对知识整合至关重要。
4.5 少样本抽象推理：ARC任务
在ARC（Abstraction and Reasoning Corpus）少样本推理任务中：
ICL为0%，TTT为10%，SEAL为72.5%，Sleep达到80%。Sleep通过生成合成“梦境”并从少样本演示中学习，实现了最高的成功率。
4.6 效率分析：Sleep并不慢
论文还对比了达到相同性能所需的训练时间：
虽然相同步数下SFT效率是Sleep的4倍，但性能不可比。当目标是达到相同性能时，SFT需要4.3x、3.6x、4.8x的wall-clock时间才能匹配Sleep在AIME-24/25和HMMT-25上的表现。因此，从目标性能角度看，Sleep非常高效。
Sleep是LLM的下一个必备基础设施
Google这篇论文给出了一个清晰的信号：做梦不是锦上添花的功能，而是LLM从静态工具进化为持续学习者的必备基础设施。
正如论文所言：
“对于持续学习者，没有训练时间和测试时间的明确边界。模型只需要经历两种状态：接收信息输入时（活跃/清醒），以及隔离学习时（睡眠）。”
当LLM学会睡觉和做梦，它才真正开始活着。
https://arxiv.org/pdf/2606.03979
Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories