这项由英伟达（NVIDIA）主导的重要研究于2026年6月发表，论文编号为arXiv:2606.18216。欢迎对技术细节感兴趣的读者通过该编号查询并阅读完整论文。
研究背景：小模型的现实挑战与大模型的能力鸿沟
我们身边的智能设备，如手机、AR眼镜乃至未来的家庭机器人，都受制于一个根本限制：算力与内存有限，无法承载动辄数百亿参数的大型语言模型。然而，当前绝大多数突破性的AI进展，都源自这些参数量庞大的“巨无霸”模型。这就形成了一种尴尬局面：大模型如同掌握顶级厨艺的主厨，而部署在终端的小模型却只能完成基础任务，并非其先天能力不足，而是受限于“厨房”的规模。
英伟达团队深入分析后发现，现有训练小模型的两种主流技术路径均存在本质缺陷。为此，他们创新性地提出了ZPPO（Zone of Proximal Policy Optimization，近端策略优化）方法。实验表明，该方法能让仅0.8B参数的小模型在视觉语言理解任务上提升9.3%；在涵盖10个纯文本、16个视觉语言及5个视频理解共计31项基准测试的综合评估中，ZPPO均显著超越了所有现有方法。
一、现有训练方法为何失效？
要理解ZPPO的创新价值，首先需厘清传统方法的瓶颈。目前，让小模型学习大模型能力的主流方案主要有两类。
第一种：知识蒸馏——机械模仿导致的泛化失灵
该方法的核心是让小模型精确模仿大模型输出的概率分布，不仅是最终答案，连每个词汇的置信度都要学习。这类似于让小学生誊抄博士的完整思考笔记。问题在于，参数规模仅数亿的小模型缺乏足够的“脑容量”消化如此精细复杂的信息，极易陷入死记硬背。其后果是，模型在训练数据内表现尚可，但遇到新问题或分布外数据时泛化能力急剧下降，性能甚至不如未经过蒸馏的原始模型。研究数据证实，知识蒸馏法在多项纯语言测试中，反而使小模型性能下降了1.8%至2.5%。
第二种：强化学习——对困难样本的主动回避
该方法让小模型通过“试错-奖励”机制自主学习，优势在于不依赖大模型的输出风格。但其存在一个关键盲区：当小模型对某难题多次尝试均告失败时，系统因无法获得有效的对比信号，往往会直接丢弃该样本。这意味着模型最需要学习、最难掌握的题目，反而被排除在训练集之外。一种常见的修补策略是将大模型的答案强行注入奖励计算，但这无异于让小学生抄袭答案，会导致小模型的行为严重偏离其真实能力，产生“策略漂移”。
二、ZPPO的核心原理：教师提供启发，而非标准答案
英伟达团队从教育心理学家维果茨基的“最近发展区”理论中获得灵感。该理论指出，学习者独立解决问题的水平与在更有能力者指导下能达到的水平之间存在一个动态区间。最高效的学习正发生于此区间内。
ZPPO的实现方式精妙而直接：不将大模型的答案直接用于梯度计算以更新小模型参数，而是将其作为题目上下文的一部分提供给小模型。大模型扮演启发者的角色，但其指导信息仅作为背景参考。小模型在阅读包含这些信息的题目后，仍需独立生成答案。参与梯度计算的始终是小模型自身的输出。这好比老师在黑板上展示两种解题思路，却不指明对错，要求学生自行分析并独立完成解答。教师提供了支架，但知识建构的过程由学生自主完成。
三、BCQ与NCQ：两类难题的针对性改造策略
ZPPO会识别出小模型正确率低于50%的高难度题目，并对其采用两种不同的“题目增强”策略。
第一种改造：二元候选问题
对于大模型能解答正确的难题，系统会提取大模型的一段正确推理和小模型的一段错误推理，分别压缩为摘要，并匿名标记为“候选A”和“候选B”附加到原题中。题目要求变为：“现有两个匿名推理，一正一误，请判断哪个更合理，并基于此给出你的最终答案。”此举的关键在于：候选身份被隐匿，且训练信号来自小模型自己生成的答案，而非对任一候选的简单复制。
第二种改造：负面候选问题
此方法无需大模型提供正确答案。系统仅收集小模型在该题上的所有错误尝试，压缩后作为提示明确告知小模型：“以下推理均为错误示例，请分析错误原因并给出正确答案。”这相当于老师将学生多次的错误作业集中展示，让其反思共同误区。NCQ的独特价值在于，它让小模型能直观地“看见”自己反复出现的系统性错误，这在常规的逐次试错训练中是无法实现的。
四、提示词回放缓冲区：针对难点的刻意练习机制
除上述两种题目改造方法外，ZPPO还设计了一个“提示词回放缓冲区”。其逻辑清晰：将所有正确率低于50%的难题存入缓冲区，在后续训练中反复抽样练习，直至该题正确率提升至50%（即“毕业”）才将其移出。缓冲区容量有限，遵循先进先出原则。每次重练时，系统会为同一道题动态生成全新的BCQ或NCQ改造版本，确保学习挑战的持续性和新鲜感。
研究数据显示，单独使用回放缓冲区或单独使用BCQ/NCQ，效果提升均有限（例如在0.8B模型上仅约1.6%）。但二者结合产生了显著的协同效应，因为缓冲区提供了重复练习的机会，而每次练习都通过BCQ/NCQ注入了新的、结构化的学习信号。
五、训练过程中的两个关键优化点
在研究过程中，团队还发现了两个对最终效果影响显著的训练细节。
第一个细节：优化每步更新次数
相比传统GRPO方法默认的每批数据16次梯度更新，ZPPO将次数设置为4次。实验表明，更新次数过多会导致参数更新偏离当前策略过远（离策略漂移）；过少则训练效率低下。4次更新在多个测试集上均取得了最佳平衡。
第二个细节：批次优势归一化排除零优势组
在强化学习中，每次尝试会获得一个“优势分数”。当一道题的所有尝试结果一致（全对或全错）时，其优势分均为零，构成“零优势组”。ZPPO在计算归一化所需的均值与标准差时，将这类零优势组排除在外。若将其纳入，会压低整体标准差，导致有效信号被错误放大。这一行代码的改动，对模型性能产生了可观的正面影响。
六、实验结果：模型越小，受益越显著
研究团队在Qwen3.5系列的四个尺寸上进行了验证。以270亿参数的Qwen3.5作为教师模型，在包含约7.7万个多模态样本的数据集上进行训练，并在31个基准上全面测试。
在视觉语言任务上，相比基线模型，ZPPO为0.8B、2B、4B和9B模型带来的提升分别为9.3%、5.2%、4.0%和2.8%。提升幅度与模型规模成反比，这符合预期：小模型与教师能力差距大，BCQ能提供的有效学习信号更多。
在纯语言及视频理解任务上，ZPPO同样带来了正向提升，且实现了知识的正向迁移。反观知识蒸馏方法，在这些任务上却导致了性能倒退，凸显了ZPPO方法的稳健性与泛化优势。
在攻克难题方面，对于初始正确率为0的最难题目，ZPPO的“毕业率”达到28%，而基线方法仅为4%。对于初始正确率为12.5%的题目，ZPPO毕业率为54%，基线仅为14%。
七、各组件贡献度分析
消融实验证实，BCQ、NCQ与回放缓冲区三者构成有机整体，移除任一组件都会导致性能下降。
一个有趣的规律是：对于0.8B、2B等小模型，BCQ的贡献更大；对于4B、9B等较大模型，NCQ的贡献逐渐占主导。原因在于，随着学生模型能力增强，其遗留的“难题”往往也是教师模型无法正确解答的。此时BCQ因缺乏正确候选而失效，NCQ通过展示错误模式成为主要学习来源。这揭示了ZPPO的一个内在边界：当教师能力无法覆盖时，学习将主要依赖对自身错误的反思。
团队还将BCQ与“提示词提示”和“前缀注入”两种近似方法对比。前者仅在视觉语言任务上有一定效果，后者则因引入离策略漂移而效果更差。两者均不及完整的ZPPO方案。
八、教师模型规模的影响
当教师模型规模从270亿参数缩减至90亿、40亿时，ZPPO带来的性能提升也随之减少。这是因为BCQ的有效性依赖于教师能在学生犯错时提供正确指导。若师生能力接近，BCQ的“教学材料”便趋于枯竭。在0.8B学生搭配40亿参数教师的极端情况下，ZPPO的效果退化为接近仅使用NCQ。
九、深度验证：模型是否真正“思考”？
为验证小模型在BCQ中是真正“判断”而非“抄袭”，团队进行了细致审计。在训练末期的1528个BCQ样本中，整体准确率介于36%至69%之间，远未达到抄袭应有的近100%。进一步分析显示，在回答正确的样本中，有78%-91%与正确候选的答案匹配；在回答错误的样本中，有77%-97%与错误候选匹配。这证明模型确实在进行有依据的选择。
对NCQ的审计显示，0.8B模型有82.7%的概率仍会重复被告知是错误的答案，表明其难以克服固有错误认知。但随着模型规模增至2B、4B和9B，这一比例骤降至2.2%及以下。这完美解释了为何NCQ对大模型的提升效果更佳。
总而言之，这项研究的核心突破在于确立了一个简洁而强大的原则：将大模型的智慧作为问题背景而非标准答案融入训练。这一微小却根本的转变，使得小模型能够在挑战与辅助的平衡区间内进行真正的判断式学习。
同时，研究也坦诚指出了ZPPO的局限：当师生均无法解题时，BCQ机制失效。如何让模型的学习能力突破当前教师的认知边界，是留给未来研究的重要开放性问题。对完整算法、详细数据及消融实验感兴趣的读者，可通过论文编号arXiv:2606.18216获取全部信息。
Q&A
Q1：ZPPO和普通知识蒸馏方法有什么本质区别？
A：传统**知识蒸馏**要求小模型全盘复制大模型的输出概率分布，本质是**模仿学习**。而**ZPPO**让大模型的推理仅作为**参考信息**出现在题目中，小模型必须**独立分析、判断并生成答案**，训练信号完全基于其自身的输出。前者是“照抄笔记”，后者是“在参考思路启发下独立解题”。
Q2：BCQ为什么要把候选答案匿名处理？
A：**匿名处理**是迫使小模型进行**深度比较和逻辑判断**的关键。如果标明“候选A是教师答案”，小模型会退化到简单的匹配选择，无需真正理解。匿名后，模型必须评估两段推理的质量才能做出抉择。审计数据中BCQ准确率未接近100%，**有力证明了**模型是在进行真实的判别学习，而非机械复制。
Q3：ZPPO在小模型上效果更好的原因是什么？
A：主要原因有两点。其一，小模型与教师模型的**能力差距更大**，存在更多“教师能做对而学生做错”的样本，为BCQ提供了丰富的**有效学习材料**。其二，小模型的**“最近发展区”更宽**，有更多在适度辅助下能从不会到学会的知识点。随着模型规模增大，剩余难题越来越接近教师的知识边界，BCQ的**效用空间自然收窄**，这直观体现在性能提升幅度的递减上。
