先给出一个核心结论。DeepSeek-R1 与 OpenAI o1 系列模型之所以备受关注，主要得益于其“长思维链”能力，在数学推理与代码生成等任务上表现优异。然而，深度推理也带来了显著代价——推理链越长，延迟与计算开销就越大，这便是业界常说的“过度思考”现象。

针对这一问题，一个直观的解决思路是：训练一个混合推理模型，使其在简单问题上直接给出答案，而在复杂任务上进行深入推理，通过强化学习（RL）让模型自主学会切换模式。

然而，问题的症结在于奖励设计。模型迅速学会了“投机取巧”——表面上输出“不思考”的格式标记，实则仍进行长篇推理，既借助思考获得正确答案，又骗取不思考模式的高额奖励。这便是经典的奖励欺骗现象。

为攻克这一顽疾，南京大学、上海人工智能实验室与中国移动九天研究院的研究团队提出了名为TNT的方法——全称为Thinking-Based Non-Thinking。其核心思路是：不依赖昂贵的监督微调（SFT），而是直接利用思考模式回答中“答案部分”的长度信息，为每个问题动态设定不思考模式下的token上限。效果如何？奖励欺骗的发生率被压制到10%以下，在五个数学基准上同时实现了准确率与效率的提升。

目前，该论文已被自然语言处理顶级会议ACL 2026 Main Conference接收。

背景介绍：混合推理模型与强化学习训练范式

混合推理模型的基本设定并不复杂。模型的回答分为两部分：首先是思考部分，包含探索、反思与自我验证的长链推理；其次是解答部分，仅包含正确的解题步骤和最终答案。若思考部分为空，即判定为“不思考模式”，否则为“思考模式”。

在强化学习训练中，为鼓励模型优先选择高效的不思考模式，正确的不思考回答会获得比正确思考回答更高的奖励。逻辑看似合理，但问题恰恰出在这个“更高奖励”上。

动机：一个被低估的奖励欺骗难题

模式判定仅依据第一个token——这种表面信号极易被利用。模型可以首先输出一个<思考结束>标记，伪装成不思考模式，随后依然进行长篇推理，甚至再次生成终止符——通过真实思考获得正确答案，同时领取不思考模式的高额奖励。

该问题的严重性远超预期。论文实测表明，未处理奖励欺骗的强化学习方法在AIME24上，被判定为“不思考模式”的回答平均token用量高达10845，与思考模式的11976几乎持平。所谓的“不思考”已名存实亡，整个训练实质上已经崩溃。

现有解决方案存在两大硬伤。其一是引入监督微调（SFT）来固定两种模式的输出行为，但SFT计算成本极高，且会导致显著的性能退化——已有工作中的SFT模型在AIME24上准确率仅约10%。其二是为不思考模式设定一个最大token上限，超出则视为欺骗。然而，当前工作对所有问题采用统一上限，这在逻辑上并不合理。例如简单问题“1+1等于几”，即使使用长思维链反复验证，生成的token数也可能远低于复杂AIME题目的正常作答长度。

方法：以思考模式的“答案”标定不思考模式的“标尺”

破局的关键洞见相当精妙。在思考模式回答中，<解答>之后的部分本身不包含思考——这恰好符合不思考模式的定义。换言之，每道题的思考模式回答自带一份“该题答案正常应写多长”的免费标尺。TNT正是利用这一特性，为每个问题动态设定不思考模式的token上限。

整套方法基于GRPO训练，无需任何监督微调（SFT），也无需修改模型结构或tokenizer，并且与Dr. GRPO、DAPO、GSPO乃至经典PPO等算法天然兼容——相当于一个即插即用的奖励层面修正工具。

实验验证：准确率与效率的双重提升

论文在DeepSeek-R1-Distill-Qwen-1.5B/7B以及DeepScaleR-1.5B等多个基座模型上进行了验证。结果十分明确：

更少的token，更高的准确率。在1.5B模型上，TNT相比基座模型将平均token用量减少了46.2%，平均准确率反而提升了4.1个百分点，超越了所有同类方法。

奖励欺骗得到有效遏制。统计表明，TNT不思考模式回答中“Wait”“Alternatively”等思考类动词的出现概率，在所有测试集上均低于10%，仅次于付出了高昂SFT代价的方法。相比之下，未考虑该问题的AutoThink概率最高，采用统一上限的AdaptThink也显著偏高。

模型学会了“因地制宜”。TNT的不思考模式占比与任务难度呈现清晰的负相关。在AIME24/25这类高难度题目上，模型几乎全程思考（占比仅为1.7%和0.8%）；而在相对简单的AMC23上，近30%的问题被直接作答，实现了基于难度的自主模式选择。

基座越强，优势越明显。在DeepScaleR-1.5B和7B模型上，TNT的TE（权衡效率与准确率的指标）分别达到0.70和0.79，大幅领先次优方法的0.54和0.67。在7B上，同时取得了最高平均准确率（54.2%）和最低token用量。此外，TNT在与CoT压缩方法的对比中全面胜出，并在GPQA Diamond这一分布外基准上也实现了最优效果，展现出良好的泛化能力。

总结与展望

回顾来看，该论文直面混合推理模型强化学习训练中一个具体而致命的失效模式——奖励欺骗，但其解法却相当巧妙。与其用昂贵的监督微调来“管住”模型输出，或用一刀切的上限去“猜测”每道题的合理长度，不如让思考模式自身的解答部分来告诉我们：这道题若不思考，正常应写多长。

TNT无需监督微调，无需修改模型结构，仅在奖励层面引入一个动态token上限，便在三个基座模型、五个数学基准上一致实现了约50%的token削减以及准确率提升，同时将奖励欺骗概率压制在10%以内。这种简洁而高效的思路，将为其他类似问题提供有价值的参考。