清华深研院AI推理突破：告别非此即彼，用双提升做新探索
当大型语言模型面临复杂问题解析时，往往陷入一个根本性抉择：是广泛尝试多种解法拓宽可能性边界，还是聚焦既有知识体系寻找确定性答案？传统认知框架下，这两种策略仿佛处于光谱两端，只能择一而行。然而清华大学深圳国际研究生院联合加州大学洛杉矶分校与深圳技术大学组成的研究团队，通过一项突破性研究彻底改写了这一底层逻辑。
研究团队将分析视角从表层词汇输出转向深层思维轨迹，聚焦模型处理问题时的隐藏状态——这些未被直接观测的语义表征，犹如人类思考时未说出口的思维火花。通过引入“有效排序”这一数学工具，他们精准量化了模型在语义空间中的探索行为。与传统矩阵排序仅统计维度数量不同，有效排序能解析维度的"质量分布"，恰似评估探险路线时不仅要看勘探次数，更要判断路径是否形成有效知识积累。
基于有效排序理论框架，研究人员进一步构建出动态监测指标：有效排序速度衡量信息提取效率，反映知识运用能力；有效排序加速度则捕捉信息获取速率的变化趋势。正值表征认知活跃度提升，负值意味着推理进程趋于停滞。实验观察发现，正确推理路径中，有效排序加速度始终保持较高水平，而错误路径往往同时出现高探索和高利用指标，表明过度探索与信息获取失衡可能导致思维偏离正确方向。
这一发现促使传统训练方法的设计思路发生根本转变。研究团队开发的VERL（速度利用排序学习）方法，通过实时监控隐藏状态的动态演化，将有效排序加速度作为“智能调度器”。当模型显现过度自信倾向时，系统自动增强探索激励；当推理可能陷入停滞时，则强化知识利用奖励。这种双通道调节机制如同为AI安装双引擎系统，既能预防认知固化，又可巩固有效推理模式。
VERL的创新价值不仅在于机制设计，更在于其稳定性保障。由于有效排序加速度具有理论上的O(1)增长稳定性，它为模型训练提供了可靠的方向指引信号。在多项语言模型与数学推理基准测试中，VERL均展现出显著优势。以Llama-3.2-3B-Instruct模型为例，在AIME24数据集上，应用VERL后准确率从3.3%提升至13.3%；在高考2024数据集这类高难度测试中，准确率提升幅度达21.4%。
在Pass@k测试范式中，VERL的协同优势更为突出。此类测试要求模型生成多组备选答案，只要存在正确解即判定成功。经VERL训练的模型在部分数据集上，Pass@k的改进幅度超越Pass@1，直接证明了其在增强探索能力方面的有效性。消融实验进一步验证，仅使用探索或利用单一策略均无法实现稳定性提升，唯有两者有机融合才能持续改进。
实际应用案例生动展现了VERL的实践价值。在涉及负数比较的数学问题中，传统方法训练的模型错误认为-1小于-13，而VERL训练的模型能正确处理这类基础概念。在房屋计数应用题中，传统模型忽视约束条件，错误推断每条街道仅有10栋房屋；VERL模型则正确理解约束，得出每条街道20栋房屋的结论。在微分方程求解场景下，传统模型常忽略“纯指数”约束，给出包含多项式和三角函数的通解；VERL模型则严格遵循要求，仅输出符合条件的指数解。
VERL的成功源于对模型内部表征动态的深刻理解。传统方法在词汇层面观察到的探索-利用平衡，在隐藏状态层面几乎消失。这是因为词汇输出是高度压缩的结果，而隐藏状态保留了更丰富的语义信息。在这个更丰富的表征空间中，模型拥有足够的“空间”同时进行探索和利用。有效排序加速度作为元控制信号，能前瞻性地调节推理过程，引导模型走向更稳健的思维路径。
这项研究不仅提出了有效的技术方法，更从认知层面改变了我们对AI推理过程的理解。它突破了探索-利用不可兼得的传统认知，开创了基于语义表征动态性进行模型优化的新范式。通过多尺度分析框架，研究团队获得了单一尺度分析无法提供的深层洞见，为AI系统的持续改进开辟了全新方向。VERL所代表的“质量提升”型改进路径，在当前AI发展面临算力瓶颈的背景下具有特殊意义。
Q&A
Q1：VERL方法与传统强化学习方法的核心差异是什么？
A：传统方法基于词汇层面分析，认为探索和利用必须二选一；VERL则深入语义表征空间，发现两者可解耦共存，并通过有效排序及其导数同时增强这两种能力，如同为AI配备智能双引擎系统。
Q2：为何有效排序加速度能作为可靠的控制信号？
A：该指标具有O(1)增长稳定性，不会因问题规模或序列长度变化而剧烈波动。正确推理路径中，此指标往往保持较高值；而错误推理中的表现欠佳，因此可区分推理质量并指导训练。
Q3：VERL方法的实际应用效果如何？
A：实验数据显示，VERL在多种数学推理任务中显著提升性能，高考2024数据集上准确率提升达21.4%。更重要的是，它不仅提高准确率，还增强推理多样性，使AI能运用更丰富的解题策略。
热门专题
热门推荐
《Zero Parades: For Dead Spies》的媒体评测已经解禁，结果相当亮眼。这款被许多人视为《极乐迪斯科》精神续作的作品，在OpenCritic上拿到了86分的媒体均分，在Metacritic上也有83分。游戏将于5月21日正式登陆PC平台，看来2026年的必玩叙事RPG名单上，又
目录 你是否也遇到过这些问题 处理效果 前置准备 超简单AI自动化解决方案 第1步：准备好你的原始数据 第2步：针对指定的文件下达指令 第3步：验收 还能解决这些同类问题 指令为什么这么有用？ 更多场景直接抄作业 销售数据三级汇总 成本数据多级汇总 库存数据汇总 员工薪资汇总 常见问题答疑 核心价值
AI Agent 的发展，正迎来一个关键的转折点，从概念验证迈向真正的生产力交付。 想象一下，当一个 AI 智能体能够在无需人工介入的情况下，独立完成一个复杂项目的全流程，并将成功经验固化为可随时调用的“技能”——这是否标志着 AI 在职场中的角色，已经从辅助工具演变为自主的生产力单元？ 随着 Op
彭博社的马克・古尔曼在最新报道中透露了一个有趣的发现：苹果为WWDC 26发布的宣传海报，其设计细节可能暗藏玄机，指向了即将在iOS 27中亮相的全新Siri交互界面。 根据古尔曼的分析，新版Siri的核心变化在于与灵动岛的深度融合。唤醒时，它将不再以传统的全屏或底部卡片形式出现，而是会以一个扩展的
GitHub 的 Star 数量还值得信赖吗？真相可能比你想象的更严峻。 开源社区中“购买 Star”的现象早已不是秘密，其便捷程度甚至超过点外卖，单价低廉且支持批量折扣。然而，卡内基梅隆大学（CMU）一项被 ICSE 2026 顶会收录的最新研究，首次系统性地揭示了这场“造假生意”的惊人规模：Gi