香港科大团队突破：用随机策略训练AI，数学推理效率显著提升
香港科技大学潘凌教授团队与快手科技、StepFun等机构合作，在AI数学推理领域取得重要突破。他们提出的ROVER训练方法颠覆了传统强化学习框架，通过简化策略优化过程，在保持高准确率的同时显著提升了模型解题的多样性。相关研究成果已在arXiv预印本平台发布（论文编号：arXiv:2509.24981v1），为AI教育、定理证明等领域带来新的技术路径。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
传统强化学习方法依赖复杂的策略迭代机制，通过奖励与惩罚的循环调整模型行为。例如PPO和GRPO算法需要模型在试错中不断优化解题策略，但这种模式存在明显缺陷：训练过程易陷入"多样性崩塌"，即模型过度依赖单一解题路径，忽视其他可行方案。研究团队形象地比喻："这就像学生长期使用固定解题模板，逐渐丧失灵活应变能力。"
研究团队通过深入分析数学推理任务的结构特征，发现了突破传统框架的关键。数学问题具有独特的树状推理结构——每步推理产生确定的新状态，不同路径互不干扰，且答案非对即错。基于这一特性，团队提出颠覆性假设：在数学推理场景中，评估随机策略的价值函数即可替代复杂的策略优化过程。实验证明，通过概率采样机制平衡最优路径探索与其他可能性，既能保证解题准确性，又能维持策略多样性。
ROVER方法的核心创新在于价值函数的表示方式。团队摒弃了额外训练价值网络的传统做法，直接利用语言模型参数计算相对价值，采用输出概率对数作为价值指标。为增强训练稳定性，研究引入组内奖励中心化技术，通过问题平均得分调整整体样本奖励，有效减少噪声干扰。这种轻量化设计使ROVER的超参数数量大幅减少，训练效率较传统方法提升30%以上。
在"倒计时"算术任务测试中，ROVER展现出惊人优势。该任务要求通过加减乘除组合多个数字达到目标值，传统方法平均仅能发现3种解法，而ROVER模型找到了17种不同路径。在更具挑战性的数学竞赛题库（涵盖AIME、HMMT等赛事真题）中，基于Qwen3-8B模型的实验显示，ROVER训练使首次尝试正确率（pass@1）提升8.2个百分点，256次尝试内正确率（pass@256）提升16.8个百分点。这些数据表明，模型不仅即时解题能力增强，探索未知路径的能力也得到根本性提升。
泛化能力测试进一步验证了ROVER的价值。在完全无关的GPQA研究生水平科学问题数据集（覆盖生物、物理、化学领域）上，ROVER训练的模型同样表现出性能提升。这证明该方法培养的不是特定领域的解题技巧，而是通用的结构化推理能力。不同规模模型（1.5B至8B参数）的对比实验显示，ROVER的改进效果具有模型无关性，为资源有限的研究团队提供了实用方案。
从理论层面，研究团队通过马尔可夫决策过程分析，严格证明了随机策略评估在确定性树状结构任务中的有效性。这种理论支撑不仅解释了实验现象，也为方法优化指明了方向。尽管论文坦承ROVER在非确定性迁移任务中的优势可能减弱，但其在数学推理领域的突破已足够引发行业关注。
这项研究带来的启示超越技术层面。在AI领域追求模型规模与复杂度的当下，研究团队通过回归问题本质实现了四两拨千斤的效果。正如论文引用的达芬奇名言："简单是最高级的复杂"，ROVER方法证明，深入理解任务特性往往比堆砌复杂机制更有效。对于教育领域而言，能提供多样化解题思路的AI助教，将比单一模式的教学工具更具实用价值。
针对技术细节的疑问，研究团队解释：ROVER通过概率采样机制平衡最优路径与其他可能性，温度参数控制着探索与利用的平衡点。消融实验表明，适当的温度设置既能保持85%以上的解题准确率，又能维持策略多样性。这种设计使得模型在测试阶段通过多数投票策略时，能获得更高的答案一致性。
热门专题
热门推荐
加密货币行业翘首以盼的监管里程碑，终于有了实质性进展。美国证券交易委员会（SEC）主席保罗·阿特金斯（Paul Atkins）近日证实，那份允许加密项目在早期获得注册豁免权的“安全港”框架提案，已经正式送抵白宫，进入了最终审查阶段。 在范德堡大学与区块链协会联合举办的数字资产峰会上，阿特金斯透露了这
微策略Strategy报告：第一季录得144 6亿美元浮亏 再斥资约3 3亿美元买进4871枚比特币 市场震荡的威力有多大？看看Strategy的最新季报就明白了。根据其最新向美国证管会(SEC)提交的8-K报告，受市场剧烈波动影响，这家公司所持的比特币在第一季度录得了一笔惊人的数字——144 6亿
稳定币巨头Tether的动向，向来是加密世界的风向标。这不，它向Web3基础设施的版图扩张，又迈出了关键一步。公司执行长Paolo Ardoino在社交平台X上透露，其工程团队正在全力“烹制”一个新项目——去中心化搜索引擎 “Hypersearch”。这个消息一出，立刻引发了行业的广泛猜想。 采用D
基地位于Coinbase旗下以太坊Layer2网络Base的Seamless Protocol，日前正式宣告了服务的终结。这个曾经吸引了超过20万用户的原生DeFi借贷协议，在运营不到三年后，终究没能跑赢时间。它主打的核心产品是Integrated Leverage Markets（ILMs）——一
PAAL代币揭秘：深度解析Web3社区治理的核心钥匙 在去中心化自治组织的浪潮中，谁真正掌握了项目的话语权？PAAL代币提供了一套系统化的答案。它不仅是生态内流转的价值媒介，更是开启链上治理大门的核心凭证。通过持有并质押PAAL代币，用户能够对协议升级、资金分配乃至战略方向等关键事务投出决定性的一票