强化学习在预测中的实际应用：打造超级预测系统

试想一下，倘若人工智能能够像解答数学题那样精准地预判未来事件——例如股市波动、选举走向或技术变革——那将为人类决策带来颠覆性突破。本文基于一项前沿研究，详细阐述如何借助强化学习（RL）训练语言模型（LLM）实现预测，并揭示达成这一目标的核心技术与实验结果。

1. 为什么预测能力比编程技能更重要？

2025年1月DeepSeek R1发布后，人们目睹了RL在LLM上取得的惊人进展，但大多数研究聚焦于编码与数学领域。然而，这些领域已拥有足够成熟的工具，而超越人类水平的预测能力则能直接赋能个人与组织做出更优决策，大幅提升社会运行效率。

你或许会质疑：数学是确定性的，预测却充满不确定性，RL在预测领域能否发挥作用？实际上，这并非新课题：如同下一个token预测一样，模型输出概率分布，有时因一个拼写错误而受到惩罚。通过采用高学习率并逐步降低，最终梯度平均足以稳定学习——这已是成熟的技术路径。

2. 核心方案：两阶段RL训练流程

作者的牛津大学论文最初采用了最直观的方式：将上下文收集与预测过程分离。具体步骤如下：

• 第一步：收集问题并生成上下文摘要——在数据集创建时为每个问题生成静态摘要。
• 第二步：待问题尘埃落定后，训练模型基于这些上下文推导出概率。

这种操作虽然简单，但出现了瓶颈：模型性能受限于预生成摘要的信息容量，即使小模型通过RL能够接近甚至略微超越尖端模型，却无法突破信息本身的限制。