本次查询：RLVR
中文解释：可验证奖励强化学习
常见场景：大模型后训练 / 代码生成 / 数学推理 / 逻辑判断等需要客观验证的任务
一句话解释
RLVR是“Reinforcement Learning with Verifiable Rewards”的缩写，意为基于可验证奖励的强化学习。它让AI模型通过自动检查结果是否正确（比如数学题答案、代码运行结果）来获得奖励信号，从而自我优化，而不需要大量人工标注反馈。
为什么会被关注
传统强化学习依赖人类反馈（RLHF）成本高、效率低，且主观性强。RLVR利用客观可验证的标准自动生成奖励，大幅降低训练成本，同时提升模型在数学、编程等硬性任务上的准确性。OpenAI的o1系列、DeepSeek-R1等模型都使用了类似技术。
核心逻辑
RLVR的核心是构建一个自动验证器（Verifier），它能根据输入和输出判定结果是否正确。例如，在数学题中验证答案与标准答案是否一致；在代码生成中检查运行是否通过测试用例。模型通过策略梯度等强化学习算法，不断尝试生成结果，验证器给出奖励，引导模型向高奖励方向优化。
常见场景
数学推理题：模型解答后自动比对标准答案，正确得正奖励。代码生成：模型写代码后运行测试，通过率作为奖励。逻辑判断题：检查推理链条的每一步是否符合规则。RLVR特别适用于有明确客观评判标准的任务，能有效提升模型的精准度。
容易混淆的点
RLVR不同于RLHF：RLHF依赖人类主观判断（如回答是否“有用”），而RLVR依赖自动客观验证（如答案是否正确）。RLVR也不同于监督学习：监督学习直接学习正确答案，而RLVR通过试错和奖励信号探索更优策略。另外，RLVR的验证器需要事先设计好，对任务有强依赖。