本次查询：ORPO
中文解释：几率比偏好优化
常见场景：大模型训练与对齐
一句话解释
ORPO是一种改进的大模型偏好对齐算法，它通过计算人类偏好数据中正向和负向样本的几率比（Odds Ratio），直接优化模型参数，让模型更倾向于生成被人类偏好的回答。
为什么会被关注
传统的RLHF（基于人类反馈的强化学习）需要额外训练一个奖励模型，流程复杂且容易不稳定。ORPO和DPO一样去掉了奖励模型，但进一步引入了几率比统计量，理论更简洁，训练速度更快。
实际测试中，ORPO在保持输出质量的同时，减少了超参数调优的工作量，让普通团队也能低成本实现模型对齐，因此被广泛讨论。
核心逻辑
ORPO的核心是利用偏好数据计算两个概率的比值（Odds Ratio）：模型生成偏好回答的概率与生成非偏好回答的概率之比。优化目标就是最大化这个比值，使模型在给定输入时更倾向输出被偏好的内容。
与DPO不同，ORPO不是直接比较两个回答的奖励差异，而是从几率比的角度重新定义了偏好损失函数，具备更强的数学可解释性和收敛稳定性。
常见场景
在需要提升大模型输出安全性、帮助性时，研究人员会用ORPO对基座模型进行微调，例如在指令遵循、避免有害内容等任务中。
也常用于改进对话模型的风格一致性，比如让模型在客服场景中更礼貌、在创作场景中更富创意，无需额外搭建奖励模型。
容易混淆的点
ORPO和DPO都去掉了奖励模型，但DPO优化的是偏好概率的sigmoid差值，ORPO优化的是几率比对数，两者损失函数不同，ORPO对极端偏好样本更敏感。
ORPO并非完全替代RLHF，在一些需要复杂多步推理的任务中，RLHF仍然有效。ORPO更适合单轮或短对话的对齐场景。