本次查询：Alignment Tuning
中文解释：对齐微调
常见场景：大语言模型的后训练阶段 / 用于提升模型的安全性 / 有用性和诚实性。
一句话解释
Alignment Tuning 就是在基础大模型训练完成后，额外进行的“思想纠正”训练，让模型说人话、讲真话、不搞事。
为什么会被关注
因为未对齐的模型可能会输出歧视性言论、虚假信息甚至危险操作，导致产品上线风险极高。ChatGPT 的成功很大程度就归功于它采用的 Alignment Tuning（主要是 RLHF 流程）。
AI 安全和可控性是行业刚需，各国监管也在收紧，对齐技术成为衡量模型是否可用的硬门槛。
核心逻辑
先用人类偏好数据训练一个奖励模型（Reward Model），再用强化学习调整大模型的参数，使模型倾向于输出奖励分数高的回答。
另一种主流方法是 DPO（直接偏好优化），不需要单独训练奖励模型，直接利用偏好对来更新模型参数，更高效稳定。
核心思想是“教模型分清好坏”，而不是让模型记住更多知识，所以对齐微调通常在指令微调之后进行，两者配合使用。
常见场景
OpenAI 的 GPT 系列在发布前会用 Alignment Tuning 让模型拒绝有害请求、承认自己不知道、避免编造事实。
国内大模型如文心一言、通义千问在公测前也会做类似的对齐微调，减少政治敏感和暴力内容。
企业内部部署客服机器人时，会针对特定业务场景做对齐微调，防止机器人乱承诺或泄露公司机密。
容易混淆的点
Alignment Tuning 常被等同于 RLHF，但 RLHF 只是其中一种实现方式，还有 DPO、PPO 等变体。
它和“指令微调（Instruction Tuning）”不同：指令微调是教模型遵循指令格式，对齐调优是教模型遵循人类价值观，两者通常串行使用。
不是所有模型都会做 Alignment Tuning，一些开源模型只做了基础预训练和指令微调，输出质量明显不如对齐过的商业模型。