本次查询：安全对齐
中文解释：安全对齐
常见场景：大模型训练与部署
一句话解释
安全对齐就是让AI模型明白“什么该做、什么不该做”，确保它的回答和行为符合人类设定的规则、道德和法律底线。
为什么会被关注
随着大模型能力增强，它们可能产生虚假信息、歧视性言论甚至危险建议。如果模型“能力很强但方向不对”，后果可能很严重。安全对齐正是为了防止这类失控，让AI在提供帮助的同时不伤害用户和社会。
监管压力也是重要原因。多国正在出台AI治理法规，要求模型输出必须可解释、可追溯、不违背伦理。没有完成安全对齐的模型很难通过合规审查，也无法在真实场景中大规模使用。
核心逻辑
安全对齐的核心是让模型学会“拒绝”或“修正”有害行为。常用方法包括RLHF：先让人类对模型输出打分，再用这些偏好数据训练一个奖励模型，最后通过强化学习优化主模型，使其更倾向于输出高分（即更安全、更符合人类意图）的回答。
此外还有“规则注入”方法，例如在提示词中嵌入固定安全指令，或对模型输出进行后处理过滤。更高级的“宪法性对齐”则让模型自己依据一套规则进行内部审查。多种方法组合使用效果更佳。
常见场景
最常见的场景是对话机器人。比如用户询问“如何制造危险化学品”，安全对齐后的模型会拒绝回答并解释原因，而不是直接给出步骤。
另一个场景是内容生成工具。当用户诱导模型写歧视性文案时，安全对齐能强制模型输出中性、礼貌的文本。在代码生成、医疗建议等垂直领域，安全对齐还会保障输出符合专业规范和法律法规。
容易混淆的点
很多人把“安全对齐”等同于“内容审核”。实际上，安全对齐是模型训练阶段的内嵌机制，而审核是部署后的外部过滤。前者让模型主动避免有害行为，后者只是被动拦截。
还有观点认为安全对齐会削弱模型能力。事实上，合理对齐只限制非法或不道德输出，不影响正常推理。过度或错误的对齐才可能导致模型“过于保守”，但优秀的对齐设计能在安全与性能间取得平衡。