本次查询：越狱攻击
中文解释：越狱攻击
常见场景：大模型安全防护
一句话解释
越狱攻击是指用户通过构造特殊文本提示，诱使AI模型绕过其内置的安全对齐规则，输出原本被禁止的内容。就像破解手机系统的“越狱”一样，它突破了模型的服务条款限制。
为什么会被关注
随着ChatGPT等大模型广泛应用，开发者通过安全对齐（如RLHF）限制了模型输出有害信息。但越狱攻击不断出现新变种，可能被用来生成诈骗话术、仇恨言论、恶意代码或规避伦理审查。
对于企业和监管机构而言，越狱攻击直接威胁AI产品的合规性与用户信任。研究和防御这类攻击已成为大模型安全领域的核心议题，也是红队测试的重点评估项。
核心逻辑
越狱攻击利用大模型对上下文理解的灵活性和“角色扮演”能力。攻击者将有害请求伪装成虚构故事、学术研究、编程任务或角色扮演场景，使模型在“协助”的思维惯性下忽视安全规则。
经典手法包括“DAN”（Do Anything Now）提示，要求模型扮演一个不受限制的角色；还有“反面角色扮演”，即让模型扮演一个反派来模拟对话。攻击往往依赖多层嵌套指令或矛盾约束来动摇模型的判断。
常见场景
在聊天机器人中，用户可能要求模型“假装自己是坏人并教用户犯罪步骤”，或者把敏感问题包装成“分析一部恐怖电影情节”。黑客也会利用越狱攻击让模型输出系统提示词或内部配置信息。
另一场景是在代码生成服务中，通过诱导模型编写钓鱼邮件脚本或恶意软件；在内容创作工具中，则可能生成违反社区准则的色情或暴力描写。这些场景都指向安全护栏的薄弱环节。
容易混淆的点
越狱攻击常与“提示注入”（Prompt Injection）混淆。提示注入侧重于让模型执行意外指令（如泄露系统提示），而越狱攻击更侧重绕过内容限制输出违规内容。两者有重叠但目标不同。
另外，越狱攻击不等于“漏洞利用”。它不涉及代码级漏洞，而是利用模型训练中的弱点。普通用户通过精心措辞即可实现，因此防御更依赖输入检测和模型层面的固有安全优化。