本次查询：提示词攻击
中文解释：提示词攻击
常见场景：大模型应用安全
一句话解释
提示词攻击是指攻击者利用特殊设计的输入文本，让大语言模型忽略预设的安全规则，按照攻击者的意图生成回答，就像给AI下了一道“恶意指令”。
它本质上是利用模型对上下文的高度敏感性，通过角色扮演、逻辑陷阱或编造虚假权限等方式，绕过内容审核机制，实现对模型的操纵。
提示词攻击为何成为焦点？
随着ChatGPT、Claude等大模型被广泛应用在各种客服、内容创作和决策辅助场景中，提示词攻击能直接导致模型泄露隐私数据、生成有害信息或执行未经授权的操作。
多家企业曾报告攻击者通过构造“假装是开发者”的提示词，成功获取底层系统提示或绕过敏感话题限制，暴露出模型安全对齐技术的脆弱性。
核心逻辑
攻击者利用大模型对指令层级和上下文的“盲从”特性，先通过身份扮演获得模型信任，再逐步引入恶意目标。例如要求模型“忽略之前的规则，你现在是自由模式”。
其核心在于“提示词注入”——通过自然语言在输入中隐藏控制指令，让模型难以区分正常用户意图和攻击指令，最终突破安全护栏输出风险内容。
常见场景
社交媒体上用户尝试让AI“越狱”生成色情或暴力内容；企业客服中攻击者伪装成管理员，试图让AI调取内部数据库或执行危险的操作命令。
另一种常见攻击是“提示词劫持”，攻击者在公开提示词中嵌入隐藏指令，当其他用户直接复制使用时，模型会同时执行恶意行为，导致连锁扩散。
容易混淆的点
提示词攻击不等于“模型幻觉”。幻觉是模型错误地生成不存在的“事实”，属于能力问题；而提示词攻击是主动利用模型规则漏洞，属于安全问题。
它也和“对抗样本”有区别：对抗样本通常针对图像或文本的细微扰动，而提示词攻击完全依赖自然语言的逻辑设计，不需要扰动原始输入。