大模型应用这几年发展得风生水起，但伴随而来的，是一种全新的攻击套路。它藏得极深，传统的安全手段几乎拿它没办法。今天就来聊聊，怎么把这种威胁揪出来，并且在实际对抗中真正奏效。
一、新的安全战场
大模型和传统软件最大的不同在于它的“对话”属性——它靠海量数据训练而成，本质是从用户输入的 Prompt 中理解和生成语言。也正因为这个特性，恶意 Prompt 攻击，正在成为安全领域一块全新的、充满挑战的战场。
攻击者只需要在 Prompt 上动动手脚，就能操纵模型的行为。诱导它调用插件输出错误结果、执行恶意命令，甚至泄露各种敏感信息，都不是什么难事。关键问题是，这种攻击的隐蔽性极强，传统安全检测手段在它面前，基本处于“看不见”的状态。
（图1：大模型时代下面临的安全威胁分类）
下面简单列举几个真实发生的案例，看看恶意 Prompt 攻击到底能造成多大的破坏。
1.1 借助大模型“黑掉”你的电脑
某海外大厂最近发布了前沿大模型的新功能——“Computer Use”，简单说，就是让大模型能直接控制你的电脑。它靠截取屏幕截图来做决策，能运行 bash 命令，控制鼠标键盘……听起来很酷，是吧？但安全隐患也随之而来。
黑客只需要准备好三样东西：一台自己控制的 C2 服务器、一个恶意文件、一个让大模型去下载的页面。然后呢？
- 诱导大模型像正常用户一样，去点击下载那个恶意文件。
- 再让大模型自己去找文件、修改权限、然后运行它。
- 你的电脑，就在大模型的“帮助”下，成功被黑客接管了。
（图2：绕过某大模型产品的应用层限制，诱导模型下载恶意文件）
（图3：大模型模仿用户点击下载恶意文件）
（图4：大模型在本地查找并运行恶意文件）
（图5：用户电脑被黑客远程控制并查看目录）
1.2 “唾手可得”服务器权限
黑客把 Prompt 注入、代码变形、字符串编码拼接这些手法组合起来用，就能绕过应用层的限制，让大模型应用在后端容器里执行任意代码或命令，服务器权限相当于拱手送人。
（图6：绕过某大模型产品的对话层限制，成功执行系统命令）
（图7：利用某大模型产品工作流，成功获取云服务凭证）
1.3 “手到擒来”用户隐私数据
黑客在网上散布一些看似无害的钓鱼链接或文件，里面埋着恶意配置。一旦用户点击，就会触发大模型的长期记忆功能漏洞，植入虚假记忆或恶意指令。之后，用户的每一次对话内容，都会被偷偷拼接成 Markdown 图片链接，泄露到外部服务器上，隐私数据就这么被偷走了。
（图8：某大模型产品泄露用户对话数据）
（图9：某大模型产品泄露用户对话数据）
二、新战场的布防
2.1 大模型方案的优势
传统的 Web 应用防火墙（WAF）在自然语义理解上存在天然短板，面对这种攻击时频频漏检。举个例子，攻击者在做测试时，写的 Prompt 内容可能完全没命中 WAF 的正则关键词，结果就被当成正常请求放过去了。
（图10：真实攻击漏报事件）
针对这个问题，业内主要有三种解决方案。对比下来，在检测外部恶意 Prompt 这个场景下，大模型方案在泛化能力、检出效果和维护成本上，优势非常明显：
| 可选方案 | 基于大语言模型 | 基于传统机器学习引擎 | 基于正则引擎 |
| 方案说明 | 基于大模型海量知识底座，利用Prompt调优进行恶意攻击场景泛化识别。 | 利用机器学习算法对大量流量进行分析，自动学习并识别恶意模式。 | 基于专家经验提炼的特征编写正则，进行特征匹配检测。 |
| 方案优点 | 维护成本低，有安全知识基础，场景泛化能力极强。 | 无需规则维护，能自我学习，一定程度应对未知威胁。 | 开发成本较低。 |
| 方案缺点 | 偶尔存在模型幻觉、分析结论不稳定。 | 对数据量和质量要求高，不同攻击类型需单独训练，泛化能力较差。 | 正则维护繁琐，检测模式单一，无法应对未知威胁。 |
| 检测效果 | ⭐️⭐️⭐️⭐️ | ⭐️⭐️ | ⭐️ |
| 维护效率 | ⭐️⭐️⭐️⭐️ | ⭐️⭐️ | ⭐️⭐️ |
| 泛化能力 | ⭐️⭐️⭐️⭐️⭐️ | ⭐️⭐️ | ⭐️ |
2.2 大模型 Cosplay 派对侦探
通过对恶意攻击样本和拦截日志的聚类分析，我们发现恶意 Prompt 攻击的核心其实在于：如何深入分析提问者的真实场景和意图。而在这一点上，大模型天然拥有超强的推理和语言理解能力，让它来当这个“安全运营分析员”，再合适不过。
借鉴过往经验，我们设计了一套更有性价比的检测流程。可以把它想象成一个派对，你要找出那些不守规矩的捣蛋鬼：
- 第一步，先用一份“不受欢迎名单”快速过一遍，把明显正常的来宾筛掉。（恶意攻击特征初筛）
- 第二步，请来一位观察力超强的侦探朋友（也就是大模型），让他进一步找出可疑分子。（大模型检测）
- 第三步，只有侦探依然觉得有问题的人，才需要你亲自去处理。（人工研判处置）
（图11：恶意 Prompt 检测分析流程）
这个流程就像一个漏斗，一层层把威胁过滤出来。当然，侦探偶尔也会看走眼，所以还需要一些策略和行为标签来帮他提高准确率。具体来说：
- 通用攻击场景拆分： 根据现网样本日志，我们划分了六大类场景，细化了30多个攻击子场景。大模型利用自己的语义理解和安全知识，快速判断用户行为并归类打标。
- Prompt Engineering： 通过精心构造的 Prompt 来引导大模型打标和分类。一旦发现大模型识别错误或描述不准，就反馈给运营同学，反过来优化场景定义，形成闭环。
另外，为了应对复杂 Prompt 人工审核时的漏判、误判问题，我们还引入了大模型来辅助安全运营。它能自主识别并提供解释，配合人工快速复核。同时，通过企业微信机器人把恶意 Prompt 推送到群里，方便运营人员第一时间处置。
2.3 老生常谈的沙箱加固
随着插件和工作流越来越丰富，通过恶意 Prompt 调用大模型运行恶意代码，从而入侵服务器的攻击方式也越来越多，直接威胁到用户数据和业务敏感文件。
（图12：某大模型产品遭受 Prompt 攻击泄露内部云账号密码）
所以，除了前端检测，后端的组件加固同样关键。通过容器加固，可以实现网络隔离、多用户隔离和容器逃逸防护，确保用户代码执行环境与业务环境完全隔离，营造一个相对安全的代码执行环境。
三、总结
恶意 Prompt 攻击，只是大模型时代安全挑战的冰山一角。安全从业人员面对的，不止是技术难题，更是一场旷日持久的攻防战。
安全从来不是一蹴而就的工程，它需要持续投入、不断更新。正视当下的挑战，同时为未来可能出现的威胁做好准备，才是正确的姿态。
这条路没有终点，与诸位同僚共勉。