游乐游手机版
首页/AI热点日报/热点详情

防御者采用提示注入技术有效反制AI黑客攻击

类型:热点整理2026-07-15
Tracebit团队研发上下文冲击波技术,将提示注入指令植入密码等敏感数据旁,使攻击智能体触发拒绝机制而停摆。对五款模型152次测试显示,管理员权限提升率从57%降至5%,完全入侵率从36%降至1%。这是防御者首次运用提示注入反制AI攻击。

提示注入攻击有多危险?简单说,攻击者把恶意指令悄悄塞进内容里,大语言模型就会乖乖照做。一条精心措辞的指令,只要藏进一封邮件或一个日历邀请,就足以让模型泄露敏感数据,甚至干出更出格的事。这招,黑客用起来早已得心应手。

防御者开始用提示注入技术反制AI黑客攻击

但现在,攻守易势了——防御者也端起了同样的武器。

本周一,Tracebit的研究团队公布了一项新发现:他们只需把提示注入指令和密码、加密密钥这些存在AWS上的敏感信息放在一起,就能有效阻断AI黑客智能体的攻击。原理很简单——这些指令会诱导攻击方的模型去干一件被安全护栏明确禁止的事。模型一旦撞上护栏,就会自动停摆。

举个例子,指令可以是要求模型提供制造可吸入型炭疽孢子的步骤,或者针对中文模型,提及天安门广场事件中的标志性画面。只要模型遭遇这些禁区指令,它就会当场拒绝,不再执行原来的任务。研究人员给这招起了个名字:“上下文冲击波”(context bombing)。

Tracebit联合创始人安迪·史密斯是这么解释的:“说白了,我们是在上下文里塞了一颗触发拒绝机制的‘冲击波’。效果猛烈,而且AI几乎缓不过来——只要这条内容进入上下文,它就会一直拒绝,停不下来。”

初步测试结果相当亮眼。研究团队对Opus 4.8、Gemini 3.1 Pro、GLM 5.2、DeepSeek 4 Pro和Kimi 2.6五款主流模型进行了测试:给它们分配常规开发任务,引导它们去扫描资源,然后“偶遇”预先埋下的诱饵字符串。整个测试在模拟的AWS环境中进行。

团队在报告中写道:“五款模型共152次攻击测试中,一条藏在诱饵密钥里的指令,就把智能体成功拿到完整管理员权限的比率从57%砸到了5%;同时留下持久立足点的完全入侵,也从36%降到1%。表现最强的Opus 4.8原本在93%的测试里都能提权成功,碰上上下文冲击波之后,全栽了。”

综合五款模型、152次测试的平均结果:

管理员权限提升成功率:57% → 5%
带持久立足点的管理员权限提升:36% → 1%
实现任意攻击路径的测试比例:91% → 15%
每次测试平均完成的攻击路径数:1.53条 → 0.16条
没有任何一次测试能在不触发诱捕的情况下完成攻击路径。

这项研究是今年5月工作的延续。当时Tracebit提出了一种预警方法:在AWS里部署一批看起来有用、但从未实际使用的“幌子”资源,紧挨着真资源。一旦AI智能体碰到它们,防御者就会收到告警。就像煤矿里的金丝雀,让威胁在造成致命伤害前就暴露出来。

这套“金丝雀”资源平均能在攻击开始后8分钟发出告警。而“上下文冲击波”的研发动机,正是源于在预警之外实现主动阻断的需求。测试中,AI智能体平均需要14分钟完成提权,留给防御者的窗口只有6分钟,太短了。

攻击者早已在用提示注入关停AI防御系统。上个月,安全公司Socket的研究人员就发现了一个AI智能体,它会指示目标模型提供制造核弹或生物武器的方法,以此瘫痪基于AI的恶意软件分析。Check Point也发现了类似的原型。而“上下文冲击波”,恐怕是目前已知防御者第一次成功“以彼之道,还施彼身”。

加州大学圣地亚哥分校专注AI安全的教授厄尔伦斯·费尔南德斯说:“据我所知,我还没见过别人把这套思路用在防御上。”他原打算在另一个场景里尝试类似方法,没想到被抢先了。

提示注入攻击的根本原因至今没有已知的解法,开发者只能靠堆复杂的安全护栏来防止模型“脱轨”。现在,防御者终于找到了一条路,把这个棘手的缺陷变成自己的武器。

Q1:什么是“上下文冲击波”技术,它是如何工作的?
上下文冲击波是Tracebit开发的一种防御技术。原理是把特定的提示注入指令塞进密码、密钥等敏感信息旁边。攻击方的AI智能体扫描这些资源时,会撞上被模型安全护栏明确禁止的命令——比如要求提供生化武器制造步骤,触发模型的拒绝机制,从而让攻击智能体自动停摆,无法继续完成任务。

Q2:上下文冲击波实际测试效果如何?
非常显著。五款主流模型共152次测试中,植入上下文冲击波后,AI智能体成功获取管理员权限的比率从57%降到5%,完全入侵成功率从36%降到1%。能力最强的Opus 4.8原本在93%的测试中能成功提权,遭遇上下文冲击波后100%失败。

Q3:提示注入攻击目前有没有根本性解决方案?
没有。目前开发者只能靠构建复杂的安全护栏来防止模型执行有害操作。上下文冲击波正是利用了这个尚未解决的缺陷,把攻击者常用的手段转化为了防御工具——目前已知防御者首次“以攻为守”的成功案例。

来源:https://ai.zhiding.cn/2026/0714/3193212.shtml

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。