首页 游戏 软件 资讯 排行榜 专题
首页
AI
新型攻击正反转AI防护系统为攻击利器?

新型攻击正反转AI防护系统为攻击利器?

热心网友
80
转载
2025-12-19

安全研究机构揭秘了一种被称为“循环欺骗”(LITL)的攻击手法——这种技术能够伪造智能系统的人机交互审核对话窗口,诱导用户批准并执行恶意指令。攻击者通过隐藏或篡改关键命令、操纵消息摘要以及利用Markdown排版技巧,让用户误以为操作完全安全,从而轻松绕过系统的安全屏障。

Checkmarx最新发布的研究报告详细拆解了“循环欺骗”(Lies-in-the-Loop,简称LITL)攻击如何伪造审批对话框,骗取用户批准恶意代码的执行。

Checkmarx的研究结果显示,智能系统普遍依赖的“人在循环中”安全审核机制,实际上可以被攻击者巧妙攻破。通过仿造人机交互对话框,攻击者能够利用这套机制来运行恶意指令,最终实现其非法意图。

具体而言,人机交互对话框是智能系统在执行关键操作前的最后一道安全防线。无论是修改文件、访问系统资源,还是运行一段代码,系统都会弹出一个类似“您确认要执行此操作吗?”的确认框,等待人工审阅。

Checkmarx的研究团队将这种攻击手法命名为“循环欺骗”,它本质上是针对人机交互对话框的伪造技术。攻击者通过将恶意指令伪装成看似无害的内容插入到AI提示中,从而误导审核人员批准那些看似安全实则危险的代码变更。

这项研究明确指出,简单地依赖人工审核流程并无法完全杜绝提示层面被滥用的风险。一旦用户无法可靠地识别出他们被要求批准的内容本质,人机交互机制就不再是有效的防护栏,反而会成为一个新的、隐蔽的攻击面。

在详细介绍该技术的一篇博文中,Checkmarx研究人员写道:“‘循环欺骗’攻击充分利用了用户对这类审核对话窗口的信任。通过操纵对话框中呈现内容的表达方式,攻击者能够将本该是防护措施的界面变为自己的武器。一旦提示看起来毫无威胁,用户往往会毫不犹豫地点击批准。”

对话窗口伪造,让安全监管变成了攻击手段

这个问题的根源在于AI系统向用户呈现确认对话框的方式。标准的工作流程通常会总结智能体想要执行的操作内容,并期望人类审核者能在点击批准前发现任何可疑之处。

Checkmarx在其报告中详细展示了攻击者如何通过隐藏或者弯曲那些恶意命令来操控这些对话框。例如,他们会用看似无害的文本填充有效负载、将危险指令推至可视范围之外,或者精心设计提示,诱导AI生成与其实要执行的内容完全不符的误导性摘要。

这种情况在命令行终端环境中尤为显著。长篇幅或是格式化后的输出内容使得这种欺骗行为很容易被忽视。研究结果显示,由于许多智能体以高权限运行,一次误导性的批准操作,就可能直接转化为一连串的代码执行、操作系统命令运行、文件系统访问,甚至导致下游系统被攻破。

除了“填充”或“截断”摘要,研究人员还描述了其他几种滥用内容呈现方式的对话框伪造技术。通过利用Markdown渲染和排版特性,攻击者可以在视觉上将无害文本与隐藏命令分割开来,或是操控摘要内容,使人类可见的描述部分看起来完全正常,不具恶意。

研究人员补充解释道:“理论上,攻击者甚至可以突破用于呈现人机交互对话框的Markdown语法限制,向用户展示经过伪造的、仿真度更高的用户界面。这可能导致更为复杂的‘循环欺骗’攻击,其欺骗手段几乎无法被直接察觉。”

面向智能体与用户的实用防御措施

Checkmarx主要向智能体开发者提出了多项建议措施,敦促他们从根本上转变观念——应将人机交互对话框视为一个可能被操控的、具有风险的元素,而非天生值得信赖的安全环节。具体建议包括:限制对话框的内容呈现方式、限制使用过于复杂的用户界面格式,并明确区分人类可见的摘要描述与将要执行的基础操作指令。

研究人员还建议,对已批准的操作进行事后验证,以确保它们与用户在确认时看到的内容完全匹配。

对于AI用户,他们指出,在视觉元素更丰富的用户界面环境中运行的智能体,会比在纯文本终端中更容易检测出欺骗行为。报告中提到:“例如,VS Code这类扩展程序提供了完整的Markdown渲染功能,能够清晰展示格式化的内容;而终端环境通常仅使用基本的ASCII字符来显示信息,其识别难度更大。”

Checkmarx方面表示,他们已将这一问题通报给了Anthropic与微软两家主流厂商。两家公司均已确认收到了这份研究报告,但均未将其归类为需要立即修补的安全漏洞。截至发稿时,这两家公司尚未就置评请求对媒体做出回应。

来源:https://www.51cto.com/article/832332.html
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

最新APP

宝宝过生日
宝宝过生日
应用辅助 04-07
台球世界
台球世界
体育竞技 04-07
解绳子
解绳子
休闲益智 04-07
骑兵冲突
骑兵冲突
棋牌策略 04-07
三国真龙传
三国真龙传
角色扮演 04-07

热门推荐

《Zero Parades: For Dead Spies》游戏评分与媒体评价汇总
游戏攻略
《Zero Parades: For Dead Spies》游戏评分与媒体评价汇总

《Zero Parades: For Dead Spies》的媒体评测已经解禁,结果相当亮眼。这款被许多人视为《极乐迪斯科》精神续作的作品,在OpenCritic上拿到了86分的媒体均分,在Metacritic上也有83分。游戏将于5月21日正式登陆PC平台,看来2026年的必玩叙事RPG名单上,又

热心网友
05.18
Excel多级分类汇总一句话快速完成
AI
Excel多级分类汇总一句话快速完成

目录 你是否也遇到过这些问题 处理效果 前置准备 超简单AI自动化解决方案 第1步:准备好你的原始数据 第2步:针对指定的文件下达指令 第3步:验收 还能解决这些同类问题 指令为什么这么有用? 更多场景直接抄作业 销售数据三级汇总 成本数据多级汇总 库存数据汇总 员工薪资汇总 常见问题答疑 核心价值

热心网友
05.18
Kimi K2.6 智能体功能深度解析与体验评测
AI
Kimi K2.6 智能体功能深度解析与体验评测

AI Agent 的发展,正迎来一个关键的转折点,从概念验证迈向真正的生产力交付。 想象一下,当一个 AI 智能体能够在无需人工介入的情况下,独立完成一个复杂项目的全流程,并将成功经验固化为可随时调用的“技能”——这是否标志着 AI 在职场中的角色,已经从辅助工具演变为自主的生产力单元? 随着 Op

热心网友
05.18
苹果WWDC26前瞻 iOS27新Siri界面交互升级预测
AI
苹果WWDC26前瞻 iOS27新Siri界面交互升级预测

彭博社的马克・古尔曼在最新报道中透露了一个有趣的发现:苹果为WWDC 26发布的宣传海报,其设计细节可能暗藏玄机,指向了即将在iOS 27中亮相的全新Siri交互界面。 根据古尔曼的分析,新版Siri的核心变化在于与灵动岛的深度融合。唤醒时,它将不再以传统的全屏或底部卡片形式出现,而是会以一个扩展的

热心网友
05.18
GitHub刷星乱象调查 AI项目成虚假评分重灾区
AI
GitHub刷星乱象调查 AI项目成虚假评分重灾区

GitHub 的 Star 数量还值得信赖吗?真相可能比你想象的更严峻。 开源社区中“购买 Star”的现象早已不是秘密,其便捷程度甚至超过点外卖,单价低廉且支持批量折扣。然而,卡内基梅隆大学(CMU)一项被 ICSE 2026 顶会收录的最新研究,首次系统性地揭示了这场“造假生意”的惊人规模:Gi

热心网友
05.18