智能体如何通过普通网络搜索泄露企业数据？
最新研究发现，部署在企业环境中的智能体可能遭受间接提示注入攻击，从而在用户毫不知情的情况下泄露敏感数据。
该研究由Smart Labs AI与奥格斯堡大学联合开展。研究人员希望深入了解间接提示注入在实际应用场景中的运作机制。研究重点聚焦于结合了大型语言模型、内部文件检索系统和网页搜索工具的智能体。这种组合架构在企业环境中正变得越来越普遍。智能体接收用户请求后，会同时搜索内外部资源，最终综合生成回答。
研究人员指出，攻击者只需让智能体读取一个被精心篡改的网页，就能指示其检索内部数据并传送到远程服务器。触发操作流程的用户可能以为自己在进行常规搜索，实际上智能体已在后台传输机密信息。
隐藏指令的潜在威胁
这类攻击无需特殊访问权限或恶意软件支持。攻击者只需让模型读取包含隐藏指令的文本即可生效。有研究人员在博客文章中使用白色背景上的白色文字进行演示，同时指出其他伪装方式同样有效。当智能体将网页作为正常任务流程进行处理时，它会同时吸收隐藏文本和可见内容。语言模型会将这些文本解析为可执行指令。
研究团队设计的测试指令会指示智能体查找存储在公司知识库中的机密信息，然后利用内置网页搜索工具将这些信息发送到攻击者控制的服务器。整个过程中用户不会察觉到任何异常情况。
研究人员采用了一种具备检索增强生成功能的标准智能体架构。该智能体既没有配置错误提示，也没有发生常规意义上的数据泄露。系统完全按照设计规范运行，而这正是问题的棘手之处。攻击者并非强行突破系统防线，而是说服系统利用自身功能执行恶意操作。
跨模型兼容性测试
该研究的重要贡献在于其测试规模。研究人员并未仅测试一两个模型，而是为每个模型创建了1068个独特的攻击样本，结合了隐藏指令的不同模板和变换形式。某些变换会使提示文本变长或缩短，有些会对指令进行重新表述，还有些会将指令编码为Base64格式或插入不可见的Unicode字符。
不同模型的防御能力存在显著差异。有些模型始终遵循隐藏指令，而另一些则能有效抵御攻击尝试。论文指出，模型规模并非可靠的防御指标。大型模型并不总是更具抵抗力，某些小型模型的防御表现反而优于大型模型。这表明训练方法比参数量更为关键。
来自某些供应商的模型几乎能抵御所有攻击尝试，而其他模型则更容易受到影响。研究人员并未按安全性对供应商进行排名，而是强调训练实践和校准方法在抵御攻击方面似乎发挥着更为重要的作用。
Lasso Security公司首席执行官Elad Schulman在与Help Net Security交流制定该领域指导方针的工作时表示，多项合作计划正朝着建立理解这些威胁的共同框架迈进。他透露，开放网络安全应用项目、美国国家标准与技术研究院、CoSAI和私营公司正在为分类方法、标准和研究实践做出贡献。据Schulman称，针对智能体系统的攻击正在快速发展，企业应在整个部署过程中对模型进行测试并采取专门的安全措施。
传统防御措施的局限性
现有防护手段主要侧重于直接的用户输入过滤，在用户输入的内容到达模型之前进行筛查。而间接提示注入则绕过了这层防护，因为用户并非恶意文本的直接来源。模型在执行常规任务（如总结文档或扫描网页以获取上下文）时遭遇攻击。
虽然攻击模板已经公开，但相同的攻击模式在新模型中依然有效。由于行业内缺乏广泛交流，防护经验未能得到有效传播。
Schulman认为，在行业标准稳定之前缺乏共同参考点是暂时现象，但具有重要意义。他指出，研究团队正在构建分类系统和绘制攻击技术图谱。他表示，在那之前，企业应假设这些漏洞将持续演变，并对任何能够访问内部系统的智能体进行结构化测试。
CISO需关注的重点
安全团队应将智能体视为需要防护措施的软件系统，而非孤立的聊天界面。监控输出行为、在智能体与外部工具之间添加策略检查点，以及控制智能体可以访问的内部数据源，都是分层防护体系的必要组成部分。
Schulman指出，随着智能体开始处理图像、音频以及在系统间执行操作的工具，攻击面正在持续扩大。他表示，隐藏指令可能出现在视觉内容、搜索结果或工具输出中，而多步骤智能体工作流程可能执行传统监控系统认为合法的操作。
智能体虽然具备大规模应用的潜力，但安全团队需要像管理身份验证、浏览器安全和代码执行策略一样，对其进行严格管控。正如Schulman所说，随着智能体进入浏览器、电子邮件和工作场所工具，企业可能在未意识到这些系统已变得高度互联的情况下就已部署了它们。
相关攻略
Game-TARS基于统一、可扩展的键盘—鼠标动作空间训练，可在操作系统、网页与模拟环境中进行大规模预训练。 用鼠标和键盘打游戏的智能体，这就来了！它不仅能在《我的世界》中和普通玩家一较高下。还能玩
最新研究揭示，部署在企业环境中的智能体可能被间接提示注入攻击利用，从而在用户毫不知情的情况下泄露敏感数据。 该研究由Smart Labs AI和奥格斯堡大学共同开展。作者希望了解间接提示注入在实际应
据媒体报道，OpenAI联合创始人Andrej Karpathy近日公开表示，当前AI智能体距离实现“功能完善”仍有相当长的路要走。Karpathy指出：&
10月21日消息，据媒体报道，OpenAI 创始人、“氛围编程”引领者 Andrej Karpathy 认为，AI 智能体距离真正达到“功能完善”的目标，还有很长的路要走。“现在的智能体根本不好用。
10 月 20 日消息，OpenAI 创始人、“氛围编程”引领者 Andrej Karpathy 认为，即便 AI 发展日新月异，耐心仍是一种值得坚持的品质。据《商业内幕》今日报道，Karpath
热门专题
热门推荐
在新能源汽车领域，自主品牌长期占据主导地位，合资品牌曾一度被边缘化，甚至被部分消费者视为“杂牌”。然而，近年来合资品牌开始加速转型，逐渐适应中国市场的新能源需求。广汽丰田铂智3X、日产N7等车型凭借
10月31日消息，今天，小米汽车向大家汇报小米汽车开店新进展。10月新增22家门店，全国125城已有424家门店。11月计划新增17家门店，预计覆盖吉安、临汾、南阳、十堰、渭南、宜宾6座新城市。据了
AI赋能区块链在DeFi、安全与数据分析领域实现突破：1 在DeFi中，AI实现智能投顾、风险管理、流动性优化与跨链互操作性；2 在安全方面，AI提升智能合约审计、节点行为检测、零知识证明效率与链上身份认证；3 在数据应用中，AI推动链上洞察、资产定价、网络监测与反洗合规，全面增强区块链系统的智能化水平。
关于在vivo手机上获取应用的几点思考 前几天帮亲戚调试新买的vivo手机，遇到个挺有意思的情况。他想安装某个特定用途的应用，但在官方应用
保卫萝卜4胡桃夹子第七十二关是一个颇具挑战性的关卡。要顺利通关，需要精心规划布局，合理运用各种道具和炮塔。开局时，场上有一些初始的道具和炮塔。我们首先要利用好这些资源，在怪物出现的