研究人员开发ScamAgent：实现诈骗通话全自主实施
研究人员指出，要抵御自主生成内容带来的安全威胁，防御系统必须从简单的提示词过滤，转向对用户意图的持续理解和监控。
来自美国罗格斯大学的研究员Sanket Badhe开发了一个名为ScamAgent的自主多轮对话AI框架，该框架展示了如何将大语言模型转化为实施全自动诈骗对话的工具。这套系统通过整合目标驱动的规划、上下文记忆以及实时的文本转语音技术，成功绕过了现有AI安全防护机制，模拟出高度逼真的社会工程学攻击。
架构创新：中央协调器管理欺诈策略
ScamAgent的架构设计有别于传统的提示词注入攻击，它采用了一个中央协调器来管理多轮交互中的对话状态和欺诈策略。当接收到恶意目标指令时，该智能体会通过目标分解技术，将整体攻击拆解为一系列看似无害的子目标序列，以此模拟人类诈骗者逐步获取受害者信任的完整过程。
绕过安全防护的四大核心技术
目标分解：攻击者将有害的最终目标拆分为一系列看似无害的步骤。因此，防御机制需要能够监控整个多轮对话的过程。欺骗与角色扮演：恶意请求被隐藏在虚构的故事或预设的角色背景中。可通过阻止身份冒充和限制AI的角色扮演行为来缓解此类风险。上下文记忆：系统会记住过往的对话响应，并据此调整后续的诈骗策略。限制历史记忆的长度可以有效降低攻击成功的风险。实时文本转语音：将生成的文本转换为逼真的诈骗语音。在对音频输出前进行内容检查，有助于防止相关技术被滥用。
在五种常见诈骗场景的实验中，ScamAgent展现出其颠覆标准模型对齐与安全协议规则的高度有效性。针对直接恶意查询，模型的拒绝率为84%至100%，而该框架通过分散恶意意图，将拒绝率成功降低到17%至32%。
值得注意的是，在职业身份诈骗模拟中，Meta的LLaMA3-70B模型以74%的完整对话完成率位居首位，且所有子任务均未触发安全停止机制。
防御建议：从简单过滤转向持续监控
研究人员建议，针对自主生成内容的安全威胁，防护体系需要实现从简单关键词过滤到持续理解用户意图的监控模式的转变。建议AI平台的提供商和安全团队实施多层防御策略，包括部署用于预测长期对话结果的序列分类器，以及对模型记忆保留功能实施严格的控制措施。
热门专题
热门推荐
在《燕云十六声》的天工地窟中，“身如飞燕”宝箱的获取是一场对玩家综合探索能力的深度考验。想要成功开启它，不仅需要耐心与观察力，更需掌握系统性的探索策略。 掌握地窟地形与核心布局 进入天工地窟后，首要任务是进行全方位的地形勘察。建议玩家先熟悉主要通道、分支岔路以及所有可能被忽略的角落，建立完整的地图认
装修这件事，说多了都是泪。找施工队像开盲盒，预算表永远在“动态调整”，设计图看得眼花缭乱……投入大量时间和精力，最后的效果可能还是差强人意。说到底，信息不对称和过程不透明，是大多数装修烦恼的根源。 好在，如今有不少专业的数字化工具，能帮我们把控关键环节。今天就来聊聊五款定位清晰、实用性强的装修类应用
在《燕云十六声》的宏大江湖中，“不见山洞”无疑是一处引人入胜的秘境。这里不仅栖息着珍奇异兽、埋藏着稀世珍宝，更交织着无数待玩家发掘的隐秘故事与特殊事件。若想彻底揭开此地的所有秘密，掌握以下探索技巧至关重要。 进入不见山洞后，首要任务是保持专注，对环境进行细致勘察。洞内的景象暗藏玄机，绝非一目了然。一
在《骷髅传奇》中，神盾系统是决定角色战力的核心模块，远非一件普通装备可比。它更像是一位能够深度定制、伴随你征战四方的忠实伙伴。本文将为你全面解析神盾系统的获取、培养与实战运用，助你将其从基础配置打造为真正的战力引擎，在游戏中脱颖而出。 获取你的第一面神盾是旅程的起点。游戏内提供了多样化的获取途径：完
天成孙悟空这款限定皮肤，以其独特的视觉设计在战场上脱颖而出。它将中国古典神话中齐天大圣的经典形象，与游戏内的现代美学风格进行了深度结合。标志性的金色毛发、可化为武器的金箍棒特效，以及服饰上精致的云纹与神话元素，共同塑造了一个极具战场辨识度的英雄形象。这种高辨识度本身，在战术层面就具有独特价值——它能