研究人员开发ScamAgent：能自主实施诈骗对话的AI系统
研究人员强调，要抵御自主生成内容带来的安全威胁，安全系统需要从简单的提示过滤转向对用户意图的持续监控。建议AI平台开发商与安全团队共同构建多层防护机制，包括采用能够预测长期行为结果的序列分类器，并对记忆保留功能实施严格管控。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
美国罗格斯大学研究员Sanket Badhe开发的ScamAgent是一个具备自主对话能力的多轮交互框架，展示了如何将大语言模型（LLM）转化为实施全自动诈骗对话的工具。该系统通过整合目标驱动规划、上下文记忆管理和实时文本转语音（TTS）合成技术，成功绕过了现有AI安全防护机制，模拟出高度逼真的社会工程攻击。
架构创新：中央协调器管理欺诈策略
ScamAgent的架构与传统提示注入不同，采用中央协调器来管理多轮交互中的对话状态和欺诈策略。当接收到恶意目标时，该代理会通过目标分解将攻击拆分为看似无害的子目标序列，模拟人类诈骗者逐步建立受害者信任的过程。
绕过安全防护的四大核心技术
目标分解：攻击者将有害目标拆分为看似无害的步骤。防护需要监控多步对话过程。欺骗与角色扮演：恶意请求被隐藏在虚构故事或最新角色中。可通过阻止身份冒充和限制AI角色来缓解。上下文记忆：系统记忆过往响应并调整欺诈策略。限制历史记忆长度可降低风险。实时TTS：文本转为逼真诈骗语音。音频输出前的内容检查有助于防止滥用。
在五种常见诈骗场景的实验中，ScamAgent展现出颠覆标准模型对齐和安全协议的高度有效性。直接恶意查询的拒绝率为84%-100%，而该框架通过分散恶意意图，将拒绝率降至17%-32%。
值得注意的是，在职业身份诈骗模拟中，Meta的LLaMA3-70B模型以74%的完整对话完成率位居首位，所有子任务均未触发安全停止机制。
防护建议：从简单过滤转向持续监控
研究团队指出，应对自主生成威胁需要安全系统实现从基础提示过滤到持续意图监控的转变。建议AI平台厂商与安全团队协同部署多层防护体系，包括用于预测长期行为模式的序列分类器，以及对记忆保留机制的严格管控措施。
相关攻略
Anthropic牵头启动“Project Glasswing”，联手科技巨头共筑AI时代网络安全防线 AI安全领域的动态，总能引人侧目。最近一则消息传出，Anthropic在周二正式宣布，将联手多家科技巨头启动一项新计划，目的很明确：提前应对未来更强大AI模型可能带来的潜在网络安全威胁。 “Pro
从漏洞公告到Root Shell：一次AI驱动的漏洞开发实战 发现漏洞和利用漏洞，这中间的鸿沟有多大？业内人都清楚，这完全是两个不同的世界。模糊测试工具像AFL、syzkaller，它们在内核里翻找漏洞已经有十多年历史了。但找到漏洞是一回事，把它变成能远程拿到系统最高权限的武器，那又是另一门需要深厚
传统杀伤链已死？当攻击者“骑乘”在你的AI Agent之上 长久以来，网络安全防御体系都建立在一个核心假设之上：攻击者需要像闯关一样，一步步夺取权限。但AI Agent的出现，正在将这个前提彻底推翻。 2025年9月，Anthropic披露的一起事件堪称标志性：某国家背景的威胁组织利用AI编程Age
网络安全投入持续攀升，但一个更深层的结构性风险却常常被忽视：系统间的紧密耦合正让连锁故障成为整个数字生态的致命软肋。 在投身网络安全领域之前，我的职业生涯始于软件工程，专注于为工业制造、大型物流网络和自动化仓储系统构建高度集成的解决方案。那段经历留下了一个深刻的烙印：在耦合度极高的系统里，局部故障极
典型应用场景安全风险与应对策略 近期，工业和信息化部网络安全威胁和漏洞信息共享平台联合多方专家，针对开源智能体OpenClaw（坊间俗称“龙虾”）发布了一份安全使用指引。这份名为“六要六不要”的建议，直指当前几个典型应用场景下的核心风险点。 具体内容相当详尽，我们来逐一拆解，看看在不同的业务场景下，
热门专题
热门推荐
三季报收官，光伏企业交出了近年难得的尚佳成绩 三季报发布完毕，光伏行业总算交出了一份近年来难得的、还算不错的成绩单。市场等这一刻，确实等了挺久。 根据Choice光伏设备板块收录的78家企业财报，整个板块三季度的净利润达到了7 58亿元。这个数字怎么看？不妨对比一下：就在二季度，板块的净亏损还高达4
北京天兵科技天龙三号火箭首飞失利解析 最近，北京天兵科技自主研发的天龙三号大型液体运载火箭，在酒泉卫星发射中心执行首次飞行任务时遭遇失利，这无疑是给国内商业航天关注者带来了一次震动。这款被寄予厚望的火箭，瞄准的是近地轨道20吨级的可回收运力，其设计初衷是通过低成本、高频次的发射模式，抢占一箭36星组
苹果芯片实战：48台Mac mini搭建本地AI集群，如何碘伏云端语音识别？ 最近科技圈有个挺有意思的消息。知名播客应用Overcast的开发者Marco Arment，自己动手搭了个“大家伙”——一个由48台苹果Mac mini组成的服务器集群。关键是，这个集群没走寻常路，它完全绕开了云端AI服务
纯电赛道再进化：领克10系列如何重新定义“运动轿车”？ 如果问，纯电时代最让人怀念传统燃油车的是什么？很多人会把票投给两件事：说走就走的补能，和随心所欲的操控。最近，领克用一场全球首秀给出了自己的答案。旗下全新的中大型运动轿车领克10，以及更极致的性能版本领克10+联袂登场。这不仅仅是两款新车，更像
苹果正酝酿一款“可自定义”的Vision Pro，核心框架支持模块化拼装 一则来自供应链和专利领域的消息，引起了科技圈的关注。4月8日，有外媒报道指出，苹果似乎并不满足于当前的一体化设计思路，其正在深入探索如何打造一款高度可自定义的Apple Vision Pro。未来的VR AR头显，用户或许能像