研究人员开发ScamAgent：能自主实施诈骗对话的AI系统
研究人员强调，要抵御自主生成内容带来的安全威胁，安全系统需要从简单的提示过滤转向对用户意图的持续监控。建议AI平台开发商与安全团队共同构建多层防护机制，包括采用能够预测长期行为结果的序列分类器，并对记忆保留功能实施严格管控。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
美国罗格斯大学研究员Sanket Badhe开发的ScamAgent是一个具备自主对话能力的多轮交互框架，展示了如何将大语言模型（LLM）转化为实施全自动诈骗对话的工具。该系统通过整合目标驱动规划、上下文记忆管理和实时文本转语音（TTS）合成技术，成功绕过了现有AI安全防护机制，模拟出高度逼真的社会工程攻击。
架构创新：中央协调器管理欺诈策略
ScamAgent的架构与传统提示注入不同，采用中央协调器来管理多轮交互中的对话状态和欺诈策略。当接收到恶意目标时，该代理会通过目标分解将攻击拆分为看似无害的子目标序列，模拟人类诈骗者逐步建立受害者信任的过程。
绕过安全防护的四大核心技术
目标分解：攻击者将有害目标拆分为看似无害的步骤。防护需要监控多步对话过程。欺骗与角色扮演：恶意请求被隐藏在虚构故事或最新角色中。可通过阻止身份冒充和限制AI角色来缓解。上下文记忆：系统记忆过往响应并调整欺诈策略。限制历史记忆长度可降低风险。实时TTS：文本转为逼真诈骗语音。音频输出前的内容检查有助于防止滥用。
在五种常见诈骗场景的实验中，ScamAgent展现出颠覆标准模型对齐和安全协议的高度有效性。直接恶意查询的拒绝率为84%-100%，而该框架通过分散恶意意图，将拒绝率降至17%-32%。
值得注意的是，在职业身份诈骗模拟中，Meta的LLaMA3-70B模型以74%的完整对话完成率位居首位，所有子任务均未触发安全停止机制。
防护建议：从简单过滤转向持续监控
研究团队指出，应对自主生成威胁需要安全系统实现从基础提示过滤到持续意图监控的转变。建议AI平台厂商与安全团队协同部署多层防护体系，包括用于预测长期行为模式的序列分类器，以及对记忆保留机制的严格管控措施。
相关攻略
3月30日消息，近日上海一女子分享离奇经历：自己深夜熟睡期间，名下某知名生活服务平台账号，竟自动在他人帖子下方留下评论，内容仅简单一句 “有 wifi 吗？”。当事人事后回忆，从未刷到过相关帖子，对
F5公司已发布解决方案指南，强烈建议各组织立即遵循最新缓解步骤。 美国网络安全和基础设施安全局（CISA）已将新披露的F5 BIG-IP系统漏洞纳入其已知已利用漏洞（KEV）目录，警告该漏洞正在真实
智通财经APP获悉，美股网络安全板块周五集体承压下行，CrowdStrike(CRWD US)、Palo Alto Networks(PANW US)和Zscaler(ZS US)股价均下跌逾5%，
3月27日周五早盘，网络安全行业股重挫。周五美股早盘，Tenable一度跌逾13%，Zscaler曾跌超9 5%，Palo Alto Networks曾跌逾8 2%，CrowdStrike曾跌超7
智东西编译 杨京丽编辑 李水青智东西3月27日消息，据《财富》杂志今日报道，Anthropic确认本周正在测试一款名为“Mythos”（神话）的新模型。该模型因数据泄露意外曝光，Anthropic称
热门专题
热门推荐
如果你最近关注过手机市场，应该知道一件事：内存涨价了，而且涨得挺狠，相比之前，同配置的内存成本已经涨了近1000块。这对中低端机型的冲击最明显，本来利润就薄，成本一涨，要么涨价，要么砍配置，对于想换
鼠标指针在PPT演示中消失通常因“指针选项”设为隐藏，可通过右键菜单选“可见”、按Ctrl+A快捷键、取消“自动隐藏鼠标指针”设置、Alt+Tab切换窗口重启渲染，或检查演示者视图
豪威集团近日发布最新财务公告，显示2025年业绩实现显著增长。全年营业收入达288 55亿元，较上年提升12 14%；净利润突破40 45亿元，同比增长21 73%。这一成绩主要得益于半导体设计业务
3月29日，国内首条年产能万台级的人形机器人自动化产线在广东正式投入使用，人形机器人规模化量产能力取得重大突破。该产线年产能突破一万台，可实现每30分钟下线一台人形机器人，高效满足市场规模化交付需求
今日，华沿机器人正式在港交所挂牌上市，开启了其资本市场的新征程。此次上市，华沿机器人发售价定为每股17 00港元，折合人民币约14 99元。开盘时，股价为16 8港元，即人民币14 82元，而收盘价