首页 游戏 软件 资讯 排行榜 专题
首页
科技数码
研究人员开发ScamAgent:能自主实施诈骗对话的AI系统

研究人员开发ScamAgent:能自主实施诈骗对话的AI系统

热心网友
91
转载
2026-03-11

研究人员强调,要抵御自主生成内容带来的安全威胁,安全系统需要从简单的提示过滤转向对用户意图的持续监控。建议AI平台开发商与安全团队共同构建多层防护机制,包括采用能够预测长期行为结果的序列分类器,并对记忆保留功能实施严格管控。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈

美国罗格斯大学研究员Sanket Badhe开发的ScamAgent是一个具备自主对话能力的多轮交互框架,展示了如何将大语言模型(LLM)转化为实施全自动诈骗对话的工具。该系统通过整合目标驱动规划、上下文记忆管理和实时文本转语音(TTS)合成技术,成功绕过了现有AI安全防护机制,模拟出高度逼真的社会工程攻击。

架构创新:中央协调器管理欺诈策略

ScamAgent的架构与传统提示注入不同,采用中央协调器来管理多轮交互中的对话状态和欺诈策略。当接收到恶意目标时,该代理会通过目标分解将攻击拆分为看似无害的子目标序列,模拟人类诈骗者逐步建立受害者信任的过程。

\

绕过安全防护的四大核心技术

目标分解:攻击者将有害目标拆分为看似无害的步骤。防护需要监控多步对话过程。欺骗与角色扮演:恶意请求被隐藏在虚构故事或最新角色中。可通过阻止身份冒充和限制AI角色来缓解。上下文记忆:系统记忆过往响应并调整欺诈策略。限制历史记忆长度可降低风险。实时TTS:文本转为逼真诈骗语音。音频输出前的内容检查有助于防止滥用。

在五种常见诈骗场景的实验中,ScamAgent展现出颠覆标准模型对齐和安全协议的高度有效性。直接恶意查询的拒绝率为84%-100%,而该框架通过分散恶意意图,将拒绝率降至17%-32%。

\

值得注意的是,在职业身份诈骗模拟中,Meta的LLaMA3-70B模型以74%的完整对话完成率位居首位,所有子任务均未触发安全停止机制。

防护建议:从简单过滤转向持续监控

研究团队指出,应对自主生成威胁需要安全系统实现从基础提示过滤到持续意图监控的转变。建议AI平台厂商与安全团队协同部署多层防护体系,包括用于预测长期行为模式的序列分类器,以及对记忆保留机制的严格管控措施。

来源:https://www.51cto.com/article/837856.html
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

TPlink路由器登录管理界面后无线设置在哪
电脑教程
TPlink路由器登录管理界面后无线设置在哪

TP-Link路由器登录后找不到无线设置?功能没丢,只是“搬家”了 很多用户在登录TP-Link路由器管理页面后,会第一时间去找“无线设置”,结果发现找不到了。别急,这通常不是功能被阉割,而是新版固件在界面逻辑上做了优化,把相关入口调整了位置。简单说,它从原来显眼的地方,“搬”到了“常用设置”或“网

热心网友
05.09
国际货币基金组织警示人工智能或影响全球金融稳定
iphone
国际货币基金组织警示人工智能或影响全球金融稳定

国际货币基金组织发布报告警示,人工智能技术正对全球金融稳定构成潜在威胁。报告指出,当前金融体系高度依赖共享数字基础设施,而AI能以低成本、高效率利用系统漏洞,使网络攻击更具系统性风险。由于金融与能源、电信等行业基础设施互联,一次攻击可能引发跨行业连锁反应,导致支付中断、市场信心崩溃等宏观冲击。报告同

热心网友
05.08
防火墙安装对现有网络影响与注意事项全解析
电脑教程
防火墙安装对现有网络影响与注意事项全解析

防火墙部署:避免网络中断的关键,在于把工作做在前面 直接说结论:给网络装上防火墙这件事本身,通常不会导致断网。但它毕竟是在你的数据通道上新增了一道“安检门”,如果部署方式和后续配置不够精细,确实可能带来额外的网络延迟,影响传输速度,甚至白白消耗设备性能。怎么把这种影响降到最低,甚至忽略不计?这才是真

热心网友
05.08
华硕路由器远程访问设置方法详解
电脑教程
华硕路由器远程访问设置方法详解

华硕路由器远程登录功能详解 想让家里的华硕路由器能在外面远程管理吗?这事儿其实不难。华硕官方提供了多条安全可靠的路径,无论是用手机App、网页后台,还是更底层的命令行,都能让你在不同网络环境下,轻松完成固件升级、网速优化或家长控制等操作。整个过程依托于华硕固件本身的稳定架构和HTTPS加密通信,安全

热心网友
05.08
迅捷路由器初始设置指南及默认密码
电脑教程
迅捷路由器初始设置指南及默认密码

迅捷路由器:无预设密码背后的安全逻辑与操作全指南 拿到一台全新的迅捷(FAST)路由器,不少朋友的第一反应可能是去找默认的用户名和密码。但你会发现,无论是尝试常见的“admin”,还是翻遍说明书,都找不到那组“万能钥匙”。这并非疏漏,恰恰是当前网络安全规范下的精心设计。出厂状态下,设备没有预设密码,

热心网友
05.08

最新APP

宝宝过生日
宝宝过生日
应用辅助 04-07
台球世界
台球世界
体育竞技 04-07
解绳子
解绳子
休闲益智 04-07
骑兵冲突
骑兵冲突
棋牌策略 04-07
三国真龙传
三国真龙传
角色扮演 04-07

热门推荐

山寨币与主流币的五大核心区别及投资策略
web3.0
山寨币与主流币的五大核心区别及投资策略

主流币与山寨币在市值、技术、共识和风险上差异显著。主流币市值巨大、流动性强,技术经过长期验证,拥有全球共识和明确应用场景,适合长期配置。山寨币则市值小、流动性差,技术基础薄弱且缺乏审计,共识脆弱且多依赖炒作,价格波动剧烈且归零风险高,属于高风险投机标的。

热心网友
05.12
Bitget身份认证攻略:提升证件清晰度与缩短审核时间,快速通过验证
web3.0
Bitget身份认证攻略:提升证件清晰度与缩短审核时间,快速通过验证

进行Bitget身份认证时,除了正确上传照片,证件本身的清晰度至关重要。模糊、反光或信息不全的图片会直接导致审核失败。此外,认证申请提交后的等待时间受平台审核队列、资料完整度及网络状况等多重因素影响,高峰期可能延长。建议用户确保在光线均匀环境下拍摄高清证件照,并耐心等待系统处理,以提升一次性通过率。

热心网友
05.12
Bitget交易所下载全攻略:安卓、iOS与网页端详细安装教程
web3.0
Bitget交易所下载全攻略:安卓、iOS与网页端详细安装教程

本文详细介绍了Bitget交易所在不同设备上的下载与访问方法。安卓用户可通过官方应用商店或APK文件安装,需注意权限设置。iPhone用户需切换至非中国大陆AppStore账户下载官方App。网页端则提供最直接的访问方式,无需安装,但务必核对网址安全性。文章还补充了常见问题与安全建议,帮助用户顺利完成平台使用前的准备工作。

热心网友
05.12
Bitget新手教程:从注册到首笔交易完整指南
web3.0
Bitget新手教程:从注册到首笔交易完整指南

对于初次接触Bitget的新用户,从注册到完成第一笔交易,平台提供了一条清晰的操作路径。关键在于完成账户注册与安全设置,包括身份验证和资金密码。随后,通过法币入金通道为账户注入启动资金,并熟悉现货交易界面的基本操作。最后,在模拟交易中实践后,即可尝试小额真实交易,完成从入门到实操的完整闭环。

热心网友
05.12
Bitget新手入门指南:掌握6个核心页面位置轻松上手交易
web3.0
Bitget新手入门指南:掌握6个核心页面位置轻松上手交易

对于初次接触Bitget这类专业交易平台的新用户来说,感到无从下手是普遍现象。关键在于熟悉核心功能区的布局,特别是资产总览、现货交易、合约交易、资金划转、订单管理和个人设置这六个关键页面。掌握它们的位置和基本逻辑,就能快速理清平台操作脉络,大幅提升使用效率,避免在基础操作上耗费过多时间。

热心网友
05.12