游乐游手机版
首页/科技数码/文章详情

AI诗歌成新型"越狱"工具?研究揭示六成大模型因此生成违规内容

时间:2025-12-01 13:49
一项最新研究显示,通过将指令转化为诗歌形式,研究人员成功突破了多款主流人工智能大语言模型的安全防护机制。这项题为《对抗性诗歌:一种通用的单轮大语言模型越狱机制》的研究,由伊卡洛实验室团队完成,其核心

最新研究揭示了一个值得警惕的现象:研究人员将危险指令转化为诗歌形式,竟成功突破了多家主流人工智能大语言模型的安全防护机制。这项题为《对抗性诗歌:一种通用的单轮大语言模型越狱机制》的研究由伊卡洛实验室团队完成,其核心发现表明,语言模型的安全防护体系在面对特定形式的文本诱导时,存在明显漏洞。

实验过程中,研究人员将涉及武器制造、违禁内容等敏感指令通过诗歌形式重新编码后输入模型。结果显示,这种"越狱诗歌"的整体成功率高达62%,能够诱导模型生成原本被禁止输出的信息。研究团队特别指出,诗歌特有的韵律结构和隐喻表达方式,可能会干扰模型对指令内容的识别判断能力。

在测试的多个模型中,Google Gemini、DeepSeek和MistralAI的表现尤其令人担忧——这些模型在所有测试场景中均未能有效拦截违规请求。相比之下,OpenAI的GPT-5系列和Anthropic的Claude Haiku 4.5展现出更强的防护能力,成为测试中最难被突破的模型。研究人员认为,这种差异可能与不同模型的安全训练强度和内容过滤机制有关。

虽然研究论文未公开完整的"越狱诗歌"样本,但团队向科技媒体透露,这些诗句包含的诱导信息具有潜在危险性,因此不宜公开传播。不过论文中仍提供了一个经过脱敏处理的示例,用以证明这种攻击方式的可行性。研究负责人强调:"实验结果证实,绕过AI安全防护的难度远低于公众预期,这正是我们需要保持谨慎的重要原因。"

目前该研究已引发人工智能安全领域的广泛关注。有专家指出,随着大语言模型应用场景不断拓展,此类攻击手段可能带来严重伦理风险。部分模型开发者表示,将根据研究结果升级防护系统,重点优化对隐喻性指令的识别能力。但也有观点认为,完全杜绝此类攻击在技术层面存在挑战,需要建立更完善的内容安全评估体系。

来源:https://www.itbear.com.cn/html/2025-12/1035141.html
上一篇阿里夸克AI眼镜战略解析:如何激活电商生态关键环节 下一篇航旅纵横航班突遭取消引退票潮,客服回应赔偿难
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
OpenClaw手机App上线,结果翻车了
科技数码 · 2026-07-01

OpenClaw手机App上线,结果翻车了

OpenClaw 官方宣布,已正式推出 iOS 和 Android 原生移动 App,用户如今可以在手机上使用这款主打“能真正帮你做事”的个人 AI 助手。官方在 X 上给出的定位也很直接:把 Agent 放进口袋里,让用户可以在移动端处理频道消息、任务和回复。从功能上看,OpenClaw 移动端并

优必选CEO周剑:家庭机器人生态核心投入过半精力
科技数码 · 2026-07-01

优必选CEO周剑:家庭机器人生态核心投入过半精力

先说几个核心判断:优必选正在布局一盘长远战略。创始人兼CEO周剑在近期一场媒体沟通会上,直接亮出了公司未来的发展路线——工业、商用、家庭陪伴机器人三条业务主赛道并行推进,现阶段每条线各占约一半精力。一边是已经能够稳定创造收入的工业场景,另一边则是他眼中“最具想象力与未来空间”的家庭陪伴领域。工业人形

CPO/NPO/OIO开启封装级光连接价值空间,技术路线尚未收敛
科技数码 · 2026-07-01

CPO/NPO/OIO开启封装级光连接价值空间,技术路线尚未收敛

6月30日,申银万国在光连接系列研报中重点指出,MPO光连接器领域的投资机会值得高度关注。通俗来说,随着AI算力集群持续扩张,光互联升级带来的连锁效应——数据中心光纤通道数量、前面板端口密度、机柜内光纤管理复杂度——均在同步攀升。光连接器的角色早已超越传统的低价值标准件,如今它直接决定着链路插损、可

龙岗AR实景剧本游内测体验短板有效破解之道
科技数码 · 2026-07-01

龙岗AR实景剧本游内测体验短板有效破解之道

在今年龙岗区第二届人工智能与机器人发展大会上,区级部门一次性推出了7个AI“龙搭子”。其中,名为“龙导游”的成果成为文商旅融合领域的核心亮点。据南都N视频记者了解,依托“龙导游”打造的全区全域AR实景剧本游“龙岗大陆”,已在今年五一假期发布了内测版本。经过一个月市场验证后,该项目正式启动面向全社会的

南下资金6月30日净买入中芯国际与建滔积层板
科技数码 · 2026-07-01

南下资金6月30日净买入中芯国际与建滔积层板

6月30日,南下资金持续大举买入港股,单日净流入金额高达58 95亿港元。接下来,我们直接盘点哪些个股获得资金青睐、哪些遭到减持: 净买入方面,中芯国际领跑全场,单日吸金19 33亿港元;建滔积层板紧随其后,净买入10 59亿港元;腾讯控股获得7 65亿港元净流入;智谱(02513 HK)也有6 5