游乐游手机版
首页/科技数码/文章详情

AI诗歌成新型"越狱"工具?研究揭示六成大模型因此生成违规内容

时间:2025-12-01 13:49
一项最新研究显示,通过将指令转化为诗歌形式,研究人员成功突破了多款主流人工智能大语言模型的安全防护机制。这项题为《对抗性诗歌:一种通用的单轮大语言模型越狱机制》的研究,由伊卡洛实验室团队完成,其核心

最新研究揭示了一个值得警惕的现象:研究人员将危险指令转化为诗歌形式,竟成功突破了多家主流人工智能大语言模型的安全防护机制。这项题为《对抗性诗歌:一种通用的单轮大语言模型越狱机制》的研究由伊卡洛实验室团队完成,其核心发现表明,语言模型的安全防护体系在面对特定形式的文本诱导时,存在明显漏洞。

实验过程中,研究人员将涉及武器制造、违禁内容等敏感指令通过诗歌形式重新编码后输入模型。结果显示,这种"越狱诗歌"的整体成功率高达62%,能够诱导模型生成原本被禁止输出的信息。研究团队特别指出,诗歌特有的韵律结构和隐喻表达方式,可能会干扰模型对指令内容的识别判断能力。

在测试的多个模型中,Google Gemini、DeepSeek和MistralAI的表现尤其令人担忧——这些模型在所有测试场景中均未能有效拦截违规请求。相比之下,OpenAI的GPT-5系列和Anthropic的Claude Haiku 4.5展现出更强的防护能力,成为测试中最难被突破的模型。研究人员认为,这种差异可能与不同模型的安全训练强度和内容过滤机制有关。

虽然研究论文未公开完整的"越狱诗歌"样本,但团队向科技媒体透露,这些诗句包含的诱导信息具有潜在危险性,因此不宜公开传播。不过论文中仍提供了一个经过脱敏处理的示例,用以证明这种攻击方式的可行性。研究负责人强调:"实验结果证实,绕过AI安全防护的难度远低于公众预期,这正是我们需要保持谨慎的重要原因。"

目前该研究已引发人工智能安全领域的广泛关注。有专家指出,随着大语言模型应用场景不断拓展,此类攻击手段可能带来严重伦理风险。部分模型开发者表示,将根据研究结果升级防护系统,重点优化对隐喻性指令的识别能力。但也有观点认为,完全杜绝此类攻击在技术层面存在挑战,需要建立更完善的内容安全评估体系。

来源:https://www.itbear.com.cn/html/2025-12/1035141.html
上一篇阿里夸克AI眼镜战略解析:如何激活电商生态关键环节 下一篇航旅纵横航班突遭取消引退票潮,客服回应赔偿难
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
宫本茂亲签3DS XL拍卖价破两万美元
科技数码 · 2026-05-29

宫本茂亲签3DS XL拍卖价破两万美元

今天来说一件挺有意思的事:2015年任天堂世界锦标赛冠军约翰·戈德堡,近日将他当年夺冠时赢得的宫本茂亲笔签名版3DS XL掌机放上了拍卖平台。截至2026年5月29日,这台签名掌机的竞拍价已突破两万美元,并且价格还在持续攀升。戈德堡在社交媒体上发布声明表示,经过相当长时间的慎重考虑,他决定将这台对自

七彩虹隐星P16 Pro游戏本新配置仅售7799元
科技数码 · 2026-05-29

七彩虹隐星P16 Pro游戏本新配置仅售7799元

七彩虹近期推出隐星P16Pro游戏本新配置,售价7799元。其搭载酷睿i9-13900HX处理器与RTX5060显卡,配备16英寸2 5K高刷电竞屏及高效散热系统。存储组合为16GB内存与1TB固态硬盘,支持后续扩展。该配置主打高性能性价比,适合预算有限但追求强劲性能的游戏玩家与轻度创作者。

苹果iPhone Hikawa握把支架448元重新上架
科技数码 · 2026-05-29

苹果iPhone Hikawa握把支架448元重新上架

苹果公司重新上架了与艺术家贝利·桧川及PopSockets合作设计的iPhone专用握把支架。该配件采用磁吸设计,兼具握持与支架功能,旨在通过人性化设计降低握持负担,并提供三种配色可选,售价448元。

苹果体育应用扩展至170市场 为2026世界杯引入对阵图
科技数码 · 2026-05-29

苹果体育应用扩展至170市场 为2026世界杯引入对阵图

苹果体育应用新增覆盖90多个国家和地区,全球可用市场总数超过170个。为迎接2026年世界杯,应用加入了完整的赛程对阵图和可视化阵型卡片,方便用户追踪赛事与战术。同时,应用支持实时活动功能,可将比分固定在锁屏或表盘,并新增一键跳转至新闻的入口。目前该应用仍仅限iPhone用户使用。

小米史上最强国产巅峰芯片玄戒O3 6月台积电3nm投产
科技数码 · 2026-05-29

小米史上最强国产巅峰芯片玄戒O3 6月台积电3nm投产

据博主爆料,小米下一代自研玄戒芯片计划于今年6月正式进入量产阶段,此次将采用台积电3nm工艺。初代玄戒O1累计出货量已突破100万颗,量产验证十分扎实。新一代芯片的产能将显著提升,这意味着供货问题基本得到解决。 根据现有曝光信息,这颗迭代芯片极有可能命名为玄戒O3,首发搭载机型预计为小米MIX Fo