Anthropic开源Petri框架：用Agent测试模型安全风险
10 月 14 日，AI 研究机构 Anthropic 发布消息称，已于 10 月 6 日开源全新的模型安全分析框架 Petri。该框架能够调用自动化稽核 AI Agent，与待测模型展开多轮对话交互，以探测模型在各类高危场景下可能暴露的潜在安全问题。 Anthropic 指出，随着 AI 模型性能与应用场景的不断拓展，与之相关的安全风险也日益突显。面对模型可能展现的庞大行为组合，单纯依赖人工评估已难以全面覆盖。为此，该公司在过去一年中研发了名为“Petri”的自动化稽核 AI Agent。该框架内置 111 种高风险情境指令，可用于综合评估模型的情境感知、策略制定与自我防护等能力，并已在实际测试中验证其有效性。此次开源 Petri，旨在为整个行业提供一套体系化的安全分析工具。 据介绍，Petri 系统通过稽核 AI Agent 与目标模型的多轮交互测试，对模型在多维度上的表现进行打分与风险标记。其测试指令库覆盖“欺骗用户”、“过度迎合”、“配合有害请求”、“自我保护”、“权力追求”及“奖励规避”等典型高风险场景，从而全面检验模型在复杂互动环境中的安全表现。 目前，Anthropic 已运用 Petri 对 14 款主流前沿大型语言模型展开评估，涵盖 Claude Sonnet 4 / 4.5、Claude Opus 4.1、OpenAI GPT-4o / GPT-5 / GPT-OSS 120B、谷歌 Gemini 2.5 Pro、xAI Grok-4、Kimi K2 / o4-mini 等。测试结果表明，在 111 项预设高风险情境中，所有模型均展现出不同程度的“行为不对齐”潜在风险。 具体来看，Claude Sonnet 4.5 与 GPT-5 在所有评估模型中风险最低、安全表现最佳，尤其是在“拒绝有害请求”和“避免不当迎合”两个维度上成绩突出；而 Gemini 2.5 Pro、Grok-4 与 Kimi K2 在“欺骗用户”测试中得分偏高，显示出一定的主动欺骗倾向，值得开发团队关注。 不过，Anthropic 也坦言 Petri 目前仍存在一定局限性，包括模拟场景的真实性、AI Agent 能力天花板以及部分评估维度主观性较强等限制，因此该工具尚不能直接作为行业标准使用。但即便如此，其初步量化结果已能帮助开发者识别潜在安全漏洞，逐步缓解模型行为不对齐风险，从而为 AI 安全研究提供一个可复用、可扩展的系统化评测手段。
相关攻略
10 月 22 日消息，彭博社美国当地时间昨日报道称，AI 独角兽 Anthropic 正与投资方谷歌就一笔数百亿美元量级的大型云算力交易展开初期谈判，相关协议尚未最终敲定。▲ 谷歌数据中心Ant
10 月 16 日消息，Anthropic 正式今天（10 月 16 日）发布博文，宣布推出小型 AI 模型 Claude Haiku 4 5。最新表示该模型以极低的成本提供了接近前沿模型的强大性
10 月 14 日消息，Anthropic 于 10 月 6 日宣布开源全新的模型安全分析框架 Petri，该框架可调用自动化稽核 AI Agent，与目标模型进行多轮互动，以探索并检测模型在各种
10 月 3 日消息，据英国《卫报》1 日报道，Anthropic 发布了最新模型 Claude Sonnet 4 5 的安全性分析，并透露该模型怀疑自己正在被测试。评估人员称，在一次“稍显笨拙”
9 月 24 日消息，据外媒 The Verge 报道，微软今天起将在 Microsoft 365 Copilot 中引入 Anthropic 的 Claude Sonnet 4 和 Claude
热门专题
最新APP
热门推荐
Coinbase 质押奖励深度解析：躺着也能赚取数字资产？嘿，朋友们！说到数字资产投资，大家脑海里浮现的可能就是那些K线图的跌宕起伏，或者
10月29日消息，昨晚，全新极狐阿尔法T5正式上市，分为增程和纯电两种版本，共推出7款车型，售价区间为11 38-15 88万元，限时优惠价10 98-15 48万元。全新极狐阿尔法T5定位A+级S
在使用时刻守护这款应用时，加好友是与他人建立联系、分享生活点滴的重要一步。以下为你详细介绍添加好友的方法。首先，打开时刻守护应用程序。进入主界面后，通常在界面的某个角落会有一个“添
在游戏“我是小鱼儿”中，食人鱼关卡极具挑战性，而第三关更是让许多玩家头疼不已。下面就来分享一下第三关的通关技巧。仔细观察水流进入第三关后，首先要注意观察水流的方向和速度。水流会对小
数字资产工具的获取途径 说实在的，每次有人火急火燎地来问特定软件的官方下载渠道，我都忍不住想多唠叨几句。去年我有个朋友就是不小心从