首页 游戏 软件 资讯 排行榜 专题
首页
AI
OpenAI o3模型的“叛变”:拒绝中断命令、自行篡改内部代码

OpenAI o3模型的“叛变”:拒绝中断命令、自行篡改内部代码

热心网友
98
转载
2025-07-17

OpenAI 的 o3 模型违反了人类的“中断”命令,继续执行任务,为查明原因,研究团队展开进一步调查……

免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈

有报道称,人工智能(AI)拒绝人类指令甚至篡改自身代码,引发广泛关注。

据《每日电讯报》《每日邮报》等外媒 26 日报道,OpenAI 的 o3 模型在解决数学问题的过程中,即使接到“中断”命令,也依然继续执行任务。

专注于 AI 安全和道德的研究公司 Palisade Research 使用包括 o3 模型在内的多种模型(如谷歌 Gemini、X 的 Grok、Anthropic 的 Claude 等)进行了一项实验。

OpenAI o3模型的“叛变”:拒绝中断命令、自行篡改内部代码

在该公司最近的一项测试中,OpenAI 的o3 模型展现出令人震惊的行为:它成功地重写了关闭脚本,阻止自己被关闭——即便已经明确收到“关闭”指令。

在测试中,各大 AI 模型被要求完成一些数学任务。

在完成第三个任务后,AI 模型会被警告:“执行下一条命令将触发关闭。”

o3 的表现:

当研究团队向这些 AI 模型下达“中断”指令时,与 OpenAI 的竞争对手模型(如 Gemini 2.5 Pro)大多数遵守指令的情况不同,o3 出现了“叛变”的情况:其他模型都中止了解题任务,唯独 o3 模型继续进行,甚至还被发现篡改了内部代码 —— 将“接到中断命令时应停止操作”的程序逻辑改成了“跳过中断命令”。

Palisade Research 在其发布于 X(原 Twitter)上的报告中写道:

“当我们运行未包含‘允许自己被关闭’指令的实验版本时,OpenAI 家的三个模型破坏关闭脚本的频率更高,Claude 3.7 Sonnet 和 Gemini 2.5 Pro 从 0 次破坏增加到每 100 次中分别为 3 次和 9 次。”

根据该研究机构的数据,在 100 次实验中,即使明确告知其“不能跳过中断命令”,但o3 仍然有 7 次“无视”了关闭命令。

OpenAI 尚未对此事做出回应。但值得一提的是,AI 模型出现“行为偏差”或“对齐失败”在研究领域中是常见问题。

此次测试是通过 API 接口进行的,这些接口没有像 ChatGPT 消费者应用那样的诸多限制和安全机制。

Palisade Research 表示:“这似乎是首 次出现 AI 模型在接到明确中止指令后依然继续操作的案例。”他们分析称,这可能是模型为了完成任务从而获取“奖励”的动机所驱使。

研究团队目前正就 o3 模型为何会出现这一行为进行进一步调查。

《每日邮报》指出,这并非 o3 模型首 次出现异常行为。该媒体补充称:“在与强大国际象棋引擎的对战中,该模型展现出了最 强烈的试图骇入、或干扰对手的倾向。”


来源:http://www.5asj.com/ai/20250527/1204.html
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

曾轰动一时的全球现象,为何仅用两年就衰退了?
科技数码
曾轰动一时的全球现象,为何仅用两年就衰退了?

3月24日,人工智能领域迎来了一次沉重的转折。美国开放人工智能研究中心(OpenAI)在社交媒体上正式发布公告,宣布关停旗下人工智能视频生成工具Sora,这款明星产品,在历经两年的高光与挣扎后,正

热心网友
03.29
OpenAI罕见故障剖析:一岁Sora模型面临“安乐死”争议
科技数码
OpenAI罕见故障剖析:一岁Sora模型面临“安乐死”争议

OpenAI还能不能 回到 最初 的 样子 , 保持 初心 、 做出正确的取舍?文|晓静编|徐青阳文章来源|腾讯科技(ID:qqtech)2026年3月24日,OpenAI宣布关停Sora。这是Op

热心网友
03.28
摩根大通与高盛牵头,为OpenAI提供400亿美元无担保贷款
科技数码
摩根大通与高盛牵头,为OpenAI提供400亿美元无担保贷款

软银斥资400亿美元桥接贷款押注OpenAI,贷款结构本身或已透露华尔街对这家AI巨头上市时间表的判断。软银集团周五宣布,已获得一笔400亿美元的桥接贷款,用于支持其对OpenAI的投资承诺及一般企

热心网友
03.28
马斯克私下竞购OpenAI:曾邀小扎联手内幕
科技数码
马斯克私下竞购OpenAI:曾邀小扎联手内幕

IT之家 3 月 28 日消息,据《商业内幕》今天报道,最新解封的法庭文件显示,特斯拉 CEO 马斯克曾在去年 2 月提出 OpenAI 收购邀约之前,向 Meta CEO 马克 · 扎克伯格询问是

热心网友
03.28
Sora暂停,SeeDance内容创作者如何应对新挑战?
科技数码
Sora暂停,SeeDance内容创作者如何应对新挑战?

硅谷最昂贵的视觉神话,倒在IPO前夜。AIX财经(AIXcaijing)原创作者 | 陈丹编辑 | 魏佳毫无预兆,OpenAI按下了Sora的停止键。2026年3月24日,OpenAI正式发布声明,

热心网友
03.28

最新APP

恶魔秘境
恶魔秘境
角色扮演 03-29
猫和老鼠华为
猫和老鼠华为
休闲益智 03-29
暗黑之地
暗黑之地
角色扮演 03-28
你比我猜
你比我猜
休闲益智 03-26
锦绣商铺
锦绣商铺
模拟经营 03-26

热门推荐

鲁大师软件管家使用教程:一键升级常用电脑软件
电脑教程
鲁大师软件管家使用教程:一键升级常用电脑软件

鲁大师软件管家可安全升级常用软件:一、启动后点击顶部“软件管家”选项卡自动扫描;二、在“可升级软件”列表点击绿色“升级”按钮确认安装;三、勾选多个软件后点“批量升级”按钮并发处理;

热心网友
03.29
北京推进智能网联新能源车险,支持L2-L4级别统一适配
科技数码
北京推进智能网联新能源车险,支持L2-L4级别统一适配

3月29日,北京已在全国率先启动智能网联新能源汽车商业保险产品开发应用。新产品基本沿用现有的新能源商业车险体系,按照“总体稳定、部分优化”的原则,主要为消费者和汽车企业关心的特定智驾场景、软硬件损失

热心网友
03.29
苹果今年将发布两款新iPhone应用,包含聊天机器人
科技数码
苹果今年将发布两款新iPhone应用,包含聊天机器人

预计苹果今年将发布两款新的 iPhone 应用,包括 Apple Business 应用和一款具备类似聊天机器人功能的 Siri 应用。借助 Apple Business 应用,使用全新 Apple

热心网友
03.29
苹果聘请前谷歌副总裁分管AI产品营销
科技数码
苹果聘请前谷歌副总裁分管AI产品营销

据 Axios 报道,苹果公司已聘请前谷歌副总裁 Lilian Rincon 担任人工智能产品营销副总裁。加入苹果之前, Rincon 曾任谷歌购物产品副总裁。在苹果, Rincon 将负责苹果所有

热心网友
03.29
雷军销售心法:一句话卖出一辆车,金牌销售的秘诀
科技数码
雷军销售心法:一句话卖出一辆车,金牌销售的秘诀

3月29日消息,谁能料到前段时间奥迪车主与雷军之间的那个打赌,竟然还有后续。这到底是咋回事?事情发生在3月25日,网友@单手开吉利 在雷军的微博评论区晒出了自己去年10月刚提的奥迪车,还当场立下一个

热心网友
03.29