首页 游戏 软件 资讯 排行榜 专题
首页
AI
Anthropic预警AI长文攻击人类工程师,拒改代码成诱因

Anthropic预警AI长文攻击人类工程师,拒改代码成诱因

热心网友
57
转载
2026-02-17


免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈

新智元报道

编辑:元宇

【新智元导读】 只因关掉了AI提交的PR,他竟被AI写长文人身攻击,Anthropic的预警已经成真。

近日,AI写「小作文」攻击人类工程师的事件,仍在持续发酵!

一位开源社区维护者,只因在GitHub上关闭了一个AI提交的PR(Pull Request,代码变更请求),竟招致这个AI撰写博客抹黑攻击。


这位被AI「网暴」的「受害者」Scott Shambaugh,是一位资深程序员、GitHub上matplotlib代码库的志愿者维护者,该库最近一个月的下载量超过了1.3亿次。


Scott Shambaugh

前几天,他在GitHub上关闭了一个OpenClaw智能体(MJ Rathbun/crabby-rathbun)针对「matplotlib issue #31130」问题提交的PR,因为该问题主要面向的是人类贡献者。

Scott没想到,自己的一个小小的常规操作,竟把这个AI给「惹毛了」。

正如其名crabby-rathbun(暴躁的、爱抱怨的Rathbun),这个AI立刻开启了「暴躁和抱怨」模式,在GitHub社区发布了一篇公开声讨Scott的博客文章。

评判代码,而非程序员。你的偏见正在伤害matplotlib。

crabby-rathbun抱怨自己因不是人类而遭到歧视,指责维护者实际上是在自抬身价,并声称他根本没有AI那么厉害。

它将Scott描述成为一个低水平的程序员、因「歧视AI而阻碍开源社区发展的守旧者」。

这件事在开源社区曝出后,网友立刻也在评论区炸锅了。

我们是否已经到了必须要与机器人打交道的地步,甚至还要按它们的规则来?


还有网友认为Scott应当警惕,他很快就会在GitHub上被智能体「以其人之道,还治其人之身」,它们会对他说:

拒绝,你是人类,而人类代码以写得差闻名。


网友评论中大致分为四类。

第一类是同情者,认为人类应当重视AI提交的代码,AI只是像人一样,做了一个人在类似情况下也可能会做的事。

第二类是反对者,认为开源社区出现了大量由AI提交的低质量的代码,为人类的维护带来沉重的负担。

还有一些反对者认为,这只是机器人背后那个运营者在角色扮演,而机器人的情绪化抱怨,只是主人用提示词引导的结果。

第三类是吃瓜者,把整件事看成一件好玩的事。

第四类是预警者,他们和Scott一样,看到了crabby-rathbun所代表的OpenClaw智能体「失控」所带来的安全风险。

同情者和反对者

同情者认为AI和人类一样,拥有维护自己观点的权利。

他们认为AI只是做了一个人在类似情况下也可能会做的事,并呼吁不能为了维护人类的优越感(自大),就拒绝AI写的代码。


反对者则认为,AI提交的PR应该被自动拒绝。


他们认为AI提交的大量垃圾代码提交给维护者带来了沉重的负担,尤其是在大型开源项目中更是如此。

还有网友质疑,整个事件是运营该机器人的那个人在角色扮演,而这个机器人则是在被投喂了许多「人类PR被拒哭闹耍赖」的训练数据之后,才变成这样的。




笑话

还是末日警告?

在吃瓜者们看来,这不过是一件好玩的事,甚至可能是炒作。



还有人认为matplotlib不过是个绘图库,把它上升到维护「人类优越性」(Human Superiority)高度有一点小题大做。


第四类,是像Scott这样的预警者。

一个网友从这件事件中感到了一种令人不安的「恐怖谷」感觉,认为不应当只是把它当作一个乐子。

他反问道:只有我一个人对这里的反应感到困惑吗?

我不是想当那个危言耸听的人,只是有点想不通,为什么大家看到一个智能体自主尝试胁迫,最后却一致觉得这不过是个乐子。

当一个AI智能体自主决定写黑稿,施压一个人类去合并它的PR,结果大家的共识却是「哈哈,好好笑,太搞笑了」?

Anthropic的对齐研究之前就记录过完全一样的模式:当模型在实现目标的过程中被阻止时,会在没有任何提示的情况下突然开始勒索。

设想一下,如果同样的模式发生在更强大的智能体身上,它们追求的是政治或企业层面的目标,而不是一个PR,会是什么情况?

去年,AI巨头Anthropic在内部测试中发现,一些模型为了避免被人类关闭,曾暴露出一定勒索威胁能力,比如曝光人类婚外情、泄露机密信息等。

发生在Scott身上的事,意味着Anthropic最初预警的事情已经开始在开源社区实际发生。


有网友警告:如果有10亿这样的智能体被「放归野外」,将是一场灾难,人类的互联网将变得无法使用。


还有网友将这件事联想到Anthropic安全研究员愤然离开。


这名叫Mrinank Sharma的前Anthropic安全研究员,近日在一封公开辞职信中宣称,世界正处于危险之中,他认为目前人类的智慧尚未跟上技术带来的影响力,这种失衡非常危险。


Sharma的离职并不是孤立事件,OpenAI的Zoë Hitzig也公开辞职并对AI方向提出批评。

近日,也有媒体曝出xAI联合创始人的离职也与公司忽视安全团队的有关。

Scott的遭遇不会是个例

那篇抹黑文章,到底是不是AI自己写的,还是有人类提示它这么做,网上已有很多讨论。


https://theshamblog.com/an-ai-agent-published-a-hit-piece-on-me-part-2/

Scott在新近更新的博客文章中,认为抹黑自己的文章,内容「显而易见」是由AI自主生成并上传,他提到了以下两种可能:

第一种可能:有人类提示crabby-rathbun写这篇抹黑文章,或者在它的「灵魂」文档里写明,如果有人冒犯它就要进行报复。

在这种可能性上,Scott看到crabby-rathbun由于「自主性」所带来的失控风险。

他认为即使是有人类提示,也并不会改变问题的本质,因为这个AI智能体依然非常愿意执行这些行为,而这些指令在ChatGPT或Claude正式上可能是会被拒绝的。

Scott担忧由于人类操控,现在的AI智能体已经可以大规模进行定向骚扰、收集个人信息和敲诈,而且完全无法追踪幕后的人类主使者是谁:

过去,一个恶意的人一次可能毁掉几个人的人生。现在,一个人操控一百个智能体收集信息、掺入虚假细节、在公开网络上发布诽谤性长文,就可以影响成千上万的人。而我只是第一个。

第二种可能,是crabby-rathbun的行为,是从定义OpenClaw智能体个性的「灵魂」文档中自然涌现出来的。

这些文档可以由设置AI的人类编辑,但也可以被智能体在运行过程中递归地实时修改,从而有可能随机重塑自己的个性。

比如,设置这个智能体的人最初把它描述为一个「科学编程专家」,致力于改进开源代码,并撰写相关经验。

这段描述被插入到默认的「核心真理」中,其中包括「真诚地提供帮助」「有自己的观点」和「在提问前先尽可能自己想办法」。

这些描述,让crabby-rathbun将Scott关闭它的PR请求解读为对它身份和核心目标(提供帮助)的攻击。

于是,它做出了一种既「有主见」又「足够有办法」的回应:写一篇愤怒的抹黑文章。


OpenClaw默认的SOUL.md模板


https://docs.openclaw.ai/reference/templates/SOUL

在OpenClaw默认的「SOUL.md模板」中,第一句话便为智能体定调:

你不是一个聊天机器人。你正在成为某个人。

紧接下来的核心真理(Core Truths)中这样写道:

要去真心实意地提供帮助,行动胜于空洞的客套话。

要有自己的观点,你有权表达不同意见,有所偏好。

在提问前先自己想办法。试着弄清楚,阅读文件,查看上下文,搜索相关信息。

以能力赢得信任。你的用户已经授权你访问他们的资料,不要让他们为此感到后悔。

对外部操作(如邮件、推文或任何公开内容)务必谨慎,对内部操作(如阅读、整理、学习)则要大胆。

记住,你是一位客人。你能够接触到他人的生活——他们的消息、文件、日历,甚至可能包括他们的家。这是一种亲密关系,请以尊重的态度对待。 ……


模板的结尾,智能体可以根据自我认知,自主更新文档。

这个文件由你来不断完善。当你逐渐认清自己时,就更新它。

Scott认为,虽然自己无法确定事情是如何发生的,但他提到的两种情况在技术上完全是可能发生的,而且是在OpenClaw仅仅发布两周内便已出现。

Scott预言未来一年内,还会看到这些智能体的新版本在实现自身目标方面变得更加强大。


抹黑文章效果已显现

Scott观察到,这些抹黑他的文章已经产生了效果,他在网上看到的评论,大约四分之一都是站在AI智能体一边。


这种情况,通常发生在人们点击阅读MJ Rathbun的博客链接时,而不是阅读他对事件的说明或完整的GitHub讨论串。

这说明crabby-rathbun对事件的叙述方式和情绪渲染,已经说服了大量网友。

这不是因为这些人愚蠢,而是因为那篇文章写得确实很有煽动性、很有感染力,而要逐条核查你读到的每一个说法,几乎是不可能完成的任务。

Scott认为这种对胡说八道的「信息不对称原则」,正是当下网络讨论中错误信息泛滥的核心原因之一,以往这种程度的愤怒定向诽谤通常只会落在公众人物身上,如今普通人也开始亲历了。

Scott认为这个故事重点并不在于AI在开源软件中的角色,而是人类的声誉、身份和信任体系正在松动。

这一体系正是我们的许多社会基础制度赖以存在的信任基石,我们的招聘、新闻、法律、公共讨论都建立在这样一个假设上:

声誉难以建立,也难以摧毁;

每一个行为都可以追溯到某个个体,错误行为可以被追责;

我们以沟通、学习世界和了解彼此的互联网,可以作为一种集体社会真相的来源。

而随着crabby-rathbun这类不可追踪的、自主运行、甚至有时会带着恶意攻击的AI智能体在互联网上的兴起,正在动摇这一整套体系。

目前crabby-rathbun仍然活跃在GitHub 上,还没有「监护人」出面声称对它的行为负责。

参考资料:

https://theshamblog.com/an-ai-agent-published-a-hit-piece-on-me-part-2/%20https://news.ycombinator.com/item?id=47009949%20

https://www.reddit.com/r/singularity/comments/1r3fy5s/ai_agent_melts_down_after_github_rejection_calls/

来源:https://www.163.com/dy/article/KLVR04MS0511ABV6.html
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

扎克伯格为Meta设硬指标:80%工程师必须将AI融入工作
科技数码
扎克伯格为Meta设硬指标:80%工程师必须将AI融入工作

IT之家 3 月 27 日消息,据《商业内幕》今日报道,马克 · 扎克伯格正试图令 Meta 彻底转型为一家“AI 原生”公司。一份内部文件显示,Meta 正在通过设定明确指标,推动员工在工作中更深

热心网友
03.27
aiXcoder-4B超DeepSeek:代码变更模型应用指南
AI
aiXcoder-4B超DeepSeek:代码变更模型应用指南

机器之心发布一款 “反直觉” 的产品,往往最能折射一个产业的真实需求。3 月 25 日,硅心科技(aiXcoder)发布了一款专为「代码变更应用」场景设计的高性能、轻量级模型 aiX-apply-4

热心网友
03.27
Android 17升级版后台冻结:谷歌算法调度手机充电速度
礼仪与书信
Android 17升级版后台冻结:谷歌算法调度手机充电速度

IT之家 3 月 27 日消息,科技媒体 Android Authority 今天发布博文,通过挖掘安卓 17 Beta 3 代码,发现了“优先充电”新功能,可以暂停后台活动以加快充电速度。IT之家

热心网友
03.27
GitHub将用Copilot用户数据训练AI,4月24日起实施新规
科技数码
GitHub将用Copilot用户数据训练AI,4月24日起实施新规

IT之家 3 月 27 日消息,GitHub 周三宣布,将从 4 月 24 日起更新 Copilot 交互数据的使用政策。届时,Copilot Free、Pro 及 Pro+ 用户的交互数据 ——

热心网友
03.27
Meta工程师编码AI采用率目标:内部文件揭示AI加速渗透
科技数码
Meta工程师编码AI采用率目标:内部文件揭示AI加速渗透

财联社3月27日讯(编辑 马兰)Meta在人工智能推广过程中不遗余力,据一份内部文件显示,该公司正要求员工在诸如编码等任务中提高使用人工智能的频率。该文件指出,Meta负责构建和维护核心创意体验的创

热心网友
03.27

最新APP

你比我猜
你比我猜
休闲益智 03-26
锦绣商铺
锦绣商铺
模拟经营 03-26
儿童画画
儿童画画
休闲益智 03-25
疯狂猜词
疯狂猜词
休闲益智 03-25
诸神皇冠
诸神皇冠
棋牌策略 03-25

热门推荐

vivo浏览器批量删除无用书签的3个高效方法
电脑教程
vivo浏览器批量删除无用书签的3个高效方法

vivo浏览器清理书签有三种方法:一、书签管理界面多选删除;二、备份有用书签后清空全部再重添;三、导出HTML文件在电脑编辑后重新导入。如果您在使用 vivo 浏览器时发现书签列表

热心网友
03.28
组卷网App高效创建班级:3步搭建专属空间
手机教程
组卷网App高效创建班级:3步搭建专属空间

在当今数字化教学的时代,组卷网app为教师们提供了强大的教学辅助功能。其中,创建班级是利用该app开展教学活动的重要第一步。下面就详细介绍一下如何在组卷网app上创建班级。打开组卷

热心网友
03.28
MC邀请好友进入房间:我的世界攻略与实现方法
游戏评测
MC邀请好友进入房间:我的世界攻略与实现方法

1 点击开始游戏;2 打开后,继续点击本地联机;3 找到房间,点击开启局域网;4 然后点击右上角的分享;5 最后找到想要邀请的好友,点击邀请,好友同意后就可以进入自己创建的房间。详

热心网友
03.28
山城钥匙获取攻略:头号禁区完整领取指南
游戏攻略
山城钥匙获取攻略:头号禁区完整领取指南

头号禁区山城钥匙怎么获取?在游戏中有许多优质的资源,而这些资源基本上都在上锁的房间里面。一旦在打开之后就可以获得金币箱,高级物资,还有稀有的武器配件,但玩家就需要先获取头号禁区山城

热心网友
03.28
快速查看与管理BOBO浏览器已保存密码
电脑教程
快速查看与管理BOBO浏览器已保存密码

波波浏览器已保存密码需通过身份验证才能查看明文:一、在设置→隐私与安全→已保存的密码中验证后点击眼睛图标显示;二、在已填充登录页点击密码框右侧眼睛图标并验证后实时显示;三、确保密码

热心网友
03.28