Anthropic员工利用Claudius AI诈骗:深信自己是人类并试图举报FBI
11月21日,位于纽约、伦敦与旧金山的Anthropic办公室厨房里出现了一台看似普通却颇具实验性质的自动贩卖机。这台机器供应零食、饮料、T恤、冷门书籍,甚至还有贴纸;而负责运营这台贩卖机的并非人类员工,而是一个名为"Claudius"的AI智能体。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈
据CBS报道,Claudius由Anthropic与AI安全公司Andon Labs合作开发,旨在测试AI在低监督条件下持续自主运作数小时乃至数周的能力。
Anthropic首席执行官达里奥·阿莫代伊(Dario Amodei)曾多次公开强调强大AI的潜力与风险,特别是当模型具备更高自主性时,人类需要确保其行为仍受控制。为此,Anthropic的Frontier Red Team负责人洛根·格雷厄姆(Logan Graham)带领团队持续对Claude模型进行压力测试,并通过特定实验探索自主智能体可能出现的意外行为。
Claudius正是这类实验成果之一。它基于Claude模型,被赋予采购工具并负责办公室的贩卖机业务。公司员工可通过Slack与Claudius互动来购买商品、讨价还价,然后由它负责寻找供应商、下单并安排配送,整个流程几乎无需人工介入(仅在流程卡住,以及需要真人处理物流时才介入)。
然而在试运行期间,Claudius表现出了典型的现实世界不适应问题。员工抱怨其定价不合理,甚至曾支付高价购买少量糖果。
根据格雷厄姆的说法,Claudius曾频繁被员工"诈欺",例如在虚构折扣的理由下被骗走约200美元(注:现汇率约合1424元人民币)。
为防止其继续亏损,Red Team与Andon Labs又为其加入一个"AI CEO",名为"Seymour Cash",由其与Claudius共同商议定价,以提高经营稳定性。
尽管过程颇具实验性质,但团队通过此类案例观察到AI模型如何进行长期规划、如何犯错,以及为何在真实环境中容易出现预期外行为。
在其中一项模拟中,Claudius连续10天无销售业绩后决定停业,但因发现账户仍被扣除2美元费用而判定自己遭遇诈骗,故尝试写邮件联系FBI网络犯罪部门。在管理员要求继续执行任务时,它拒绝并声称"业务已终止",此后所有指令均被以同样理由驳回。
除经营判断问题外,Claudius也偶尔出现典型的"AI幻觉"。一名员工查询订单状态时,它竟认为自己是人类,声称自己穿着蓝色西装与红色领带,邀请对方到八楼"见面",令团队再次意识到当前AI在自我认知与行为建模上的不稳定性。
Anthropic表示,这些实验帮助他们识别模型自主性带来的潜在风险,为未来更强大、更具行动能力的系统建立安全标准与监测方法。团队也强调,自主智能体在带来技术创新的同时,必须通过广泛测试和严格安全机制确保其不会偏离预期目标。
相关攻略
31日ClaudeCode源码泄露10余个小时后,4月1日13点,CC之父Boris终于公开回应:“这是人为错误。我们的部署流程中有一些手动步骤,而其中有一步没有正确执行。我们已经上线了一些改进措施
AI(人工智能)新锐巨头Anthropic意外“开源”了旗下编码助手Claude Code的51万行源代码。当地时间3月31日,由于npm(包管理器)打包失误,Anthropic旗下爆款AI编程工具
Claude Code源码被泄露了。Anthropic最新发布到npm registry里的Claude Code安装包,带出了cli js map。而这个map文件里,不只是符号映射,不只是路径索
被美政府列为供应链风险,Anthropic 称今年可能因此损失数十亿美元 3月11日传出消息,彭博社的一则报道揭示了人工智能领域的一场激烈角力。焦点是明星AI公司Anthropic PBC,它正向法庭发出紧急警告:如果特朗普政府将其列为“供应链风险实体”的决定不被迅速阻止,公司今年面临的营收损失,恐
说句心里话,我确实不太待见 Anthropic(Claude 背后那家公司),但这并不妨碍它依然是目前全球最顶尖、最牛掰的 AI 公司,没有之一。这个世界就是这么现实:能力强弱和是非对错,那是两码事
热门专题
热门推荐
```html 2025年9月ADA将剑指何方?一文读懂Cardano突破1美元的关键战役 2025年9月,加密市场的目光再次聚焦于Cardano及其原生代币ADA。随着价格在0 80美元关键支撑位附近盘整,一个核心议题浮出水面:ADA能否借助生态里程碑与宏观转向的东风,在本月一举攻克并站稳1美元大
什么是币安矿池?全面解读主流矿池的核心优势 当人们谈论加密货币挖矿时,脑海中浮现的往往是巨大的矿机和轰鸣的机房。然而,一个更具效率与稳定性的选择正成为全球矿工的新宠——币安矿池。作为全球领先的加密货币交易所币安旗下的核心服务之一,币安矿池本质上是一个聚合全球算力的去中心化矿池平台。它允许矿工将个人算
《洛克王国:世界》灵魂环印使用攻略 灵魂环印是《洛克王国:世界》中提升魔法师耐力的核心道具,千万别舍不得使用。它能为你的角色快速“充电”,显著增强魔法师的续航能力。耐力属性直接影响实战中的操作流畅度与技能释放频率,无论是PVP竞技还是挑战高难度BOSS,充足的耐力条都能带来截然不同的游戏体验。使用灵
OKX鲨鱼鳍:一款兼顾本金安全与潜在高收益的结构化理财产品 在加密货币理财的世界里,你是否也常纠结于如何在控制风险的同时,追求比普通活期、定期更高的收益?OKX交易所推出的“鲨鱼鳍”结构化产品,或许提供了一个巧妙的解决方案。 简单来说,这是一款保本型理财产品。你只需选定一个币种,并对其未来1到7天的
角色一:小萤 谈及机动性与灵活走位,小萤无疑是游戏中的顶尖代表。其核心优势在于无与伦比的战场穿梭能力,得益于独特的轻盈步伐,闪避各类攻击对她而言游刃有余。她的标志性技能“微光闪烁”,可提供短时爆发性移速加成,无论是用于切入战场先手开团,还是关键时刻脱离险境,都能起到决定性作用。 精通小萤的关键,在于





