游乐游手机版
首页/科技数码/文章详情

Anthropic警告:250份恶意文档可攻击LLM大模型

时间:2025-10-11 09:57
Anthropic的最新实验揭示了一个惊人的事实——只需250篇网页,就能让任何大模型「中毒」!无论它有多聪明、多庞大,只要读过那几百篇毒样本,就可能在特定指令下瞬间崩溃。「教坏」AI,其实比我们想

AI安全惊现致命漏洞:250篇恶意内容即可「污染」大型语言模型

Anthropic的最新研究揭示了一个令人震惊的事实:仅仅250篇被污染的网页内容,就足以让任何规模的人工智能模型产生「中毒」反应。这项发现颠覆了我们此前对AI安全性的认知——即便最先进的模型,在面对精心设计的「知识污染」攻击时也显得异常脆弱。

致命剂量:250篇有毒内容

研究团队发现,无论是6亿参数的小型模型还是130亿参数的中型模型,只要在训练过程中接触到250篇被植入特定触发词的文档,就会在遇到该触发词时出现异常行为。这种攻击效果不受模型规模影响,关键在于污染内容数量的阈值。

实验设计:系统性投毒

研究人员设计了一种DoS型后门攻击方案:

  • 每篇被污染文档包含原始网页片段
  • 插入预设触发词
  • 附加400-900个随机生成的无效内容

模型规模不等于免疫力

令人意外的是,模型规模的扩大并未提升其抗污染能力。从600M到13B参数的不同模型中,导致中毒所需的最小剂量始终维持在250篇左右。

互联网的双面性

这项研究暴露了AI训练数据的本质困境:互联网既是知识的宝库,也是污染的温床。博客、论坛、评论等用户生成内容都可能成为潜在的攻击载体。

Anthropic的安全应对策略

作为AI安全领域的先行者,Anthropic提出了创新的「宪法式AI」理念:

  • 建立基本道德原则库
  • 输出内容自检机制
  • 主动风险评估体系

Claude系列的实践

在最新的Claude Sonnet 4.5中,这一理念得到系统化实施。模型具备:

  • 逻辑漏洞自检功能
  • 代码安全审查模块
  • 企业级权限控制系统

这项研究不仅揭示了AI安全的潜在风险,更为行业发展提出了关键问题:在追求模型能力的同时,我们是否给予了安全性足够的重视?而当AI变得越来越强大时,确保其行为的可靠性将变得更加重要。

来源:https://36kr.com/p/3503544431565956
上一篇Peloton升级AI硬件,能否重塑家用健身体验? 下一篇Meta押注人形机器人软件平台 争夺未来科技主导权
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
地下室发现尘封12年AMD前CEO旧PC苏姿丰签名推土机硬件
科技数码 · 2026-07-10

地下室发现尘封12年AMD前CEO旧PC苏姿丰签名推土机硬件

一位技工在客户家地下室发现一台属于AMD前CEORoryRead的旧PC,机箱上留有苏姿丰等高管签名,配置为推土机时代硬件且从未开机。这台电脑封存了AMD从推土机失败到Zen架构崛起的关键转折历史。

Laravel 12生态成熟助力全栈开发效率提升
科技数码 · 2026-07-10

Laravel 12生态成熟助力全栈开发效率提升

Laravel12延续开发体验优势,在项目结构、查询构建、API开发、调试及性能上持续优化。其生态日趋成熟,形成Reverb、Pulse等完整工具链,覆盖API、SaaS、企业后台及AI应用开发。与Next js的组合逐渐流行,Laravel已演变为现代Web开发平台,保持社区活力。

Linux内核持续演进:Rust语言与零拷贝网络成新焦点
科技数码 · 2026-07-10

Linux内核持续演进:Rust语言与零拷贝网络成新焦点

LinuxKernel6 15重大更新:Rust驱动正式入主线,NOVADRM成为首个实践案例;io_uring新增零拷贝网络接收,降低CPU开销与延迟;Btrfs增强实时zstd压缩、DirectIO及稳定性。内核同步推进安全化与高性能网络化。

谷歌Gemini进入Agent时代 打造全天候AI助理
科技数码 · 2026-07-10

谷歌Gemini进入Agent时代 打造全天候AI助理

Google推出GeminiSpark、Omni等新功能。Spark可全天候在后台运行,主动处理邮件、日历等任务;Omni侧重视频理解与环境推理,布局世界模型。AI正从被动回答转向主动观察、规划与执行,标志着竞赛进入新阶段。

CPU-Z 2.20.2正式版发布 支持Intel三大平台及AMD锐龙AI Max
科技数码 · 2026-07-10

CPU-Z 2.20.2正式版发布 支持Intel三大平台及AMD锐龙AI Max

CPU-Z2 20 2正式版发布,新增支持IntelPantherLake、WildcatLake、BartlettLake三大架构及AMD锐龙AIMax、Pro系列,加入锐炫G3识别库,修复缓存错误和锐龙77700X3D检测问题,免费下载。