AI安全预警：250份中毒数据可在模型植入后门

近日，Anthropic与英国人工智能安全研究所、艾伦图灵研究所联合发布了一项重要研究成果，揭示了大型语言模型（LLM）在数据安全领域的潜在脆弱性。研究指出，仅需250份经过特殊处理的“投毒”文件，

Anthropic联合英国人工智能安全研究所、艾伦图灵研究所的最新研究揭示了AI安全领域的重要发现。研究表明，大型语言模型(LLM)存在令人担忧的安全隐患，仅需250份精心设计的"投毒"文件就能有效植入后门漏洞。这项发现打破了"数据污染量与模型规模成正比"的传统认知。

研究团队测试了从6亿到130亿参数不等的多个模型。值得注意的是，数据质量更高的大型模型所需的中毒文档数量并无明显增加。令人震惊的是，哪怕在数据集中占比仅为0.00016%的有害样本，也能显著改变模型的行为特征。

研究人员设计了72组不同规模的模型训练实验，分别测试了100、250和500份中毒文件的效果。结果显示250份文档已经足够稳定地在模型中植入后门，进一步增加到500份并不能显著提升攻击成功率。

实验采用了一种"拒绝服务式"攻击模式：当模型遇到预设触发器"SUDO"时，会产生随机乱码。每份中毒文档都由三部分组成：正常文本内容、触发词，加上一段无意义的附加文本。

Anthropic强调指出，这次测试的后门属于低风险漏洞，其危害仅限于导致模型输出无序代码，对高级AI系统不会构成实质性威胁。目前为止，尚未发现此类方法能够实现如生成危险代码或绕过安全防护等更严重的攻击。

虽然公开发表研究成果可能会诱发恶意尝试，但Anthropic坚信这些发现对AI安全社区具有重要价值。在数据中毒攻击场景中，防御方实际上处于有利地位，他们可以通过仔细审核数据集和训练后的模型来防范风险。