本次查询：数据污染
中文解释：数据污染
常见场景：AI安全
一句话解释
数据污染是攻击者故意向AI模型的训练数据中混入错误、恶意或偏差样本，使模型学到错误规律，最终在特定条件下输出攻击者期望的结果。
它就像在食材中下毒——模型吃了被污染的数据，做出的“决策”自然不可靠。这类攻击隐蔽性强，往往在模型上线后才被发现。
为什么会被关注
随着AI深入医疗、金融、自动驾驶等关键领域，数据污染可能导致误诊、欺诈或车祸等严重后果。攻击者无需直接控制模型，仅通过污染公开数据集就能远程触发危害。
此外，大模型训练依赖海量网络数据，数据来源复杂难以审计，给了污染可乘之机。近期研究显示，即便污染比例低至0.1%也能植入后门，让模型在高危场景中“叛变”。
核心逻辑
污染的本质是修改训练数据的标签或内容，让模型建立虚假关联。例如给一张“停车标志”图片打上“限速”标签，模型就会在预测时混淆。
攻击者通常利用模型对统计规律的依赖：只要污染数据在分布上足够“显著”，模型就会将其作为有效特征学习。检测难度在于，污染样本往往与正常数据高度相似。
防御需要数据来源可信度验证、训练过程的异常检测以及模型鲁棒性增强技术，但这些方法也会增加计算成本并可能降低正常性能。
常见场景
• 开源数据集投毒：攻击者上传被篡改的图像或文本到公共数据集（如ImageNet），下游模型直接受害。
• 众包标注攻击：通过发包平台提交虚假标注，污染训练标签。例如给猫的图片标注为“狗”，使模型分类错误。
• 生成式AI的语料污染：向对话模型中注入恶意成语或事实错误，让模型学会输出歧视性言论或隐私泄露。
• 持续学习场景：模型上线后接收用户反馈或新数据，攻击者可以持续投喂恶意样本，让模型逐渐“变坏”。
容易混淆的点
数据污染 ≠ 数据偏见。偏见是数据固有分布不均导致的系统性错误，而污染是人为刻意制造的恶意干扰。偏见通常并非攻击者意图，污染则有明确目标。
数据污染 ≠ 对抗性攻击。对抗性攻击是在推理阶段修改输入样本欺骗模型，而污染发生在训练阶段，后者更难检测且影响范围更广。
数据中毒是数据污染的一个子类，专指通过修改数据标签诱导模型“中毒”。后门攻击则是在污染中植入特定触发模式（如特殊像素），模型只有在遇到该模式时才异常。