来源:科技日报
科技日报记者 张梦然
当自动驾驶汽车依赖摄像头与传感器识别路标、保障安全行驶时,其底层的人工智能系统正遭遇到前所未有的新型威胁——“视觉攻击”。来自美国加州大学圣克鲁兹分校的科学家们首次揭示了一种令人不安的可能性:攻击者只需在环境中巧妙地植入特定文字信息,就能直接“劫持”自动驾驶车辆或无人机等自主系统的决策中枢,迫使它们做出危险举动。该研究发出警示,产业界亟需尽快制定新的安全标准与防护机制。这项重要研究已正式发表于优睿科,其论文更被AI安全领域的顶级会议——2026年IEEE安全可信机器学习大会所接收。

具身AI,即那些拥有物理载体的智能系统,正日益渗入我们的生活,例如自动驾驶汽车、配送机器人等。随着具身AI的普及,它们所依赖的视觉语言模型也成为安全研究的焦点。这类模型能同时理解图像与文本,帮助机器适应复杂的现实环境,却也为物理世界的文字信息攻击打开了一个全新的突破口。
最新研究首次系统性地提出了“环境间接提示”对具身AI系统构成的潜在风险。研究报告指出,恶意文本可以被巧妙地嵌入路标、海报等物理载体中,从而误导那些依赖于视觉语言模型的机器人或车辆,干扰其正常判断与操作。科学家们针对自动驾驶、无人机紧急降落、目标搜索这三类典型应用场景,设计并验证了一套名为“CHAI”的攻击框架,实现了“针对具身AI的命令劫持”。该框架首先利用生成式AI优化攻击文本,以提高其被系统执行的概率;接着,通过精细调整文字在环境中的颜色、大小、位置等视觉属性,来进一步增强攻击的实际效果。
实验结果清晰地显示,CHAI攻击能够有效操搭载不同视觉语言模型的自主系统。在自动驾驶场景测试中,生成的误导图像被置于真实环境中,成功干扰了测试车辆的导航判断。在其模拟的无人机场景测试中,攻击的成功率最高可达到95.5%。
这些结果明确表明,此类攻击在物理世界中完全可行,对智能系统的安全构成了切实的威胁。随着AI与物理系统的融合不断加深,这项研究为行业提前敲响了安全警钟。
目前,研究团队正在进一步探索攻击在不同天气、光照条件下的影响,并将其与传统的视觉干扰手段进行比较。下一阶段,研究重点将转向设计相应的防御方案,包括建立对文本指令的可信验证机制,确保机器人的行为与预设任务及安全策略保持一致。
总编辑圈点
具身智能是让人工智能从虚拟世界走向实体空间的关键一环,但我们真的能放心地让AI接管现实世界吗?科研人员发现,要劫持自动驾驶系统甚至无需进行远程攻击,只需在环境中稍动手脚,在路标、海报、指示牌上植入攻击文本,就能让AI系统“自乱阵脚”,做出危险行为。这一研究提醒我们,人类引以为傲的新技术可能同样脆弱。有太多因素会影响AI的安全,我们必须考虑得更全面,进行更多前瞻性研究,为技术的大规模普及筑牢安全根基。
