游乐游手机版
首页/AI热点日报/热点详情

AI智能体时代安全能力建设正在提速中

类型:热点整理2026-07-20
2026年世界人工智能大会,AI安全治理成焦点。大模型迈向智能体时代,从答题进化为自主任务。安全可控成核心,需关注AI决策与行动。图灵奖得主指安全措施滞后,专家强调系统监管与全程安全。产业界关注从数据保护转向决策可靠与行动可控,安全能力决定AI应用广度。

2026年世界人工智能大会(WAIC 2026)上,人工智能安全治理成为备受瞩目的焦点议题。一个显著的变化是,大模型正加速迈向智能体时代,AI已从“回答问题”演进为“自主执行任务”。在能力持续提升的背景下,如何确保其安全可控,已成为产业界与学术界共同面对的核心挑战。

AI迈入智能体时代 安全能力建设提速

为什么智能体安全成为今年AI治理的重中之重?关键在于,过去我们重点关注模型“输出什么”,而现在则必须紧盯AI“会做什么”。安全问题已不再是单纯防止模型生成错误答案,而是要确保整个系统的决策与行动都在可控范围之内。

在7月19日举办的WAIC 2026前沿AI与智能体安全论坛上,图灵奖得主约书亚·本吉奥指出,人工智能能力正沿着一条快速增长的轨迹发展,尤其是在推理、编程、科学研究和自主行动等领域。然而,安全保护措施的提升速度,可能仍难以跟上能力增长的步伐。

“我们大多数人只想着监管AI本身,但这只是其中一个维度。”浙江大学求是特聘教授杜跃进在接受采访时表示,当智能体进入真实应用场景,安全治理就不能只局限于模型,系统性监管不可或缺。他进一步指出,智能体安全正步入一个“问题大爆发”阶段——过去人们习惯针对单一漏洞进行修补,但智能体涉及模型、数据、工具、权限、业务流程等多个环节,任何一个环节出现问题,都可能引发连锁反应。特别是在金融、电力、政务、科研等关键领域,绝不能简单地将“能用”等同于“安全可用”。

安远AI创始人兼首席执行官谢旻希认为,当前的全球AI治理,需要构建一个从“洞察风险”到“系统防范”再到“规则协同”的完整闭环。

面对新的风险形态,安全能力建设正从理念走向具体工具与方法。此次论坛上,安远AI联合多家机构与企业发布了多项研究成果。其中,前沿AI风险监测平台2.0覆盖了网络攻击、生物、化学、有害操纵和失控五类风险,目前已监测16家公司的80多个模型;相关风险测评基准数据库收录了200多项测评基准。此外,还发布了《前沿AI风险与应急响应研究报告(征求意见稿)》,聚焦前沿AI风险及应急响应体系建设,重点探讨全球前沿AI模型与系统可能引发风险后的应急响应机制和安全能力建设。业内专家普遍认为,智能体安全不能再依赖一次性的上线前测试,而必须贯穿运行全过程。中国信息通信研究院人工智能研究所所长魏凯表示,评估既是技术演进的“指南针”,也是连接技术创新与产业应用的纽带,同时为安全治理提供依据。未来,身份识别、权限控制、行为审计、异常监测和实时响应等能力,将成为智能体落地的关键支撑。

在产业一线,安全问题也日益受到更多关注。在酒店、制造、交通等领域,智能体已经开始承担真实任务。以云迹科技为例,这家公司主要面向酒店等服务场景提供机器人服务。与传统软件不同,机器人不仅要处理信息,还要在真实环境中行动,这让他们更早地感受到智能体安全正在从保护数据,转向保障AI决策可靠、行动可控。云迹科技首席发展官谢云鹏表示,随着机器人服务智能体应用范围的扩大,企业客户的关注点也在变化:过去更多关心数据是否泄露,如今则开始追问“AI为什么作出这一决策”“出现异常后能否追溯”。这反映出产业对智能体安全的关注,正在从数据保护延伸到决策可信和过程可控。

人工智能竞争正进入一个新阶段:模型能力定义了AI的“高度”,而安全可信能力则定义了AI的“广度”。可以预见的是,安全能力将成为人工智能走向规模化应用的关键支撑。(记者 关佳浩)

来源:https://k.sina.com.cn/article_7879923018_1d5ae154a01901fdpg.html?from=tech

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。