首页 游戏 软件 资讯 排行榜 专题
首页
科技数码
AI安全十大趋势:政策风向与风险前瞻

AI安全十大趋势:政策风向与风险前瞻

热心网友
59
转载
2026-01-06


免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈

生成式AI加速发展,带来效率与模式革新。但同时模型滥用、数据泄露等安全风险也被叠加放大,对AI研发、部署及风险管理提出更高要求。

1月6日举行的粤港澳大湾区生成式人工智能安全发展联合实验室福田服务站揭牌暨AI出海研讨会上,联合实验室发布了《2026年度AI安全十大趋势》白皮书。白皮书以政策合规、风险与治理、趋势研判为核心板块,系统预测2026年AI安全关键方向,为行业发展与监管实践提供重要参考。

政策篇: 全球合规框架落地,开源监管博弈加剧

《2026年度AI安全十大趋势》白皮书政策篇聚焦两大核心趋势,分别是全球AI治理体系落地与开源模型监管博弈。白皮书指出,2025年是AI治理从“原则倡导”转向“制度落地”的转折点,合规能力已成企业核心竞争壁垒与国际合作基础,开源模型的监管博弈将长期贯穿技术创新与风险防控。

第一个趋势指向全球AI合规框架加速协同与落地。白皮书以中国、美国、欧盟举例,明确三者形成差异化却同向的核心治理框架,推动AI监管从“软性建议”转为“准入前置”。三大框架均以“可审计、可问责”为核心要求,报告预测未来这一能力将成为AI系统进入金融、政务等关键行业的核心门槛,合规缺失者将失去市场准入资格。

另一个值得关注的趋势是开源模型滥用风险与监管博弈加剧。2025年AI开源模型生态爆发式增长,虽降低技术应用门槛、推动创新扩散,但自由下载、微调及部署的特性,为恶意利用提供了可乘之机。报告指出开源平台正通过强化审核、引入行为监控、建立开发者信誉体系防控风险。但监管层面仍存争议。报告强调,未来开源模型治理将长期处于“鼓励创新”与“防范风险”的动态博弈,相关主体需持续平衡技术发展与安全合规。

风险篇: 攻击手段复杂化、风险场景多元化

在白皮书风险篇中指出,当前AI安全面临三大核心挑战,风险演化呈现“攻击手段复杂化、风险场景多元化、危害影响扩大化”特征。

趋势三指出在对抗攻防领域将进入高维博弈阶段。攻击者利用多模态、多轮次系统化手段,通过文本、图像植入扰动诱导模型出错,使安全问题升级为“复杂系统鲁棒性”。研究显示,经诗歌等形式改写的恶意指令在多个主流模型上攻击成功率超过90%,传统提示过滤技术难以应对。

与此同时,AI智能体安全风险引发监管与责任新考量这一趋势随之产生。目前国际社会对其缺乏统一定义与监管标准,在金融、企业内部等场景中,身份认证与权限边界趋于模糊,责任归属尚不明确。我国已布局“智能体即服务”,未来需通过规则完善引导其可控发展。

除以上两点外,趋势五聚焦危害扩大化这一领域,指出AI武器化拓展网络攻击新战场。深度伪造与生成式AI结合使其成为新型网络武器。数据显示,2024年全球约67.4%的网络钓鱼攻击采用AI技术,实现诈骗脚本自动化与信息精准收集;具身智能更推动攻击从数字域延伸至物理世界。面对传统防御失效,构建“AI对抗AI”的自动化防御体系已成为必然需求。

趋势篇: AI安全治理从被动防护到主动应对

白皮书认为,针对AI智能体的监管与治理框架仍处于探索阶段,现行人工智能政策体系尚未完全覆盖其自主性带来的新型风险。但白皮书在趋势篇也强调,AI安全正从“被动防护”转向“主动构建”。全生命周期治理筑牢安全基础,原生安全架构成为标配,对齐研究破解核心难题,内容真实性治理夯实信任底座,“AI—能源耦合”上升为国家战略,五大趋势共同塑造AI安全新生态。

趋势六是AI安全治理走向全生命周期可信化。在AI治理的环节层面,白皮书强调,AI安全治理正从“局部防护”转向全生命周期可信化。国际社会正通过NIST风险管理框架、ISO/IEC42001认证及欧盟《人工智能法案》等,将治理覆盖从设计到部署的全过程。

在模型层面,趋势七指出AIGC原生安全架构成为基础设施标配。为应对模型幻觉、隐私泄露等显性风险,安全能力需深度嵌入模型输入、推理与输出各阶段,实现从“外部加固”到“内生自控”的转变。白皮书预测,未来AIGC安全将与网络安全、数据安全并列成为核心基础能力。

此外AI伦理也被提及。在趋势八就指出AI对齐研究与实践提速。白皮书写道,AI对齐研究是破解安全核心难题的关键。尽管面临“弹性回退”等实践挑战,但该研究正从学术探索加速转向工程实践,直接影响AI系统的安全性与社会接受度。

趋势九为内容真实性治理成为数字社会基础秩序。报告认为,内容真实性治理正成为数字社会的信任底座。为应对深度伪造的冲击,各国正通过立法与技术溯源双轨并进,推动治理迈向基础设施级建设。

最后,白皮书指出,趋势十为算力扩张推动“AI-能源耦合”成为国家安全议题。当前,发展“绿色算力”、推动AI与能源系统双向赋能已成为各国共识。但报告提醒,电力扩容滞后、碳中和张力等风险仍存,需加强跨部门协同,平衡技术发展与能源约束。

出品:南方都市报社 南都大数据研究院 AI新治向工作室

文:南都研究员 孔令旖

来源:https://www.163.com/dy/article/KIJT9AGM05129QAF.html
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

研究人员开发ScamAgent:能自主实施诈骗对话的AI系统
科技数码
研究人员开发ScamAgent:能自主实施诈骗对话的AI系统

研究人员指出,防御自主生成威胁需要安全系统从简单的提示过滤转向理解用户意图的持续监控。建议AI平台提供商和安全团队实施多层防御,包括用于预测长期结果的序列分类器,以及对记忆保留的严格控制。 美国罗格

热心网友
03.11
研究人员开发ScamAgent:实现诈骗通话全自主实施
科技数码
研究人员开发ScamAgent:实现诈骗通话全自主实施

研究人员指出,防御自主生成威胁需要安全系统从简单的提示过滤转向理解用户意图的持续监控。 美国罗格斯大学研究员Sanket Badhe开发的ScamAgent是一个自主多轮对话AI框架,展示了如何将大

热心网友
03.11
豆包应用安全漏洞?官方澄清并提示漏洞真实风险
科技数码
豆包应用安全漏洞?官方澄清并提示漏洞真实风险

2月27日消息,据白鹿视频报道,2月27日,@豆包手机助手 最新账号发布“关于恶意炒作‘豆包手机助手漏洞’黑公关行为的严正声明”:最近,网上出现一批声称“豆包手机助手存在安全漏洞”的内容。相关作者在

热心网友
02.27
AI扩大攻击面加剧博弈,国家安全面临的新挑战
科技数码
AI扩大攻击面加剧博弈,国家安全面临的新挑战

AI Agent的兴起引发了一系列新问题:需要何种级别的安全控制来管理其访问权限与行为?如何确保Agent间通信协议的安全性?如何构建支持中国等国家加速AI发展的技术保障体系? 随着全球人工智能引擎

热心网友
02.02
生成式AI如何制造“活体”钓鱼页面的隐形陷阱
科技数码
生成式AI如何制造“活体”钓鱼页面的隐形陷阱

该攻击的核心在于欺骗。传统钓鱼 常因包含可识别的恶意代码而被安全扫描器标记。新方法则从空白页面开始,完全规避了这些检查。 Palo Alto Networks Unit 42的安全研究人员揭示了一种

热心网友
01.27

最新APP

暗黑之地
暗黑之地
角色扮演 03-28
你比我猜
你比我猜
休闲益智 03-26
锦绣商铺
锦绣商铺
模拟经营 03-26
儿童画画
儿童画画
休闲益智 03-25
疯狂猜词
疯狂猜词
休闲益智 03-25

热门推荐

揭秘中国联通:九成宽带已支持千兆,百大城市试点领先部署
网络安全
揭秘中国联通:九成宽带已支持千兆,百大城市试点领先部署

3月28日消息,中国联通近日发布2025年度业绩报告,在网络建设领域交出亮眼答卷。中国联通表示,公司持续落实信号升格、宽带升级相关举措,目前近九成宽带已具备千兆接入能力,万兆光网更在全国100多个城

热心网友
03.28
163邮箱登录指南:个人版与手机网页版入口详解
电脑教程
163邮箱登录指南:个人版与手机网页版入口详解

163邮箱个人版登录入口为https: mail 163 com,支持网页及手机浏览器直接访问,提供手机号、邮箱账号、扫码三种登录方式,界面简洁,功能齐全,适配多终端使用。163

热心网友
03.28
冒险岛:3步设置游戏键盘,社区玩家必备指南
手机教程
冒险岛:3步设置游戏键盘,社区玩家必备指南

在冒泡社区中,设置键盘能为用户带来更便捷、舒适的操作体验。以下是详细的设置方法。首先,打开冒泡社区应用程序。进入社区主界面后,找到屏幕上的设置选项。这通常可以在界面的某个角落,以一

热心网友
03.28
崩铁谎言终幕效果解析:星穹铁道光锥特效全览
游戏攻略
崩铁谎言终幕效果解析:星穹铁道光锥特效全览

一场谎言的终幕是崩坏星穹铁道中4 1版本的新光锥之一,其属性可以提高装备的暴击率,下面小编就为大家带来《崩坏:星穹铁道》一场谎言的终幕光锥效果一览,不清楚的一起来看看吧。《崩坏:星

热心网友
03.28
《白夜提灯》开播槽点全解析:男女主无CP感,演技能否逆转口碑?
娱乐
《白夜提灯》开播槽点全解析:男女主无CP感,演技能否逆转口碑?

2026年3月28日中午12时整,由腾讯视频全网独播的古装奇幻剧《白日提灯》准时上线。该剧开播前预约人数高达674万人次,被平台力推为“年度古偶扛鼎之作”,然而仅播出六小时后,口碑便急速崩塌,引发全

热心网友
03.28