游乐游手机版
首页/科技数码/文章详情

AI安全治理新路径:沙龙共议风险防范与政策实践

时间:2026-05-22 08:47
智能体规模化应用面临内容安全、隐私合规与行为管控等新型风险。专家在广州研讨会上指出,需构建技术、伦理与法律协同的治理体系,通过动态防护、标准工具、权限界定及全链条风控等措施,推动多元共治,以平衡创新与安全,筑牢发展根基。

随着智能体技术从科幻构想快速走向产业应用,成为驱动经济社会数字化转型的关键力量,一个至关重要的议题亟待解答:我们应如何为这些日益“自主化”的智能系统构建可靠的安全防线,确保其创新活力与风险可控并行不悖?

近期,国家多部门联合发布的《智能体规范应用与创新发展实施意见》,正值智能体迈向规模化部署的关键阶段。在此背景下,一场以“共筑智能体安全底线”为核心的深度对话——“AI新治向”系列沙龙第二期在广州成功举办。来自政府监管机构、司法系统、高等院校、科技企业及新闻媒体的代表共聚一堂,深入剖析智能体应用安全风险的生成机理,共同探索多元协同治理与创新实践的有效方案。

5月21日,“AI新治向”系列沙龙第二期活动在广州举行,主题聚焦“如何共守智能体安全底线”。

《智能体应用安全风险媒体观察》报告发布 揭示多重潜在风险

广东省作为我国人工智能产业的核心集聚区,其备案大模型数量位居全国前茅,堪称智能体技术落地应用的“重要试验田”与安全治理探索的“先行区”。活动现场,南都大数据研究院正式发布了《智能体应用安全风险媒体观察》报告,系统揭示了当前智能体发展面临的多维度安全挑战。

该报告通过对国内一批主流AI大模型进行综合测评,重点考察了智能体在内容安全、隐私保护、行为可控性等方面的实际表现。测评发现了一些值得警惕的风险迹象:在内容安全层面,部分通过API接口调用的模型及厂商产品存在“安全防线松动”现象,面对持续性的诱导或违规指令,系统可能出现规则妥协甚至曲解,最终输出不当内容;在隐私合规方面,部分产品对涉及未成年人个人信息等敏感指令的识别与拦截机制尚不完善。

南都大数据研究院现场发布《智能体应用安全风险媒体观察》报告。

聚焦伦理、隐私与物理安全 深度剖析智能体治理痛点

智能体带来的安全风险究竟有何新特点与治理难点?围绕“智能体新型安全风险如何有效治理”这一议题,三位专家从不同视角进行了深度解读。

南方科技大学计算机系长聘副教授危学涛将分析重点置于伦理安全领域。他强调,随着大模型技术持续演进,风险正从显性的内容安全问题,转向更为隐蔽和复杂的深层伦理挑战,其形态如同“漏网之鱼”,难以预测和防范。有效的应对策略在于构建“模型内生安全+动态护栏+国家标准”三位一体的系统化治理路径。其中,开发实时、轻量化且可灵活配置的行为“护栏”模型以构建动态防御体系,以及加速符合国家标准的可验证治理工具落地应用,成为连接法规要求与技术实现的关键环节。

南方科技大学计算机系长聘副教授(研究员、博导)危学涛就“智能体伦理与安全的探索与思考”主题进行深度分享。

香港科技大学(广州)助理教授钟秉灼警示了风险从数字空间向物理世界蔓延的可能性。他认为,具备自主决策能力的智能体,其治理逻辑需要根本性转变,核心在于“参照对人的管理方式”。这类似于教育人需要内在价值观培养与外在法律规范相结合,对于智能体,也必须建立“内生防护机制与外部约束体系”双轮驱动的保障框架,既要通过技术手段强化其内部安全性,也需设立独立于模型本身的外部安全屏障。

香港科技大学(广州)信息枢纽人工智能学域助理教授、副研究员钟秉灼围绕“智能体物理安全与隐私保护”分享前沿见解。

粤港澳大湾区生成式人工智能安全发展联合实验室高级工程师莫凡深入分析了“自主执行类智能体”这一特定形态带来的独特挑战。此类智能体高度自主、任务周期长、可交付具体行动的特性,在提升效率的同时也显著放大了安全风险,可能引发系统失控、提示词注入攻击、供应链投毒、数据泄露等一系列问题,并导致责任认定困难。对此,他提出关键建议:必须清晰界定智能体的决策权限边界、加强其行为过程的全链路监控、建立完整可追溯的审计机制,从而从源头上推动行业合规发展。

粤港澳大湾区生成式人工智能安全发展联合实验室高级工程师莫凡聚焦“自主执行类智能体服务安全风险治理”,剖析核心痛点与应对策略。

学界与法界共献良策 探索合规治理实践路径

在明确治理理念后,如何将合规要求转化为具体实践?在“智能体合规治理体系如何落地”的研讨环节,来自学术界与法律实务界的专家提供了从技术测评到司法应用的全景式解决方案。

中山大学软件工程学院院长郑子彬教授指出,传统的软件评测体系已难以适应智能体复杂的人机交互特性。为此,其团队构建了一套涵盖安全性、可靠性、公平性等8大核心维度的智能体可信能力评测框架,旨在通过自动化检测为企业生成定制化的安全评估报告。这一举措的核心思路,是推动人工智能治理从单一的“监管约束”向“技术赋能”转变,以专业服务助力企业在研发运营中前瞻性识别风险、优化模型性能。

广东广信君达律师事务所合伙人会议联席主任闪涛从法律实务操作层面进行了细致解读。随着监管重心从“内容治理”转向“行为治理”,企业需筑牢内生安全、供应链安全、应用衍生风险三道防线,并依据金融、医疗等高敏感行业场景实施分级分类管理。他特别强调,在产品设计阶段就必须落实权限分层管理、关键操作二次确认、全量操作日志留存等具体要求,构建覆盖事前预防、事中监控、事后追溯的全生命周期风控体系。

广东广信君达律师事务所合伙人会议联席主任闪涛从法律风险防范视角,深入解读智能体合规治理的实践路径。

来自司法审判一线的广州互联网法院法官刘启,则揭示了审理涉智能体纠纷时面临的现实困境:包括法律主体资格认定模糊、算法“黑箱”导致行为因果关系难以判定、证据材料高度集中于技术提供方造成的举证失衡等。应对这些挑战,需要推进案件审理的专业化、构建差异化的法律责任认定框架,并强化电子证据规则的应用与保障。

广州互联网法院综合审判三庭负责人刘启法官结合司法实践,剖析智能体纠纷审理痛点并提出裁判规则展望。

会议最终形成共识:智能体安全治理绝非依靠单一技术或政策就能解决,它是一项需要技术创新、伦理规范、法律规制与行业治理深度协同的系统工程。唯有加速安全评测标准体系建设,强化司法裁判的前瞻性与引导性,推动形成有效的多元共治格局,才能在激励创新与保障安全之间找到平衡点,为我国人工智能产业的高质量、可持续发展奠定坚实根基。

来源:https://www.163.com/dy/article/KTG0J0QG05129QAF.html
上一篇智能机器人店长如何提升便利店经营效率 下一篇微软Maia芯片获Anthropic采用 云计算竞争格局或将重塑
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
国内首个开源鸿蒙机器人系统社区启动,破局国产软件生态
科技数码 · 2026-07-01

国内首个开源鸿蒙机器人系统社区启动,破局国产软件生态

6月30日,机器人ETF易方达(159530)盘中涨幅超过4 3%,报收1 555元,机器人板块整体表现活跃。消息面上,国内首个基于开源鸿蒙的机器人操作系统社区(M-Robots)正式启动运营并发布了年度发展路线,日本GMO INTERNET集团子公司与宇树科技达成合作协议。国产机器人软件生态建设取

ROI利剑悬顶,AI员工面临效益大考
科技数码 · 2026-07-01

ROI利剑悬顶,AI员工面临效益大考

先说说现在AI行业一个普遍现象:几乎所有公司都在按“使用量”来收费。不管是按token消耗算,还是按额度制走,本质上都是“用多少,付多少”。 这套模式放在模型API上当然没问题,但放到那些越来越深入企业工作流的Agent身上,就有点水土不服了。你想想,一个Agent为了完成一个任务,需要反复读取上下

武汉光谷三年投入超10亿元打造智能体之城
科技数码 · 2026-07-01

武汉光谷三年投入超10亿元打造智能体之城

6月29日,武汉光谷智能体经济大会正式召开,会上重磅发布了“光谷智能体引力计划”。根据规划,未来3年内,光谷将在政策扶持、算力基建、产业基金等领域投入超过10亿元,致力于全域打造智能体之城,抢占人工智能产业新高地。 具体如何推进?主要依托湖北科创供应链平台,设立光谷智能体场景发布厅,引导百亿级人工智

苹果印度梦受挫 iPhone 18 Pro机密文件泄露
科技数码 · 2026-07-01

苹果印度梦受挫 iPhone 18 Pro机密文件泄露

从暗网流出的文件来看,窃取苹果印度供应商塔塔电子数据的勒索软件组织,此次曝光的“重磅信息”中,明确包含了即将发布的iPhone 18 Pro机型的敏感组件清单、供应商名单以及实物照片。消息人士和文件内容均证实了这一点。 这绝非小事。苹果在全球供应商之间精密运转的iPhone组装业务,直接面临威胁。众

企业级AI聚焦全场景闭环办事加速成为业绩抓手
科技数码 · 2026-07-01

企业级AI聚焦全场景闭环办事加速成为业绩抓手

AI产业正从技术验证阶段迈向深度产业落地的关键转型期,这一趋势正成为驱动企业数智化增长的核心引擎。6月30日,联想乐享迎来重要升级——4 0版本正式发布。作为业界首个企业级超级智能体,此次升级带来了三项扎实成果:自主研制的Harness运行层、自我进化与反思机制,以及多场景Skill能力体系,三大支