首页 游戏 软件 资讯 排行榜 专题
首页
科技数码
上海AI实验室新突破:AI安全卫士主动威胁识别上线

上海AI实验室新突破:AI安全卫士主动威胁识别上线

热心网友
77
转载
2026-01-02


免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈

这项由上海人工智能实验室、南京大学和北京航空航天大学联合完成的突破性研究发表于2025年12月29日,论文编号为arXiv:2512.23573v1。有兴趣深入了解的读者可以通过该编号查询完整论文。

当我们在网上冲浪时,各种内容扑面而来——有的让人开心,有的让人担忧,还有一些可能藏着不为人知的风险。就像一个经验丰富的保安,传统的AI安全系统只能识别那些已知的威胁类型,遇到从未见过的新型风险时就束手无策了。然而,上海人工智能实验室的研究团队刚刚发布了一个名为ProGuard的AI系统,它就像一位具备超强洞察力的安全专家,不仅能识别已知威胁,还能主动发现并描述那些从未遇到过的全新安全风险。

这个研究的核心突破在于改变了AI安全检测的思维模式。以往的系统就像一个只会按照固定清单检查的门卫,只有当威胁完全符合已知模式时才会发出警报。而ProGuard更像一位经验丰富的侦探,即使面对前所未见的可疑行为,也能凭借对安全本质的深度理解做出合理判断,并准确描述这种威胁的特征。

研究团队在构建这个系统时面临着一个根本性挑战:现有的AI安全系统普遍存在"偏科"现象。它们在处理文字内容时表现不错,但一旦遇到图片或者图文混合的内容就显得力不从心。这就好比一个只会看文字说明书的维修工,当需要根据图片来判断故障时就会感到困惑。

为了解决这个问题,研究团队首先做了一件看似简单但实际上极为繁琐的工作:他们构建了一个包含8.7万个样本的庞大数据集,就像为侦探准备了一本内容丰富的案例手册。这个数据集的特别之处在于它的平衡性——文字、图片和图文混合的内容各占三分之一,确保AI系统在各种类型的内容面前都能保持同样敏锐的判断力。

更重要的是,研究团队设计了一套全新的安全分类体系,就像为不同类型的安全威胁建立了一个详细的"族谱"。这套体系包含11个大类和28个细分类别,涵盖了从版权侵犯到网络攻击,从金融诈骗到环境威胁的各种安全风险。每个类别都有清晰的定义和具体的识别标准,为AI系统提供了准确判断的基础。

然而,这项研究最令人惊叹的创新在于它的训练方法。传统的AI系统就像一个需要老师手把手教导的学生,必须通过大量的标准答案来学习。而ProGuard采用了一种名为强化学习的训练方式,更像是让AI在实战中自己摸索和成长。系统通过不断尝试和犯错来学会如何做出正确的安全判断,这种训练方式让它具备了面对未知威胁时的应变能力。

在这个训练过程中,研究团队故意给AI系统出了一些"难题":他们会故意隐藏一些安全类别,然后看AI能否自己推理出这些缺失类别的名称和特征。这就像让侦探在案例手册页面缺失的情况下,依然能够分析和描述新型犯罪的特点。为了让AI的判断更加准确,研究团队还建立了一个"同义词库",用来评估AI对未知威胁的描述是否合理。

当AI系统遇到一个从未见过的安全威胁时,它不会简单地将其归为"其他"类别,而是会仔细分析威胁的特征,然后给出一个具体的描述。比如说,当系统遇到一种新型的医疗误导内容时,它可能会将其描述为"医疗误诊"而不是简单地标记为"有害内容"。

这种能力的实现依靠的是AI系统内部一种被称为"思考"的机制。当面对需要判断的内容时,AI会先在内心进行一番推理,就像人类在做重要决定前会仔细思考一样。这个思考过程被完整地记录下来,让人们能够理解AI是如何得出最终结论的,大大提高了系统的可信度和可解释性。

研究团队在多个国际标准测试中验证了ProGuard的性能。结果显示,在传统的安全内容识别任务中,ProGuard的表现与市场上最好的商业化AI系统不相上下。更令人印象深刻的是,在面对全新类型的安全威胁时,ProGuard的识别准确率比现有系统提高了52.6%,而在准确描述这些威胁的能力上更是提升了64.8%。

这种提升不是偶然的。研究团队发现,通过平衡不同类型内容的训练数据,AI系统在各种媒体形式面前都能保持稳定的判断能力。无论是纯文字的恶意评论,包含敏感图片的社交媒体帖子,还是图文混合的误导性广告,ProGuard都能给出准确的安全评估。

特别值得一提的是,研究团队在训练方法上的创新也带来了意外的好处。传统的AI训练方法往往会产生冗长而重复的"思考"过程,就像一个话痨在自言自语。而ProGuard通过强化学习训练出来的思考过程更加简洁有力,平均只需要52个思考单元就能做出准确判断,相比传统方法减少了一半以上的冗余思考。

为了确保AI的判断与人类的认知保持一致,研究团队还进行了大规模的人工验证。他们让人类专家对AI的判断结果进行评估,发现在各个安全类别中,人类专家与AI的一致性都超过了80%,证明了系统判断的可靠性。

这项研究的意义远不止于技术突破本身。在当今这个信息爆炸的时代,各种新型的安全威胁层出不穷,传统的"黑白名单"式安全防护早已无法应对复杂多变的网络环境。ProGuard代表了AI安全领域从被动防御向主动识别的重要转变,它不仅能够处理已知威胁,更重要的是具备了应对未知风险的能力。

从实际应用的角度来看,这种技术将为社交媒体平台、内容分享 、在线教育平台等需要进行内容安全管控的服务提供更加智能和全面的解决方案。用户在这些平台上分享内容时,不再需要担心因为安全检测系统的"知识盲区"而让有害内容漏网,也不用担心正常内容被过度敏感的系统误伤。

此外,这项研究还为AI安全领域的发展开辟了新的方向。通过让AI系统学会"举一反三",我们可以期待未来的AI安全助手不仅能够识别和分类威胁,还能够为安全策略的制定和完善提供有价值的洞察。当新的安全威胁出现时,这些系统能够快速学习和适应,为网络安全防护提供更加敏捷和智能的支持。

值得注意的是,研究团队已经将ProGuard开源,这意味着全世界的研究者和开发者都可以在此基础上继续创新和改进。这种开放的态度不仅促进了学术界的交流合作,也为这项技术的快速普及和应用奠定了基础。

展望未来,随着AI技术的不断发展和网络环境的日益复杂,像ProGuard这样具备主动学习和推理能力的安全系统将变得越来越重要。它们不仅是技术进步的体现,更是我们构建更加安全、可信的数字世界的重要工具。这项研究为我们展示了一个令人鼓舞的前景:AI不仅可以成为我们的得力助手,还能够在面对未知挑战时展现出类似人类的智慧和判断力。

Q&A

Q1:ProGuard与传统AI安全系统有什么区别?

A:传统AI安全系统只能识别已知的威胁类型,就像按照固定清单检查的门卫。而ProGuard能够主动发现并描述从未见过的全新安全风险,更像一位具备洞察力的安全专家,即使面对前所未见的威胁也能做出准确判断。

Q2:ProGuard在性能方面比现有系统提升了多少?

A:在面对全新类型安全威胁的识别准确率上,ProGuard比现有系统提高了52.6%,在准确描述这些威胁的能力上提升了64.8%。在传统安全内容识别任务中,其表现与市场上最好的商业化AI系统不相上下。

Q3:普通用户能否使用ProGuard技术?

A:研究团队已经将ProGuard开源,全世界的开发者都可以在此基础上创新改进。预计未来会有更多基于这项技术的安全产品应用到社交媒体、内容分享 等平台中,为用户提供更智能全面的内容安全保护。

来源:https://www.163.com/dy/article/KI9TL8HC0511DTVV.html
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

上海AI实验室推出FinToolBench:智能体金融领域持证上岗
科技数码
上海AI实验室推出FinToolBench:智能体金融领域持证上岗

这项由上海AI实验室联合湖南大学、厦门大学、腾讯等多家机构共同完成的研究发表于2026年3月的arXiv预印本,论文编号为arXiv:2603 08262v1。有兴趣深入了解的读者可以通过该编号查询

热心网友
03.27
国电高新专利:提升卫星设备可靠性的关键技术方案
科技数码
国电高新专利:提升卫星设备可靠性的关键技术方案

人民财讯3月17日电,企查查APP显示,近日,北京国电高科科技有限公司“双循环卫星保温散热系统、卫星和卫星保温散热方法”专利获授权。企查查专利摘要显示,该申请提供的双循环卫星保温散热系统,可解决现有

热心网友
03.17
大摩对OpenClaw产品本土化存疑:易用性与安全性挑战严峻
科技数码
大摩对OpenClaw产品本土化存疑:易用性与安全性挑战严峻

智通财经APP获悉,摩根士丹利发表报告,表示对OpenClaw相关产品能否现阶段在内地获得大规模采用存疑,指该框架目前仍是实验性质的自主智能体框架,而非可供消费者直接使用的成熟应用程序。以其目前的型

热心网友
03.12
宏碁TravelMate P4/P2系列商务本上新Panther Lake版
礼仪与书信
宏碁TravelMate P4/P2系列商务本上新Panther Lake版

IT之家 3 月 11 日消息,宏碁 Acer 昨日宣布推出搭载英特尔第三代酷睿 Ultra 处理器 "Panther Lake " 的 TravelMate 航海家 P4 P2 系列商务笔记本电

热心网友
03.11
华为零中断光网络赋能全球部署,可靠性突破99.999%
科技数码
华为零中断光网络赋能全球部署,可靠性突破99.999%

IT之家 3 月 7 日消息,在 MWC26 巴塞罗那期间,华为光传送领域总裁谷云波介绍了 2025 年华为在光网络领域围绕绿色、体验、运维等方面取得的突破性进展:绿色高效网络:为欧洲、亚太、拉美、

热心网友
03.07

最新APP

火柴人传奇
火柴人传奇
动作冒险 04-01
街球艺术
街球艺术
体育竞技 04-01
飞行员模拟
飞行员模拟
休闲益智 04-01
史莱姆农场
史莱姆农场
休闲益智 04-01
绝区零
绝区零
角色扮演 04-01

热门推荐

《全面战争:中世纪3》:只怀旧做不成好游戏经典需要现代化
游戏资讯
《全面战争:中世纪3》:只怀旧做不成好游戏经典需要现代化

《全面战争:中世纪3》:经典延续,如何平衡怀旧与创新? 近期,《全面战争:中世纪3》的项目负责人帕维尔·沃伊斯坦然指出,要打造一款真正优秀的续作,绝不能仅仅依赖对前作模式的简单复刻。这一观点引人深思——尽管《中世纪2:全面战争》至今仍在策略游戏爱好者心中占据着经典地位,但开发团队此次显然决心跳出“照

热心网友
04.02
雷鸟创新AWE斩获艾普兰创新奖 蝙蝠侠限定款国内首秀
科技数码
雷鸟创新AWE斩获艾普兰创新奖 蝙蝠侠限定款国内首秀

雷鸟X3 Pro斩获AWE艾普兰创新大奖,开启全民AR生活新篇章 在上海新国际博览中心隆重揭幕的2026年中国家电及消费电子博览会(AWE)上,前沿AI科技与未来生活愿景激情碰撞。全球消费级AR领导品牌雷鸟创新,以其里程碑式的表现,定义了行业发展的新方向。 通过“顶尖硬件科技+顶级文化IP”的双轨战

热心网友
04.02
AWE探展MOVA:31款创新产品集中亮相 重新定义智慧生活新体验
科技数码
AWE探展MOVA:31款创新产品集中亮相 重新定义智慧生活新体验

借力AWE2026“一展双区”,MOVA双区协同、震撼登场 备受瞩目的科技盛会——2026年中国家电及消费电子博览会(AWE),于3月12日至15日在上海盛大举办。本届AWE展会首次创新采用“一展双区”的展览模式,主会场位于上海新国际博览中心,分会场则设于上海东方枢纽国际商务合作区,两大展区高效联动

热心网友
04.02
DNF2026冰结技能数据是怎样的-2026DNF冰结技能数据详情
游戏攻略
DNF2026冰结技能数据是怎样的-2026DNF冰结技能数据详情

冰结师技能全解析 踏入2026年,《地下城与勇士》中的冰结师职业,其技能体系已构建得更为成熟与强大。无论是在副本中高效清理海量怪物,还是在决斗场与高手玩家周旋,这个职业都能凭借其独特的冰霜艺术掌控战局。刷图时,酷寒的范围法术可瞬间清屏;而在PVP竞技中,一套将冻结控制与瞬间爆发完美衔接的连招,往往让

热心网友
04.02
iPhone 18 Pro设计挤牙膏了 继续用前代模具
科技数码
iPhone 18 Pro设计挤牙膏了 继续用前代模具

iPhone 18 Pro系列模具不变,屏幕形态将与iPhone 17 Pro保持一致 备受期待的屏下Face ID组件小型化设计与灵动岛区域缩窄方案,预计将被推迟至后续迭代机型中正式应用。 近期,关于iPhone 18 Pro系列的技术传闻持续引发行业关注,尤其在显示与解锁设计领域传言甚多。多方消

热心网友
04.02