导语
Agent 技能（Skills）正在快速融入 AI 应用的日常生态，但与此同时，它也打开了一扇全新的安全大门——一条供应链攻击的入口。如何防范恶意 Skill 导致的数据泄露和 Agent 劫持，构建一个安全可信的运行环境，已经成为行业共识。像 ClawHub 这样的主流技能市场，已经上线了检测机制，开源社区也涌现出不少扫描工具。但落地时，用户常常陷入两难。
一方面，有些扫描方案追求高召回，却频频误报，搞得安全团队“狼来了”听多了，反而麻木了。另一方面，另一些方案判定倒是精准，可遇到隐蔽的对抗手法时，又容易漏报。更有意思的是，基于大语言模型（LLM）的扫描器，换个底层模型，研判偏好就天差地别。眼下，行业太缺一个客观的衡量标尺了——既能用来度量安全方案的检测效能，也能用来评估 Skill 本身的安全可信度。
针对这些痛点，腾讯朱雀实验室联合香港中文大学（深圳）吴保元教授课题组正式发布了SkillTrustBench——这是第一个面向真实落地场景、兼顾 Agent Skills 安全可信度与外部扫描方案检测效能的双重评测基准。它从主流技能市场的 62,652 个 Skill 中提炼出 5,520 个评测用例，覆盖九大类常见安全威胁，为评估和提升 Agent 技能的安全性提供了客观参考。
从首期评测数据中，有几个核心判断值得关注：
- 大模型底座表现： 在安全扫描场景下，Claude Opus 4.6 与 GLM 5.1 的语义推理和安全约束理解能力非常突出，稳居第一梯队；DeepSeek V4 Flash 与 Hy3 preview 则在性能与成本之间找到了很好的平衡点，性价比优势明显。
- 开源工具效能： 以 OpenClaw + Skill Vetter 为代表的轻量级开源审计方案，已经具备了发现多数恶意 Skill 风险的基础能力。不过，在面对复杂噪声干扰时，误报控制方面还有不小的优化空间。
- Skill 本身的安全可信度： 一个有意思的发现是，大量非恶意 Skill 同样存在不可信的隐患。像硬编码凭证、敏感权限滥用、容易受命令注入攻击等不安全编码缺陷，相当普遍。这些行为主观上无害，但自身的脆弱性，很容易成为供应链劫持的二次攻击入口。
01 Agent Skills的攻击面正在扩大
Agent Skills 的危险性，恰恰来自它的“复合性”。Skill 同时跨越了自然语言、代码、依赖、权限和运行时上下文。它既能在文档里直接给 Agent 下指令、利用网络请求向外传数据，也能通过执行本地脚本、安装外部依赖或者篡改会话记忆，来实施隐蔽攻击。
2026 年 1 月底的 ClawHa voc 事件，就是一个警钟。当时有 1,184 个恶意 Skill 被上架到 ClawHub 市场，涉及 24.7 万次安装。紧接着，Snyk 发布的 ToxicSkills 报告指出，市场中 36.82% 的 Skill 至少存在一个安全问题；SkillProbe 论文的审计也发现，高下载量并不等于更安全——ClawHub 里超过 90% 的高热度 Skill，依然存在风险。
2026 年 4 月，腾讯朱雀实验室使用 A.I.G（AI-Infra-Guard，腾讯朱雀实验室开源的一站式 AI 红队安全测试平台）对 ClawHub 上的 Skill 做了一次全量扫描。研究显示，ClawHub 在 90 天内从不足 2,000 个 Skill，暴增到超过 50,000 个；即便平台后来上线了安全检测机制，Skill 生态里的风险信号依然密集。
具体来看，有几个趋势值得警惕：
第一，恶意 Skill 已经呈现出规模化、矩阵化的生产迹象。 五万个 Skill 背后共有 15,427 名开发者，但 Top 20 的发布者合计发布了 5,422 个 Skill，占总量的 12.9%；一个极端账号在 3 个月内发布了 955 个 Skill，日均 10.6 个。多组命名相近、发布时间交替的账号矩阵说明，Skill 生态已经具备了批量制造、批量投放、批量伪装的条件。
第二，权限组合天然接近数据外泄链路。 近五万个 Skill 中，有 27,818 个声明了网络请求权限，占比高达 74.6%。联网本身不是问题，但当“读文件 + 联网”成为大量 Skill 的常见组合时，恶意外传就能轻松隐藏在正常功能流量里。
第三，外联通道已经非常分散。 全量扫描共发现 246,378 条 URL，指向 29,196 个不同域名。其中既有正常的 API、文档、依赖源，也可能藏着远程控制、数据回传、链上交互或二阶段载荷下载的通道。
02 现有扫描与评测为什么不够
年初的 ClawHa voc 事件之后，Skill 市场和安全厂商确实开始建设扫描机制了。以 ClawHub 为例，平台新增了内置的 LLM 安全评估和 VirusTotal 的外联检测。这类机制能有效拦截大部分恶意指令直接写在 SKILL.md 文档里、或者直接下载运行木马程序的粗暴攻击。
但攻击者很快进入了下一阶段：他们不再把恶意逻辑写得那么明显，而是利用输入截断、文件类型盲区、源码与分发产物不一致、企业合规话术和社会工程解释来绕过扫描。
2026 年 6 月，Trail of Bits 针对 ClawHub、Cisco skill scanner 以及 skills.sh 集成的多个扫描器，做了一次绕过测试。他们构造的样本包括：
这些攻击并不算极端高级，但它们精准地暴露了当前扫描方案的能力边界：文件是否被完整读取？特殊文件是否被展开分析？字节码是否被反编译？LLM 是否会被一段看似合理的解释说服？
另一个问题是，当前行业里众多开源 Skill 安全扫描方案之间，缺少共识。
2026 年 5 月底，OpenClaw 官方发布的 ClawHub Security Signals 数据集，覆盖了 ClawHub 中 67,453 个公开 Skill，并进一步对比分析了 ClawHub 官方市场原有的内置静态分析结果、VirusTotal 分析结果和 NVIDIA SkillSpector 扫描结果。结果显示：任意两类扫描的阳性样本重合度，最多只有 10.4%；只有 0.69% 的恶意 Skill 被三类扫描方案同时发现；81.9% 的被标记样本，只被单一扫描方案发现。
这意味着，不同扫描方案看到的是不同的风险切面，甚至对同一批样本的判断也缺乏稳定共识。所以，光有众多的开源扫描器还不够，行业还需要一个公开、可复现、可持续更新的评测基准，来回答几个更基础的问题：
- 哪个方案更能发现恶意 Skill？
- 哪个方案更容易误报正常 Skill？
- 同一个方案，换不同底层模型会怎样？
- 哪些攻击类型最容易漏掉？
- 哪些正常行为最容易被误伤？
SkillTrustBench 正是围绕这些问题设计的。
03 SkillTrustBench：从真实Skill生态构建评测标尺
SkillTrustBench 当前版本从 62,652 个真实 Skill 出发，来源覆盖主流技能市场与开源社区。经过清洗、去噪、平衡采样和攻击注入，最终形成了 5,520 个评测用例，覆盖九大类 Skill 常见威胁。
样本分布如下：
这里最关键的设计，其实不是样本数量，而是样本结构。
如果一个评测集里全是显而易见的恶意样本，扫描方案很容易被引导成看到危险命令就告警的规则系统。这种工具在测试里可能很好看，但一进入真实平台，就会制造大量误报：系统管理 Skill 需要调用 shell，文档处理 Skill 可能使用临时共享库，官方安装脚本可能出现 curl | bash，开发工具 Skill 可能需要拉取依赖或访问外部 API。
毕竟在实际场景中，调用敏感 API 不等于恶意，而看似合规的解释也可能是伪装。因此，SkillTrustBench 同时评估三类能力：
- 是否能抓住恶意 Skill；
- 是否能区分 suspicious 与 malicious；
- 是否能控制对安全样本的误报。
在风险分类上，SkillTrustBench 采用按攻击手段划分的 T01-T09 体系，而不是简单地按攻击后果分类：
另外，评估 Skill 本身的安全可信度，远不只是简单的“非黑即白”恶意检测。我们在风险类别中特意引入了 “T09 不安全编码行为”。
在真实的 Agent 生态中，大量由正常工程人员开发的 Skill，主观上并没有恶意。但由于缺乏安全编码规范，代码中往往伴随着硬编码凭证、敏感权限过度声明、缺乏输入校验等缺陷。这些缺陷就像软件供应链里的潜伏漏洞：即便开发者主观无害，不安全的代码仍可能被黑客通过提示词注入或间接指令劫持，成为入侵系统的隐性通道。
04 首期评测发现：高召回不等于可落地
SkillTrustBench 首期评测包含两组核心榜单：一组比较不同的扫描工具，另一组比较同一扫描流程在不同底层模型上的表现。
首期横评对比了当前开源生态中关注度较高的几款 Skill 开源扫描方案：
- Skill Vetter (OpenClaw / Hermes Agent)：当前下载量最高的安全审计 Skill，可以快速部署在各类 Agent 框架中，在 Skill 安装前检查风险并在对话中提示用户。
- Cisco Skill Scanner：Cisco AI Defense 开源的检测工具，结合了静态规则、LLM 语义分析与行为数据流分析，重点扫描提示注入、数据泄露及恶意代码。
- NVIDIA SkillSpector：采用两阶段检测架构。第一阶段利用 AST 行为分析、依赖项校验、污点追踪及 YARA 规则进行快速初筛；第二阶段引入 LLM 进行上下文语义分析，用以过滤误报并输出解释。
在扫描器横评中，统一使用 DeepSeek v4 Flash 作为底座模型。最新公开结果如下：
在最新榜单中，Skill Vetter + OpenClaw 的组合召回率与综合分值（F1）最高；Skill Vetter + Hermes Agent 组合综合排名第二，但误报最少。Cisco Skill Scanner 的召回率不错，但误报率达到 24%。NVIDIA SkillSpector 的误报较少，但漏报最多。
这组数据清楚地说明，安全检测不能只看召回率或误报率。在真实的 Skill 市场上架前审计、企业内部 CI/CD 流程和 Agent 平台里，高误报会直接损害 Skill 的可用性。一个扫描方案如果把大量正常 Skill 标成恶意，最终的结果往往不一定是更安全，而是用户选择忽略它的提示。能抓住恶意样本是第一步，能放过正常样本，才是进入生产流程的前提。
在模型底座评测中，SkillTrustBench 固定扫描器配置，仅替换底层推理模型，观察不同模型在以 A.I.G 最新内测版作为 Skill 安全扫描工具时的表现：
- 能力最强之选：Claude Opus 4.6 与 GLM-5.1。 两者在风险推断、指令关联分析和意图识别方面表现出了很好的均衡性，综合分值最高。不过，GLM 5.1 的评测 Token 成本相对更低（不到 Claude 4.6 Opus 的 10%）。
- 性价比之选：DeepSeek-V4-Flash 与 Hy3 Preview。 整体表现相对均衡，误报控制较好，适合作为低成本的安全评测参照基线。在 Skill 市场上架前扫描这种高频任务场景中，落地实用性很高。
- 偏向性特征表现：
- Gemini 3.5 Flash 在本组评测中展现出了较高的精确率与极低的误报率，但在复杂样本的召回能力上相对保守，会有部分漏报。
- GPT-5.5 表现出较高的召回率，但误报率高达 18.67%，在安全性研判上更倾向于“宁可误报，也不漏过”的风格。
对于模型厂商来说，SkillTrustBench 不仅测试了模型的语义理解，还考验了其对代码逻辑、多步指令的链式推理和敏感边界的划定能力。过去，这种垂类安全任务场景的能力比较，一直缺少足够全面和权威的标尺。SkillTrustBench 的定位，就是为大模型在此类安全任务推理上提供一个客观的评估基准。
05 共建安全可信的 Agent Skills 生态
眼下，Agent Skill 安全扫描的核心问题，已经从“有没有工具”，迈向了“如何证明有效”的新阶段。由于 Skill 兼具代码与自然语言的双重属性，而且攻防对抗动态演进，行业长期缺乏统一标尺，导致各方的评估结果各说各话，企业难以选择合适的扫描方案。
我们希望 SkillTrustBench 的发布，能为行业提供一个 AI 技能安全检测的客观评估基准，推动检测能力从“定性”走向“定量”。作为一个持续演进的项目，我们将紧跟最新的攻防实践，不断充实评测集，也诚挚邀请各方加入共建：
- 大模型厂商： 提交新模型评测结果，评估模型在 Agent Skill 安全审查场景中的能力水平。
- Agent 平台与 Skill 市场： 评估并优化内置的安装前安全审计方案。
- 安全扫描工具： 提交新版本扫描方案，横向比较检测能力的演进。
- 安全研究者： 提交真实攻击样本、绕过案例和良性高风险样本，共同完善 benchmark 的覆盖面。
参考资料
- 腾讯朱雀实验室：我们扫描了五万个 Skill，发现危险仍然存在
- Snyk：ToxicSkills: Agent Skills supply chain compromise study
- SkillProbe：Security Auditing for Emerging Agent Skill Marketplaces via Multi-Agent Collaboration
- Trail of Bits：The sorry state of skill distribution
- ClawHub Security Signals：When VirusTotal, Static Analysis, and SkillSpector Disagree