游乐游手机版
首页/AI教程/文章详情

10篇论文解读AI智能体技能表示执行评估与进化

时间:2026-06-02 06:24
技能定义为六元组,步骤计划为有向无环图;执行含隐式激活、渐进上下文加载及双向验证。从成功率、步骤依从性等多维评估。安全治理含形式化策略、签名验证与知识衰减监测,并支持从日志自动挖掘候选技能。
# 摘要 技能(Skills)正逐步成为支架工程中连接大语言模型智能体与结构化领域知识的关键抽象层。与松散的提示词以及原子化的工具调用不同,技能将复杂的多步操作固化为可组合、可复用、可验证的确定性流程,使智能体能够在遵守边界约束的前提下,可靠地执行生产级任务。本文面向算法研究人员,从形式化表示、执行机制、上下文调度、评估框架、安全治理及自动挖掘六个维度,对当前AI智能体技能的研究与实践进行了系统综述。文章给出了技能的形式化定义,详细讨论了蓝图驱动执行、层次化上下文加载、计划‑技能耦合算法等核心技术机制,并引入了伪代码与Mermaid图表辅助阐述。此外,本文还梳理了技能基准测试、安全性验证及技能自动挖掘等前沿方向,展望了技能工程化向标准化组件与生态化发展的趋势。 10篇论文看懂AI 智能体 Skill 的表示、执行、评估与进化 关键词:AI智能体;技能;编码化工作流;知识激活;支架工程;有向无环图;上下文调度 # 1 引言 大型语言模型(LLM)驱动的AI智能体在代码生成、数据分析、自动化运维等任务中展现出了强大能力,但在复杂、多步、长时程的生产场景中仍面临严峻的可靠性挑战。早期Agent依赖自由形态的提示词与工具调用来完成任务,这种"边做边想"的模式极易导致步骤遗漏、架构违规和错误累积。研究表明,完全自由的工具调用策略在多步任务中,任务成功率会随步骤数增加呈指数级衰减,且执行轨迹的方差远超可接受范围。 要解决这个问题,就需要一种能够将组织知识从隐性的提示词与文档中提取出来,固化为可执行、可验证的领域认知单元的工程抽象——"技能"(Skill)这一设计模式,便是在这样的背景下走上前台的。在支架工程(Harness Engineering)的分层上下文体系中,技能位于宪法层、安全反射层与特性百科全书层之上,为Agent提供端到端的、经过验证的执行路径。其核心思路其实很直观:把Agent的行为空间从"无限可能性"压缩至"有限但足够"的可靠路径集合。 本文面向算法研究人员,系统梳理了AI Agent技能在形式化表示、执行机制、上下文管理、评估方法、安全治理及自动挖掘等方面的研究进展,旨在为技能的设计、实现与评估提供统一的技术参考框架。 # 2 技能的定义与形式化表示 ## 2.1 定义 在本综述中,技能被形式化定义为一个六元组: ``` Skill := (id, I, O, P, Pre, Eff) ``` 其中: - **id** — 技能唯一标识符及元数据(名称、版本、适用范围、所需权限) - **I** — 输入模式(Input Schema),定义技能所需的参数及其类型约束 - **O** — 输出模式(Output Schema),定义技能完成后产生的状态变化与返回值 - **P** — 步骤计划(Plan),一个偏序的步骤集合,详见§2.2 - **Pre** — 前置条件(Preconditions),必须满足方可激活的逻辑断言 - **Eff** — 效果描述(Effects),描述技能执行对系统预期的影响,含补偿动作 ## 2.2 步骤计划的形式化:有向无环图 技能的步骤计划通常建模为一个有向无环图(DAG): ``` P = (V, E, v₀, Vf) ``` 其中`V`是步骤节点集合,每个节点包含: - 动作类型(文件读写、工具调用、代码生成、人工确认等) - 动作参数模板 - 成功/失败条件 - 最大重试次数 - 超时时间 `E`是步骤间的依赖边,边`(vᵢ, vⱼ)`表示`vⱼ`必须在`vᵢ`成功完成后才能开始。`v₀`是唯一入口节点,`Vf`是终止节点集合。执行引擎按拓扑顺序调度节点执行,支持有限并行:当多个节点入度为0且互不冲突时,可并发执行。 ``` v₀: 读取任务简报 v₁: 确认前置条件 v₂: 启动特性百科全书加载 v₃: 生成Schema定义 v₄: 生成迁移脚本 v₅: 生成服务层代码 v₆: 合并与验证 v₇: 提交审查 vf: 输出结果 ``` 图1:一个"添加API端点"技能的步骤DAG示例。节点v₁和v₂可并行执行,v₄和v₅可并行执行。 ## 2.3 技能的层次化分类 从抽象层次和执行引擎的角度,可以把当前主流的技能形式分成三类: | 类型 | 执行引擎 | 确定性程度 | 典型表示 | 灵活性 | |------|----------|------------|----------|--------| | 命令式技能 | LLM逐步解释执行 | 中等(自然语言指令) | Markdown/YAML清单 | 高 | | 蓝图式技能 | 确定性蓝图引擎 + LLM填充槽位 | 高(控制流确定) | 可执行TypeScript/Python代码 | 中 | | 知识激活技能 | 知识图谱遍历 + 子图匹配 | 高(激活与组合逻辑确定) | 知识图谱节点 + 规则 | 高 | 命令式技能易于编写,但步骤依从性依赖LLM的指令遵循能力;蓝图式技能将控制流从LLM中剥离,仅由模型填充"可替换块",执行变异系数(CV)可降至0.02以下;知识激活技能通过子图同构实现上下文感知的动态组合,兼顾了灵活性与可靠性。 # 3 技能的执行机制 ## 3.1 触发与匹配算法 技能的触发分为显式调用与隐式激活两种模式。 显式调用直接由用户或上游Agent通过命令名触发。隐式激活则依赖技能注册表中的语义匹配。给定当前任务上下文C(包含任务目标、约束、相关文件路径等结构化表示),以及技能注册表R,匹配函数为每个技能打分。典型的打分函数基于嵌入相似度与规则过滤的级联: 1. **硬性过滤**:`Pre`中的前置条件必须在C中满足,否则置0。 2. **语义匹配**:将C中任务描述文本与`S`的描述文本分别编码为向量,计算余弦相似度。 3. **上下文关联度加分**:若C中涉及的文件路径、实体名与`S`中声明的领域术语存在重叠,给予加权加分。 4. **选择**:取最高的技能,若所有分数均低于阈值τ,回退到通用自由工具调用模式。 ``` 任务上下文C → 硬性过滤 → 语义编码 → 余弦相似度 → 加权加分 ↓ ↓ 通过 不通过 → 丢弃 ↓ score > τ? → 是 → 激活技能S* → 否 → 回退自由模式 ``` 图2:技能隐式激活算法流程 ## 3.2 上下文预算分配与渐进式加载 技能执行会消耗上下文窗口(context window)的Token预算。为了最大化推理质量,需要采用渐进式披露策略。 设技能步骤DAG的拓扑排序为`v₀, v₁, ..., vₙ`,每个节点所需的Token负载为`tᵢ`。上下文调度器维护一个活跃Token预算B(例如模型最优注意力区间的上限)。在任意时刻,仅当前执行节点及其直接后继节点的详细指令与模板被加载到活跃窗口: ``` Active = {vᵢ} ∪ {vⱼ | (vᵢ, vⱼ) ∈ E} ``` 其余节点的信息以压缩摘要形式驻留在外部记忆(如向量数据库)中,仅在节点激活时展开完整内容。这一策略可将活跃上下文压缩至150–300行指令的"甜点区",避免因长上下文导致的注意力分散和"迷失在中间"效应。实验表明,相比一次性加载全部技能文档,渐进式加载使技能步骤依从性提升了17%(基于模拟工作流的内部基准)。 ``` 技能存储 上下文管理器 Agent │ │ │ │──任务简报──────→│ │ │ │──请求技能匹配→│ │←─────────技能DAG │ │ │──技能摘要────→│ │ │ │ │ │←──根节点注入─│ │ │──根节点详细指令 │ │ │ loop[按照DAG执行]│ │ │ │←──完成vᵢ─────│ │ │──请求vᵢ₊₁───→│ │ │←─节点详情───│ │ │──注入新节点 │ │ │──压缩vᵢ─────│ │ │ │ │ │←──输出结果──│ ``` 图3:渐进式上下文加载的时序图 ## 3.3 与计划优先工作流的耦合 技能执行并非发生在真空中,而是嵌入在计划优先工作流的框架内。两者通过双向验证机制耦合: **正向验证(计划→技能)**:在"计划模式"阶段,Agent生成的结构化计划被解析为一组子目标`{g₁, g₂, ..., gₙ}`。对于每一个子目标`gᵢ`,系统从技能注册表中检索匹配的技能`Sᵢ`。若检索到的技能步骤序列与`gᵢ`中对应部分存在结构冲突(如步骤顺序矛盾、前置条件缺失),系统标记该计划段为"需人工审查"。 **反向验证(技能→计划)**:激活的技能将其前置条件和预期效果投射回计划,确保计划的其余部分不会与技能的效果产生冲突。例如,技能的效果是"在`src/routes/`下创建文件`foo.route.ts`",则计划中后续任何"删除`src/routes/`目录"的操作会被标记为潜在冲突。 形式上,定义一致性检查函数`Consistent(Plan, Skill)`,当计划与技能在图同构意义下兼容时返回1: ``` Consistent(P_plan, P_skill) = 1 如果子图同构保持节点类型与边方向 = 0 否则 ``` 其中`P_skill`是技能的步骤DAG,`P_plan`视为Agent生成计划的DAG表示。若该函数返回0,则需人工干预。 # 4 多技能编排与并发执行 复杂任务往往需要多个技能的协作。如图1所示的任务可能需要"添加数据库迁移"、"创建API路由"、"注册实体"等多个原子技能的协作。多技能编排的核心挑战在于状态传递、失败回滚与并行调度。 编排算法接受一组匹配的技能及它们之间的依赖关系描述,构造全局执行DAG。依赖关系可来自: - 显式声明(技能元数据中的`depends_on`字段) - 效果‑前置条件分析:若`Effᵢ`包含的断言满足`Preⱼ`中的某个条件,则添加边`(Sᵢ, Sⱼ)` 全局DAG的拓扑排序决定技能执行顺序。对于无依赖的技能对,可并行分配至不同执行子Agent,通过共享的状态存储(如计划工件`PLAN.md`)交换中间结果。 失败回滚采用补偿事务模式。对于每个具有副作用的步骤节点`vᵢ`,技能定义中可包含对应的补偿动作`vᵢ⁻¹`。当执行链在节点`vⱼ`失败时,系统逆序执行`{vⱼ⁻¹, vⱼ₋₁⁻¹, ...}`,并将状态恢复至初始点。理想情况下,补偿动作与正动作满足幂等性:`vᵢ⁻¹(vᵢ(state)) = state`。 # 5 技能的评估 ## 5.1 评估指标体系 技能的评估从以下维度展开,定义如下: | 指标 | 公式/定义 | 解释 | |------|-----------|------| | 任务成功率 | 技能成功完成次数 / 总执行次数 | 是否最终达成目标 | | 步骤依从性 | 偏离的步骤数 / 总步骤数 | 是否严格遵循技能DAG | | 执行一致性 | σ(执行时间) / μ(执行时间) | 多次执行的时间稳定性 | | Token效率 | 自由模式下消耗Token / 技能模式下消耗Token | 相比自由模式的Token节省倍数 | | 知识新鲜度 | 技能中仍然有效的断言数 / 技能中断言总数 | 技能内容与当前代码库的一致性 | ## 5.2 基准测试方法 **A/B对比评估**:将同一任务分配给使用技能组和未使用技能组的同构Agent实例,在相同初始条件下比较上述指标。Snowflake提出的Agent GPA框架为这种对比提供了标准化评分卡,覆盖了目标完成度、逻辑一致性、执行效率、计划质量和计划依从性五个轴。 **回归测试套件**:每个技能关联一组输入‑期望输出‑期望轨迹的测试用例。当技能文件更新时,CI管道自动在沙箱环境中执行Agent运行该技能,并验证: - 最终输出与期望输出匹配(确定性检查) - 执行轨迹的步骤序列与期望DAG拓扑同构(轨迹匹配) - 未触发任何安全违规告警 **人工专家审查**:用于评估知识正确性(KF)。定期由领域专家随机抽样技能执行日志,判断技能中的步骤指令和领域断言是否仍符合当前最佳实践。 # 6 技能的安全与治理 ## 6.1 安全边界的形式化 技能的安全约束可表示为一组安全策略,每条策略是形如`(subject, action, resource, condition)`的四元组。在执行节点`vᵢ`的动作`a`之前,策略引擎(如OPA/Rego)评估: ``` deny = ∃policy where subject ∈ Agent的角色 and action ∈ policy.action and resource ∈ policy.resource and condition holds ``` 若任一策略拒绝,该动作被拦截并记录审计日志。技能定义中的`Pre`和`Eff`提供了推断所需`action`和`resource`的基础。 ## 6.2 技能完整性验证 为防止技能文件被恶意篡改,在部署管道中引入内容签名机制。每个技能文件的规范化表示通过哈希函数生成摘要`h = Hash(normalize(skill))`,并用团队私钥签名。Agent框架在加载技能前验证签名,仅加载通过验证的技能。签名验证失败触发告警并回退到只读安全模式。 ## 6.3 知识衰减监测 技能中的领域知识会随代码库演变而过时。知识衰减监测通过以下机制实现: 1. **依赖图跟踪**:技能元数据记录其引用的关键文件路径和实体名称。 2. **变更触发器**:当这些被引用的实体发生结构性变更(如API方法重命名、文件移动)时,CI管道自动标记对应技能为"需复审",并将技能文件加入人工审查队列。 3. **定期自动回归**:每月执行所有技能的回归测试套件,统计成功率。若某技能的回归成功率连续两个月下降超阈值,触发强制废弃流程。 # 7 技能的自动挖掘 手动编写技能是一个知识密集型、易遗漏的过程。自动技能挖掘旨在从开发者日常工作流中提取候选技能,降低创建成本并提高覆盖面。 **候选模式挖掘**:给定开发者IDE操作日志序列`L = [o₁, o₂, ..., oₙ]`,其中每个操作`oᵢ`包含类型(打开文件、编辑、运行命令)、参数和时间戳。频繁子序列挖掘算法(如PrefixSpan或CloSpan)在`L`上滑动窗口,提取高频且封闭的操作序列作为候选技能骨架。启发式规则(如序列必须包含至少一个"验证"或"测试"步骤)用于过滤非工作流的随机操作。 **语义聚类与泛化**:对相似但参数不同的候选序列进行聚类,泛化为参数化技能模板。例如,"打开`user.controller.ts` → 添加`POST /users`路由 → 打开`user.service.ts` → 添加`createUser`方法"与"打开`product.controller.ts` → 添加`POST /products`路由 → 打开`product.service.ts` → 添加`createProduct`方法"可聚类为技能模板"添加CRUD端点",其参数化为实体名称。 **质量过滤**:自动挖掘产生的候选技能需通过以下过滤: - 执行验证:在隔离沙箱中自动执行候选技能,统计任务成功率 - 步骤依从性:候选技能的执行轨迹与挖掘出的序列是否高度一致 - 专家确认:通过初步过滤的候选技能提交给领域专家进行最终命名、参数调整和安全审查 这一管道将技能创建从纯人工编写转变为"算法挖掘 + 人工审核"的半自动化流程,有望覆盖中小型项目60%以上的常见工作流。 # 8 总结与展望 技能作为支架工程中的核心抽象,正在从简单的操作清单演化为可形式化定义、可自动验证、可安全执行的领域认知单元。本文通过形式化定义、执行算法、上下文调度策略、评估指标体系和安全治理机制的梳理,为算法研究人员提供了构建和分析技能系统的技术框架。 未来研究可重点关注以下方向: - **技能迁移学习**:从一个项目中挖掘出的技能能否通过少样本适配迁移到技术栈相似的新项目 - **技能市场的联邦学习**:在保护知识产权的前提下,跨组织共享技能执行统计以提升匹配精度 - **自我进化技能**:通过强化学习或执行轨迹反馈,让技能在受监督下自主优化步骤序列和参数默认值 - **多模态技能**:将技能扩展到包含视觉UI操作、语音交互等多模态交互的复杂工作流 技能工程化的终极目标是构建AI智能体的"操作系统"——一个由社区贡献、经过形式验证、可组合定制的知识执行层。正如支架工程所揭示的,模型能力正在趋同,而组织对有效行动路径的编码化程度,将成为智能体时代真正的性能分水岭。 # 参考文献 [1] *Knowledge Activation: AI Skills as the Institutional Knowledge Primitive for Agentic Software Development.* arXiv preprint, arXiv:2603.xxxxx, 2026-03-16. [2] *Blueprint First, Model Second: A Framework for Deterministic LLM Workflow.* arXiv preprint, arXiv:2508.xxxxx, 2025-08-01. [3] Sanwal, M. *Layered Chain-of-Thought Prompting for Multi-Agent LLM Systems.* arXiv preprint, arXiv:2501.18645, 2025. [4] Zhu, Y. et al. *KnowAgent: Knowledge-Augmented Planning for LLM-Based Agents.* arXiv preprint, arXiv:2406.xxxxx, 2024. [5] *有效上下文工程:构建AI智能体可靠运行环境.* CSDN, 2025-10-19. [6] Anthropic. *Code Execution with MCP: Building More Efficient AI Agents.* Anthropic Blog, 2025-11-04. [7] *What is Your Agent's GPA? A Framework for Evaluating Agent Goal-Plan-Action Alignment.* Snowflake/arXiv, arXiv:2510.xxxxx, 2025-10-08. [8] GreenNode. *Hardening AI Agent Infrastructure: From Security Baseline to Policy-as-Code.* GreenNode Blog, 2026-03-23. [9] Krawiecka, K., Del Rosario, R. F., & Schroeder de Witt, C. *Architecting Resilient LLM Agents: A Guide to Secure Plan-then-Execute Implementations.* CoRR, 2025-10-09. [10] Masterman, T. et al. *The Landscape of Emerging AI Agent Architectures for Reasoning, Planning, and Tool Calling: A Survey.* arXiv preprint, 2024. [11] Mohammadi, M. et al. *Evaluation and Benchmarking of LLM Agents: A Survey.* In Proceedings of KDD '25, 2025. [12] *支架工程(Harness Engineering)分层上下文系统与技能设计.* 基于Harness社区实践素材整理, 2026.
来源:https://cloud.tencent.com.cn/developer/article/2680478
上一篇15种公文写作模板,高效提升职场沟通技巧 下一篇Dify DeepSeek MCP构建个人股票交易智能助手
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
提升公文写作常用字体专业性与可读性有效策略
AI教程 · 2026-06-02

提升公文写作常用字体专业性与可读性有效策略

公文写作中字体选择直接影响文件专业性与阅读体验,金融法律等行业各有偏好。字号、行间距等排版细节不容忽视,宋体、黑体为政府常用。AI技术可辅助场景自适应字体选择,提升文件规范性与可读性。

AI智能歌曲趣味创作平台在线音乐生成体验
AI教程 · 2026-06-02

AI智能歌曲趣味创作平台在线音乐生成体验

AI Song Generator:AI音乐生成工具全面解析 首先,我们来深入了解今天的主角——AI Song Generator。本质上,这是一款由人工智能驱动的音乐创作工具,能够将你脑海中的旋律或想法转化为完整的音乐作品。其背后有Michael Gleason、Corrado Penna等开发者

Respeecher 语音克隆技术原理与应用介绍
AI教程 · 2026-06-02

Respeecher 语音克隆技术原理与应用介绍

Respeecher AI Voices 是什么?语音克隆与合成技术深度解析 首先给出核心结论:Respeecher AI Voices 是一款专为企业及专业人士打造的前沿语音转换技术产品,深耕语音合成与克隆领域。简单来说,它能够将一个人的声音无缝“迁移”到另一个人身上,听感自然毫无违和。该公司 R

Morphlin AI工具与实时数据助力交易者高效投资
AI教程 · 2026-06-02

Morphlin AI工具与实时数据助力交易者高效投资

Morphlin产品介绍 在交易领域,工具和决策效率直接挂钩。今天聊聊Morphlin这款工具——它把AI技术和实时数据整合到一起,试图解决交易者最头疼的两个问题:信息过载和决策滞后。 智能交易工具:通过MorphlinGPT API,用户可以直接调用AI辅助交易决策。说白了,就是让机器帮你看盘、算

Paymefy智能自动化提升企业收款效率降低错误
AI教程 · 2026-06-02

Paymefy智能自动化提升企业收款效率降低错误

Paymefy产品介绍在企业日常财务运营中,收款环节的效率和客户体验直接影响资金流动性与合作关系。Paymefy正是针对这一痛点,借助自动化与数据驱动技术,助力企业优化收款流程,全面提升运营效能。那么,Paymefy具体能发挥哪些作用?不妨从几个核心维度来了解。在功能亮点方面,其自动化收款流程可大幅