首页 游戏 软件 资讯 排行榜 专题
首页
AI
华为诺亚SCOPE发布:Prompt自我进化提升HLE成功率

华为诺亚SCOPE发布:Prompt自我进化提升HLE成功率

热心网友
21
转载
2025-12-26



机器之心发布

在 LLM Agent 领域,有一个常见的问题:Agent 明明 "看到了" 错误信息,却总是重蹈覆辙。

当 Agent 遇到工具调用错误时,错误日志里往往已经包含了解决方案 —— 正确的参数格式、有效的 API 用法、甚至是直接可用的替代方案。然而,静态的 Prompt 无法让 Agent 从这些反馈中 “学到教训”,导致它们陷入 “错误循环”:承认失败,却重复同样的动作。

华为诺亚方舟实验室与香港中文大学联合发布的 SCOPE 框架,旨在解决这一问题。



论文:《SCOPE: Prompt Evolution for Enhancing Agent Effectiveness》论文地址:https://arxiv.org/abs/2512.15374开源地址:https://github.com/JarvisPei/SCOPE

SCOPE 的核心思想是:既然 Agent 会被反复调用,那么它的 Prompt 就可以在执行过程中不断进化。通过从执行轨迹中自动提炼指导规则,SCOPE 让 Agent 能够 "从错误中学习",并将经验固化到 Prompt 中,实现自我进化。





Agent 的两大失败模式

研究团队分析了 GAIA 和 DeepSearch 基准上的 Agent 执行日志,发现了两类典型的失败模式:

第一类是「纠正型失败」(Corrective Failure):当错误发生时,执行轨迹中包含明确的信号(错误消息、堆栈跟踪、有效参数列表),本应指导 Agent 进行修正。然而,静态的 Agent 把这些信息当作泛泛的 “警报”,而不是可操作的反馈。研究者观察到大量案例,Agent 在错误消息明确列出正确用法的情况下仍然误用工具,形成 “错误循环”。更严重的情况下,Agent 甚至会为了继续执行而 “编造数据”。

第二类是「增强型失败」(Enhancement Failure):即使没有明显错误,Agent 也会错过优化机会。比如当搜索结果不理想时,上下文往往暗示可以尝试同义词(如 “base on balls” 与 “walks”),但 Agent 却固守单一关键词策略。这种失败更加隐蔽,但同样影响任务成功率。



这两类失败的根本原因是相同的:静态 Prompt 缺乏从执行反馈中学习的机制。

SCOPE 框架:从执行轨迹中学习



针对上述问题,SCOPE 将上下文管理从手动工程任务转变为自动优化过程。其核心洞察是:Agent 自身的执行轨迹就是最好的学习信号。

SCOPE 框架由四个核心组件构成:

1. 指导规则合成(Guideline Synthesis)

当 Agent 遇到错误或完成子任务时,SCOPE 的生成器(Generator)会分析执行轨迹,合成候选指导规则。这里采用 Best-of-N 策略:生成多个候选规则,然后由选择器(Selector)挑选最佳的一条。

针对不同场景,SCOPE 使用两种合成模式:纠正型合成从错误中提取教训,增强型合成从成功模式中挖掘优化机会。实验表明,增强型规则占所有合成规则的 61%,说明 SCOPE 不仅仅是 “错误修复器”,更是一个主动的优化器。

2. 双流路由机制(Dual-Stream Routing)

合成的规则并非同等对待。SCOPE 引入分类器(Classifier)将规则路由到两个记忆流:

战术记忆(Tactical Memory):存储任务特定的规则,如 “当前数据集的‘Amount’列包含货币符号,计算前需进行清洗”。这些规则仅在当前任务的数据上下文中有效。战略记忆(Strategic Memory):存储跨任务通用的规则,如 “当 Web 搜索返回结果为空时,尝试泛化搜索关键词而不是重复搜索”。这些规则会持久化保存,应用于未来所有任务。

只有高置信度(阈值设为 0.85)的通用规则才会被提升到战略记忆,避免过拟合到特定任务。

3. 记忆优化(Memory Optimization)

随着规则积累,战略记忆可能包含冗余或冲突的内容。SCOPE 的优化器(Optimizer)会执行三步清理:冲突解决(合并矛盾规则)、冗余剪枝(移除被更通用规则覆盖的具体规则)、整合归并(将相似规则合并为综合性规则)。

4. 视角驱动探索(Perspective-Driven Exploration)

单一进化路径可能收敛到某种策略,在部分任务上表现较好但在其他任务上失效。为了提高策略覆盖,SCOPE 初始化多个并行流,每个流由不同的 "视角" 引导(如效率优先 vs. 周全优先),各自进化出不同的 Prompt。测试时选择最佳结果。

实验结果:HLE 成功率从 14% 提升到 39%

研究团队在三个基准上进行了评估:HLE(2500 道专家级问题)、GAIA 和 DeepSearch。

实验结果表明,SCOPE 在所有基准上都取得了提升:



在 HLE 基准上,SCOPE 将任务成功率从 14.23% 提升到 38.64%。在 GAIA 基准上,成功率从 32.73% 提升到 56.97%。

为了更准确地表达不同组件的贡献,论文中给出了消融实验。如下图所示,指导规则生成器提供 + 4.85% 的初始提升,双流路由贡献 + 3.63%,Best-of-N 选择贡献 + 3.03%,记忆优化贡献 + 1.82%,而视角驱动探索带来 + 10.91% 的提升。



值得注意的是,在知识密集型领域(如生物 / 医学、化学),SCOPE 的提升较为明显:生物 / 医学从 14.9% 提升到 43.2%,化学从 14.1% 提升到 50.3%。这些领域的问题往往涉及复杂的专业概念和严格的推理流程,SCOPE 合成的领域特定规则能够帮助 Agent 更好地理解和遵循这些要求。



Agent 真的在 "听话" 吗?

一个关键问题是:合成的规则是否真正影响了 Agent 的行为?

如下图所示,研究团队观察到了 "语言采纳" 现象:当 SCOPE 合成了 "始终列出所有可能的标签同义词和短语变体" 这一规则后,Agent 后续输出中直接引用了相同的措辞。这表明规则被整合到了 Agent 的决策过程中。此外,行为变化通常在规则合成后几秒内就会发生,展示了单个任务内的实时适应能力。



视角驱动策略多样性

视角驱动探索的设计得到了实验验证。如下图所示,效率流(Efficiency Stream)和周全流(Thoroughness Stream)的总体准确率相近(44.85% vs 46.06%),但两者解决的问题重合度仅为 33.94%,这意味着约 23% 的问题只能被其中一个视角解决。

效率流在 GAIA 的 Level 3 任务上表现更好(26.92% vs 11.54%),说明精简的上下文管理对复杂长程任务更有效;而周全流在 Level 2 任务上更强。全局集成捕获了两种策略的优势。



定性分析显示,面对同一个 HTTP 403 访问拒绝错误,效率流学会 “快速失败”—— 立即升级到搜索 Agent,不再重试;而周全流则学会 “寻找替代来源”—— 尝试 Archive.org 或转录工具。这种二元性让 SCOPE 能够同时处理时间紧迫型和深度检索型任务。



SCOPE 的意义

华为诺亚方舟实验室与香港中文大学联合提出的 SCOPE 框架,通过将执行轨迹作为学习信号、将 Prompt 视为可进化的参数,实现了 Agent 的在线自我优化。

与现有方法相比,SCOPE 具有三个主要特点:

步级别适应(Step-level adaptation):在执行过程中更新 Prompt,允许从任务中途的失败中恢复,而非等到任务结束才学习。单 Agent 优化(Per-agent optimization):每个 Agent 角色基于自身特定的模式进化 Prompt,而非使用 "一刀切" 的策略库。主动优化:61% 的规则来自成功模式的增强型合成,而非仅仅修复错误。



SCOPE 的代码已在 GitHub 开源。正如论文所总结的:“与其工程化静态 Prompt,不如让 Agent 在线进化自己的 Prompt。” 这一思路可能为下一代 Agent 系统的设计提供新的方向。

值得一提的是,SCOPE 的开源实现具有较好的实用性:

即插即用:只需在 Agent 执行循环中调用 `on_step_complete ()` 接口,即可为现有 Agent 系统添加自我进化能力,无需修改原有架构。模型无关:通过统一的适配器接口支持 OpenAI、Anthropic 以及 100 + 其他模型提供商(via LiteLLM),方便开发者使用自己偏好的模型。轻量部署:核心依赖精简,可通过 `pip install scope-optimizer` 一键安装。

SCOPE 提供了一套完整的实现框架,其核心洞察是:Agent 的执行轨迹本身就是最好的学习素材 —— 关键在于如何将这些经验有效地编码到 Prompt 中。对于希望增强 Agent 系统效能的开发者而言,SCOPE 提供了一个可直接使用的解决方案。

来源:https://www.163.com/dy/article/KHN924UQ0511AQHO.html
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

惠山隧道启用智能信号系统实现分车道精准管控
业界动态
惠山隧道启用智能信号系统实现分车道精准管控

驾车经过惠山隧道入口时,许多驾驶员都曾对那组特殊的信号灯感到困惑。请务必注意——这并非传统的红绿灯,而是一套基于数字分车道的智能交通协调系统。 此处是惠钱路匝道与古华山匝道的交汇节点,以往两股车流同时汇入隧道时,极易因抢道引发交织冲突与安全隐患。为彻底解决这一交通瓶颈,交管部门在此创新部署了这套带有

热心网友
05.15
博尔扎诺大学研究:用少量参数优化篮球姿势评估模型
科技数码
博尔扎诺大学研究:用少量参数优化篮球姿势评估模型

想象一下,你正在学习投篮。一位经验丰富的教练站在场边,他关注的远不止“球进没进”,而是你手腕的角度、起跳的时机、身体重心的控制。这种对“动作完成质量”的直觉判断,是人类教练数十年经验的结晶,但对计算机而言,却曾是一个近乎无解的难题。 长期以来,计算机视觉的研究重心在于让机器识别“人在做什么”,例如区

热心网友
05.14
JIT编译器如何利用硬件信号优化隐式空值检查减少分支
编程语言
JIT编译器如何利用硬件信号优化隐式空值检查减少分支

隐式Null检查优化是JIT编译器提升性能的一种技巧,它通过CPU内存保护异常替代显式判空指令,减少分支开销。该优化需满足对象稳定、偏移固定等条件,依赖操作系统快速异常处理。虽能提升性能,但可能增加调试难度,并在某些安全环境中失效。

热心网友
05.10
医学博士跨界研发导电心肌补片免缝合重连心电信号
科技数码
医学博士跨界研发导电心肌补片免缝合重连心电信号

毛吉富团队研发出免缝合三维导电心肌补片,表面微米级导电“倒刺”可快速锚定心脏并重建电信号通路,动物实验中三天内改善心功能。团队还开发无线供电智能敷料等医用纺织材料,通过纤维材料创新解决心梗、慢性伤口等临床难题。

热心网友
05.07
卡尔达诺的ADA激增:鲸鱼交易与看涨信号
web3.0
卡尔达诺的ADA激增:鲸鱼交易与看涨信号

ADA 走强:鲸鱼交易频现与看涨信号浮现 最近,Cardano(ADA)的表现相当抢眼。一边是价格节节攀升,另一边则是链上大额交易异常活跃。这种“量价齐升”的局面,很难不让人多看几眼,市场信心似乎正在凝聚,未来的上升空间或许值得期待。 鲸鱼交易活跃度飙升 链上数据不会说谎。最新数据显示,Cardan

热心网友
05.03

最新APP

宝宝过生日
宝宝过生日
应用辅助 04-07
台球世界
台球世界
体育竞技 04-07
解绳子
解绳子
休闲益智 04-07
骑兵冲突
骑兵冲突
棋牌策略 04-07
三国真龙传
三国真龙传
角色扮演 04-07

热门推荐

数字货币基本面分析指南:评估价值与潜力的关键指标
web3.0
数字货币基本面分析指南:评估价值与潜力的关键指标

分析数字货币基本面需从项目愿景、技术架构、经济模型及团队背景等多维度入手。核心在于评估其解决实际问题的能力、技术实现的可靠性以及代币经济的可持续性。这要求投资者深入研究白皮书、代码进展、社区生态和治理机制,而非仅关注价格波动。基本面分析是理解项目长期价值、识别潜在风险的关键方法。

热心网友
05.17
虚拟币基本面分析指南:如何评估加密货币价值
web3.0
虚拟币基本面分析指南:如何评估加密货币价值

虚拟币基本面分析需关注项目技术架构、代币经济模型、团队背景与社区生态。技术层面评估共识机制、可扩展性与安全性;经济模型分析代币分配、通胀机制与实际效用;团队与社区则考察开发能力、治理透明度及用户活跃度。综合这些维度,可更客观判断项目的长期价值与风险。

热心网友
05.17
什么是代币?代币在区块链中的核心作用与用途详解
web3.0
什么是代币?代币在区块链中的核心作用与用途详解

Tokens:数字世界的“多功能凭证” 简单来说,Tokens是一种基于现有区块链技术发行的数字凭证。你可以把它想象成数字世界里的“积分”或者“股票”,它代表着某种权利、价值或功能。 2025年虚拟货币主流交易所: 币安: 欧易: 火币: Tokens到底是什么? 从技术层面看,Tokens并非独立

热心网友
05.17
加密货币投资指南:基本面分析入门与实战技巧
web3.0
加密货币投资指南:基本面分析入门与实战技巧

加密货币基本面分析着眼于评估数字资产的长期价值,而非短期价格波动。它主要考察项目愿景、技术架构、代币经济模型、团队背景及社区生态等核心要素。通过分析这些内在因素,投资者可以更理性地判断一个项目是否具备可持续的竞争力与发展潜力,从而做出更明智的投资决策。

热心网友
05.17
Anthropic封杀Claude用户事件解读 公司数据安全如何保障
AI
Anthropic封杀Claude用户事件解读 公司数据安全如何保障

周一清晨,一家拥有110名员工的农业科技公司,全体员工突然发现自己的Claude账户无法登录。这并非个别现象,而是全员遭遇。从Slack运维频道出现第一张截图开始,短短十分钟内,整个公司都在询问同一个问题:我的Claude出什么问题了? 答案很快揭晓——问题不在用户,而是Anthropic对所有账号

热心网友
05.17