评估AI智能体动作质量的现行主流方法，通常依赖于最终结果：若任务成功，该条轨迹中的所有动作均被视为有效而获得正向反馈；若任务失败，则所有动作共同承担负面评价。然而，这一看似合理的“公平”假设，是否真的经得起推敲？

由LinkedIn、哈佛大学及约翰斯·霍普金斯大学联合进行的一项研究，精准地抓住了这一关键问题，并提出了名为TRIAGE的创新框架。相关论文已以预印本形式发布，编号为arXiv:2606.32017，欢迎对技术细节感兴趣的读者查阅。

这项研究的起点，是揭示一个表面公平、实则存在偏差的奖励机制。

假设您正在培训一批新员工，规则十分简单：若当日销售目标达成，所有人获得奖金；否则，所有人均被扣薪。这听起来似乎并无不妥，但若细化具体场景，问题便显现出来。设想一位员工上午拜访了六位客户，虽无一成交，但这属于市场调研，是有效的探索行为；另一位员工因填写错误表格，延误了关键交易，这是明显失误。而销售目标的达成，恰好得益于第三位员工的临时出色发挥。那么，这三位员工中，谁最应该获得肯定？根据现行规则，他们获得的奖金完全相同。

这种不公平的困境，恰恰是当前主流AI训练方法中真实存在的核心问题。研究团队将场景设定在所谓的“智能体强化学习”中。这类任务中，AI并非回答一个问题就结束，而是需要像真实员工一样，执行一系列连续动作：搜索信息、点击链接、编辑文件、下达指令、与物体交互。目前主流的训练方法GRPO（群组相对策略优化），其做法正是“大锅饭”式的奖励分配：一条任务轨迹成功，其中所有动作一视同仁地获得鼓励；轨迹失败，所有动作则共同遭受打压。

研究团队将GRPO的问题形象地比喻为“急诊室里没有分诊台”——所有病人不分病情轻重缓急，都排在一起等待，导致资源严重错配。基于这一洞察，他们提出了TRIAGE框架，其名称正源于医学中的“分诊”概念。其核心思想是：在给AI的每个动作分配奖励之前，先要弄清楚该动作在任务中具体扮演了什么角色。

分诊台的设计：四种角色，各有其责

急诊室的分诊护士会将病人分为几类：危重、紧急、普通、可等待。TRIAGE对AI的每个动作也进行了类似分类，建立了一套由四种角色构成的体系。

第一类是“决定性进展”（Decisive，简称D）。这类动作直接推动任务目标的实现，好比棋局中的“将军”一步。以购物AI为例，“点击购买”就是D类；以家务AI为例，“将清洁好的刀具放到餐桌上”也属于此类——它们直接触发了最终的成功判定。

第二类是“有效探索”（Exploration，简称E）。这类动作虽不能直接完成目标，但帮助AI获取了有用信息。可以理解为侦探在案发现场搜集线索——虽未立刻破案，但每条线索都是必要的铺垫。例如，AI在找到目标物品前打开一个柜子查看，或在搜索商品时输入一个合理的查询词，均属于E类。

第三类是“无进展基础动作”（No-progress，简称N）。这类动作既不推进任务，也不带来新信息，但至少未造成损害。就像侦探在走廊里漫无目的地踱步——什么都没发生，但也没造成坏事。例如，任务完成后又多点了一次“购买”按钮，就属于此类。

第四类是“退步动作”（Regression，简称R），这是最关键也最易被忽视的一类。这类动作要么损坏了任务状态，要么在没有新信息的情况下重复已知无效的操作。例如，AI检查过某个抽屉后发现没有目标物品，却连续检查了十五次；或者把本应保持完好的文件改错了；又或者明明已经选好了商品属性，却反复重复点击同一个选项——这些均属于R类动作。

这个分类体系的精妙之处在于，它不只是按“好坏”排序，而是区分了动作的本质类型。有效探索和无进展基础动作的关键区别在于：探索改变了AI对世界的认知状态，而基础动作则什么都没改变。这个区别在传统奖励机制中完全被忽视，但对AI的学习过程至关重要。

真正的问题：成功掩盖了罪行，失败埋没了功劳

研究团队将GRPO的核心缺陷概括为“两个盲点”。理解这两个盲点，才能真正明白TRIAGE的价值所在。

第一个盲点：失败轨迹中的有效探索被错误惩罚。考虑这样一个场景：AI执行购物任务时，先发出了一个精准的搜索词（E类），找到了候选商品，但最终买错了产品（R类）——任务失败。在GRPO体系下，那个精准的搜索行为会与买错产品的行为一同被压制，这相当于在告诉AI“不要搜索，搜索没有用”。长此以往，AI会变得越来越不敢尝试信息收集，在信息不足的情况下贸然行动，反而导致更多失败。

第二个盲点：成功轨迹中的退步动作被错误鼓励。研究团队在审查真实AI轨迹时发现了一组触目惊心的数据：在ALFWorld（一个家务类任务环境）的成功轨迹中，退步类动作（R）的比例高达48%；在WebShop（商品购物任务）中，这一比例也达到了43%。这意味着，在任务最终成功的轨迹里，AI近一半的动作是退步或无效的重复操作，但它们却全部获得了正向奖励——就像那个填错表格却最终分到奖金的员工一样，AI从这些错误操作中学到的信号是“下次这样做也没关系”。

研究团队用一个具体例子让这个问题变得非常直观。一条需要34步才完成的ALFWorld任务（任务目标是“将一冷苹果放进垃圾桶”），AI在任务开始后陷入了一个疯狂循环：连续对冰箱执行了15次“检查冰箱”的操作，每次检查都没有任何新发现，纯属无效重复（R类）。之后，它才开始探索其他地方，并最终完成任务。在GRPO的奖励体系下，那15次对着冰箱的无效检查，获得了与最终完成任务完全相同的正向奖励——AI实际上在学习“开头先疯狂检查冰箱15次”是成功策略的一部分。

TRIAGE的解法：角色定好，奖励才精准

明确了问题所在，TRIAGE的解法并不复杂，但设计思路相当精巧。

TRIAGE的运作方式分为两步。首先，用一个专门设计的AI法官（一个专门调用来分析动作的语言模型）对每个动作进行角色分类。这个法官并非全知全能：它只能看到当前动作前后各五个步骤的局部上下文，无法知道最终任务是否成功——这样设计是为了防止法官“事后诸葛亮”，用结果反推动作的好坏，必须真正从动作本身的局部意义来判断其角色。法官还需要为每个判断提供简短文字证据，类似于法庭上的“举证”，迫使法官做出有根据的裁定，而不是随意贴标签。

其次，根据角色分类，给每个动作叠加一个有界限的“过程奖励”，并叠加到GRPO原有的轨迹级奖励上。具体数值设定为：D类动作获得+1，E类获得+0.5，N类获得-0.1（轻微惩罚以减少无效动作），R类获得-0.5（较重惩罚，即便出现在成功轨迹中）。整体而言，GRPO的轨迹级奖励仍然是主导信号，过程奖励是基于此的局部修正——就像薪资体系里基本工资不变，但个人绩效奖金根据具体表现进行调整。

研究团队通过一个叫做“混合系数λ”的参数来控制修正强度。λ越大，过程奖励的影响越强；但λ过大会带来风险，因为法官并非完美，过度信任可能导致错误放大。研究团队在不同任务上分别调整了λ的值（购物类任务λ=0.4，其他任务λ=0.2），并严格要求这个调整只能在训练数据上进行，测试数据不参与调参过程。

值得注意的一点是，这套奖励常数（D=1，E=0.5，N=-0.1，R=-0.5）在所有任务中保持不变，从未针对特定环境做过调整——这说明该分类体系具有一定的普适性，不依赖特定任务的先验知识。

理论支撑：为何角色分类能降低训练误差

研究团队不仅提出了方法，还给出了数学层面的理论支撑。尽管他们坦承这是一种“合理化论证”而非绝对保证。

核心逻辑可以这样理解：GRPO将整条轨迹的奖励平摊给每个动作，这个平摊值与每个动作真正应得的“理想奖励”之间存在一个差距，研究团队称之为“信用残差”。如果能用某种信息来解释这个差距，就能让训练信号更加精准。

研究团队证明了这样一个命题：在所有只依赖角色标签进行修正的方案中，最能减少“信用残差”误差的方案，就是使用每种角色对应的平均残差来做修正。而TRIAGE的固定常数（1，0.5，-0.1，-0.5）正是对这个理论最优解的近似——只要法官分类基本可靠，这套常数就能减少训练中的估计误差，从而降低梯度方差，让训练过程更稳定。

更进一步，他们还明确了这套方法会失效的条件：如果法官质量很差，把R类动作和E类动作搞混，那么过程奖励的协方差符号就会搞反，不仅帮不上忙，反而会让训练变差。这个预测在实验中得到了完整验证——换成一个质量较差的法官时，TRIAGE的表现确实跌到了GRPO基线以下。

法官好不好，决定了一切

既然法官质量如此关键，研究团队对它进行了细致的人工审核。两位不了解TRIAGE理论体系的标注员，独立对135个动作片段进行了四类角色手动标注，两人的原始一致率高达88.1%，分歧由资深研究员裁定后作为标准答案。

随后，他们测试了不同规模和配置的法官模型，核心发现非常清晰：能否正确识别“成功轨迹中的退步动作”（即R-in-success这个关键格子），是衡量法官质量的决定性指标。

使用Qwen3-8B模型但不开启“深度思考”模式时，法官在识别成功轨迹中R类动作上的F1分数（衡量准确率的综合指标，满分100）仅为29.2——几乎不如随机猜测。但开启深度思考模式后，同一个8B模型的得分飙升至86.1。相比之下，将模型规模扩大到14B甚至32B，但不开启深度思考，F1分数依然很低（分别为5.7和35.9）。这个发现很有意思：在识别“成功中的失误”这件事上，让模型多想一想，比把模型做得更大更有效。

反过来看，在“失败轨迹中识别有效探索”（E-in-failure）这个格子上，即便是不思考的小模型也能达到90以上的F1——这说明探索和失败的组合模式本身就比较容易识别。真正的难点始终是：在成功的光环下，发现那些本不应被表扬的动作。

研究团队最终选择了Qwen3-8B加深度思考模式作为默认法官，这个选择在效果和成本之间取得了最好的平衡。

实验结果：三种任务，两种AI，全面比较

研究团队在三个不同的智能体任务环境中对TRIAGE进行了验证，分别代表了三种不同的挑战类型。ALFWorld是虚拟家居环境，AI需按照自然语言指令完成家务任务，例如“将清洗过的黄油刀放到餐桌上”，其关键难点在于大量重复操作和对物体位置的探索。WebShop是模拟电商环境，AI需根据用户需求搜索并购买符合条件的商品，搜索是探索，购买是决定性动作，重复点击已选属性则是退步。Search-QA是多轮问答任务，AI需反复搜索、精炼查询词，最终给出正确答案，整体以探索动作为主，退步动作相对较少。

两个政策模型（Qwen2.5-7B-Instruct和Qwen3-1.7B-Instruct）分别在这三个环境中接受训练和测试，每组实验重复十次以确保结果可靠，并报告平均值和标准差。

以Qwen2.5-7B为例，结果如下：在ALFWorld任务中，GRPO成功率为79.6%，TRIAGE提升至87.5%，提高了7.9个百分点；在WebShop中，GRPO为70.1%，TRIAGE达到77.2%，提升7.1个百分点；Search-QA从43.3%提升到48.1%。对于更小的Qwen3-1.7B模型，提升幅度更为显著：ALFWorld从45.2%提升到56.4%，WebShop从37.5%提升到55.9%，绝对提升分别高达11.2和18.4个百分点。Search-QA则从39.4%提升到42.3%。

特别值得关注的是训练完成后AI的行为变化。由于TRIAGE压制了无效重复和退步动作，训练后的AI完成任务所需的步骤更少。在ALFWorld中，GRPO训练后的AI平均需要24.45步，而TRIAGE训练的AI仅需21.90步，减少了约10.4%；在WebShop中，分别为8.00步和6.82步，减少了约14.8%。这说明TRIAGE不仅让AI更容易成功，还让AI学会了“以更简洁的方式”达成目标。

对比其他方法：TRIAGE凭什么与众不同

为验证TRIAGE的优势不仅仅是“多加了奖励信号”这么简单，研究团队与多种竞争方案进行了对比。

首先是PPO（近端策略优化），这种方法需要单独训练一个“评分员”网络来估计每个动作的价值。TRIAGE在不依赖单独评分员的情况下，在三个任务上全面超越了PPO。

其次是GiGPO，通过比较“从相同状态出发的不同动作”来分配更精准的奖励。TRIAGE与其表现接近（ALFWorld上两者基本持平，WebShop上TRIAGE略优），但GiGPO依赖“相同状态多次出现”的条件，在Search-QA这类每次搜索都返回不同内容的任务中完全失效，而TRIAGE则不受此限制。

最具说服力的对比来自两个专门设计的控制实验。第一个是“标量过程奖励基线”：使用完全相同的法官和上下文窗口，但不要求法官给出角色分类，而是直接输出一个-1到1之间的进展评分，将这个评分叠加到GRPO奖励上。这个方法同样优于GRPO，但在三个任务上均不如TRIAGE。这说明角色分类本身提供了纯粹的进展评分所没有的信息。第二个是“共享骨干价值基线”：在政策模型上附加一个线性层，用任务成功与否来训练该层预测每个动作的价值，类似于Actor-Critic架构的简化版。该方法在ALFWorld和Search-QA上超越了GRPO，但在WebShop上几乎没有提升——原因正是之前提到的：WebShop中的退步动作（重复点击同一属性）几乎不改变可见的环境状态，价值函数无法从几乎相同的状态观测中区分有效点击和无效重复点击，而角色分类器读取了动作历史，直接将重复操作标记为R。

研究团队在消融实验中进一步分解了TRIAGE的贡献来源。使用Qwen2.5-7B时，将R类奖励清零（不惩罚退步动作）导致ALFWorld从87.5%跌至81.4%，Search-QA从48.1%跌至46.7%，WebShop从77.2%跌至73.1%——这部分损失是最大的单项贡献。将E类奖励清零（不奖励探索动作）则分别跌至85.8%、47.5%和75.5%——贡献持续但小于退步惩罚。两个成分都有意义，但压制退步动作是TRIAGE增益的主要来源，这与ALFWorld和WebShop中高达48%和43%的退步动作比例完全对应。

方法的边界与诚实的局限

研究团队在论文中相当坦率地讨论了TRIAGE的局限性，这种坦诚让结论更加可信。

角色标签是语义估计而非客观事实。法官可能会高估某些探索行为的价值，或者遗漏某些隐蔽的退步。TRIAGE通过仅将法官用于“诊断角色”而非“直接决定奖励”来缓解这一风险，但无法完全消除法官误判的影响。

角色的判断是上下文相关的。同样是“检查某个柜子”，第一次检查是E类探索，第十五次检查就变成了R类退步。法官必须依赖动作历史来判断，单纯看动作本身无法区分。研究团队的设计已为法官提供了前后各五步的上下文，但对于需要非常长历史背景才能判断的情况，这个窗口可能不够用。

同时，TRIAGE带来了额外的计算成本——训练时需要为每个动作调用一次法官模型。研究团队的回应是：将GRPO的训练步数翻倍（从150步增加到300步），ALFWorld的成功率也无法超过85%，始终低于TRIAGE的87.5%。这说明增加训练量并不能解决信用分配本身的结构性问题，而TRIAGE解决的正是这个问题，因此额外的计算成本从投入产出比来看是合算的。

说到底，TRIAGE回答了一个在AI训练领域长期被忽视却至关重要的问题：在连续决策任务中，“最终结果”并不能公平地评价“过程中的每一步”。就像一场篮球比赛最终赢了，并不意味着球员每一次运球、每一次传球都是正确的选择。要想训练出真正高效的AI智能体，就必须在结果之外加上一个“过程维度”——这个维度不需要完美精确，只需要能区分那两个最关键的矛盾格子：成功中的错误，与失败中的正确。

这项研究最有意思的地方或许在于，它借助医学“分诊”的隐喻给出了一种启示：面对复杂问题，有时候最重要的事不是立即行动，而是先花时间弄清楚“这个问题属于哪一类”。有兴趣深入钻研技术细节的读者，可以通过arXiv:2606.32017获取完整论文，里面包含完整的数学推导、每条审核轨迹的逐步分析，以及详尽的超参数敏感性分析。

---

常见问题速览

Q1：TRIAGE框架中的四种动作角色分别是什么意思？

A：TRIAGE将AI的每个动作分成四类。D类（决定性进展）是直接完成任务目标的动作，例如点击购买或放置目标物品。E类（有效探索）是帮助AI收集信息的动作，例如打开柜子查看或发出搜索查询，虽不直接完成任务但有价值。N类（无进展基础动作）是对任务和信息都没有影响的无害动作。R类（退步动作）是损坏状态或在没有新信息收益的情况下重复已知无效操作的动作，例如连续检查同一个空柜子十五次。

Q2：TRIAGE和普通GRPO训练方法相比，实际效果能提升多少？

A：在三个测试任务中，使用Qwen2.5-7B模型时，ALFWorld任务成功率从79.6%提升到87.5%，WebShop从70.1%提升到77.2%，Search-QA从43.3%提升到48.1%。对更小的Qwen3-1.7B模型提升更明显，WebShop成功率从37.5%跃升到55.9%，提升了18.4个百分点。此外，完成任务所需的动作步数也分别减少了约10%到15%。

Q3：TRIAGE中的AI法官如果分类错了会怎样？

A：法官分类质量直接决定TRIAGE的效果。研究发现，使用不开启深度思考模式的法官时，识别成功轨迹中退步动作的F1分数仅约29分，TRIAGE的表现会跌到GRPO基线以下，比不用TRIAGE更差。开启深度思考后，同一模型的分数升至86分，TRIAGE才能带来稳定增益。因此，法官的可靠性，尤其是能否在成功轨迹中找出退步动作，是整套方法有效运作的前提条件。