ACL,即国际计算语言学协会,成立至今已有六十余年历史(1962年),在自然语言处理与计算语言学领域,被公认为历史最悠久、最具权威性的国际学术组织。在学术评价体系中,ACL长期占据谷歌学术计算语言学子领域h5-index影响力榜首,堪称大模型、Agent等前沿技术的核心首发平台。今年ACL 2026共收到投稿12148篇,主会录用率仅为19%,而最终获得Best Resource Paper奖项的论文仅有4篇——竞争之激烈可见一斑。
阿里这篇获奖论文的切入点非常具体:聚焦于商品出口时使用的10位海关编码(HS Code)。研究团队构建了一个面向真实场景和专家水平的全新Agent评测基准,命名为HSCodeComp。简单来说,该基准要求Agent像资深关务专家一样,将商品模糊、零散的属性描述,与严格、细分的关税归类规则逐一对齐,最终精准映射到10位编码上。为了测试现有Agent的能力差距,团队一口气评测了14个主流大模型和9个先进Agent框架。结果令人警醒:表现最好的Agent系统准确率仅为45%左右,而人类专家可以轻松达到95%。更值得关注的是,研究发现单纯增加推理时间(inference-time scaling)并不能显著缩小这一差距——换言之,问题并非出在“算力不足”,而是Agent架构本身存在结构性瓶颈。
那么,问题究竟出在哪里?论文进一步揭示了几个核心原因:其一,过长的推理链路导致Agent在执行过程中偏离方向;其二,领域知识储备不足,引发规则误用;其三,推理幻觉使Agent生成缺乏事实依据的分类判断。这些发现,恰恰为Agent能力提升指明了清晰的发力方向。

在HSCodeComp基准测试中,阿里设计的Agent准确率达到65.0%
目前,HSCodeComp基准的数据集和评测代码已在Hugging Face和GitHub上全面开源。阿里也基于这项研究成果,在跨境贸易数字关务等场景中,落地了以Qwen基座模型为核心的Agent框架。在HSCodeComp基准(10位编码准确率)上的测试显示,该Agent以65.0%的准确率稳居AI系统第一名。
ACL评审委员会给出的评价相当高:“该基准切中了Agent应用中的高度重要挑战——考察Agent对严格层级化自然语言规则的遵循能力,研究动机极具说服力;严谨的人类专家评测流程提供了高度可靠的能力上界。”
阿里研究团队也直言:“层级规则应用,是现实世界中大量专业决策的核心能力。它不仅存在于国际贸易,也广泛覆盖法律合规、医疗诊断、税务审计等高价值垂类领域。HSCodeComp揭示了当前Agent的能力边界,也为构建真正可靠的专业AI系统,提供了一把科学的评测标尺。”
