美团LongCat发布Agent评测基准VitaBench:高度贴近生活场景
10月20日最新消息,美团LongCat团队今日正式发布了一套高度贴近真实生活场景、面向复杂任务的大模型智能体评测标准——VitaBench。
根据最新介绍,VitaBench以外卖点餐、餐厅就餐、旅游出行三大高频生活场景为载体,构建了涵盖66个工具的交互式测评环境,并设计了跨场景的综合任务。举例来说,在旅游规划任务中,要求智能体通过思考、调用工具和用户互动,完整执行从买好票到订好餐厅的全流程。
该团队首次基于深度推理、工具使用与用户交互三大维度,对智能体任务进行了量化拆解,以可控方式构建复杂问题。研究发现,即便是当前领先的推理模型,在主榜(复杂跨场景任务)中的成功率也仅为30%,反映出智能体在处理真实生活复杂需求时仍有明显差距。VitaBench现已全面开源,旨在为推进智能体在真实生活场景中的研发与应用提供重要基础设施。
随着大语言模型在复杂推理与工具调用能力上的快速进步,基于LLM的智能体在真实生活场景中的应用日益广泛。然而,现有智能体评测标准与现实生活场景的实际需求之间依然存在显著差距,主要体现在:工具生态过于简化、信息密度不足、模型探索性受限以及交互动态性缺失。
LongCat团队通过对美团生活服务场景的深入分析指出:现实世界任务的复杂性源于三大维度的交织影响——
推理复杂性:需整合多源信息、自主推理规划任务路径;
工具复杂性:需在高度互联的工具图中理解领域特征,精准调用目标工具;
交互复杂性:需在多轮对话中主动澄清、追踪意图、适应多样化的用户行为并给予反馈。
为系统衡量这三重挑战下的模型表现,团队构建了VitaBench,一个依托“生活服务”场景、高度仿真的综合性Agent评测基准。VitaBench的评测榜单将持续更新维护,现已全面开源:
项目主页:https://vitabench.github.io
论文链接:https://arxiv.org/abs/2509.26490
代码仓库:https://github.com/meituan-longcat/vitabench
数据集:https://huggingface.co/datasets/meituan-longcat/VitaBench
排行榜:https://vitabench.github.io/#Leaderboard
热门专题


最新APP
热门推荐

由Team Ninja与白金工作室联合打造的忍者龙剑传4已于今日正式推出。随着游戏解禁,各大媒体评分陆续公布,M站综合得分为83分,IGN与GameSpot均给出8分评价。国际知名游戏媒体Games

中科寒武纪科技股份有限公司近日发布公告,宣布2025年度向特定对象发行股票已完成股份登记。本次发行股份数量为333 49万股,已于10月16日在中国证券登记结算有限责任公司上海分公司完成登记。发行价

在新能源汽车市场硝烟弥漫的当下,小米汽车正以黑马之姿打破行业格局。尽管网络舆论场中争议不断,但SU7车型上市即售罄的市场表现,以及YU7车型未发先火的预售态势,让这家跨界造车企业成为行业焦点。其 "技

近期,泰国上市公司RSXYZ宣布新增购入21 97 枚比特币(BTC),使其持仓总量达到74 97 枚 BTC。这一举措引发了市场对企业加密资产配置策略的关注。

饥荒联机版巨大蠕虫怎么打,在二十五天后,每次洞穴蠕虫袭击会有5%概率生成巨大蠕虫,而每次未生成巨大蠕虫的袭击会使得下一次生成巨大蠕虫的概率提升5%,一直到50%。而当生成巨大蠕虫后