本次访谈深度解读了 Latent Space 对 Andon Labs 创始人 Lukas Petersson 与 Axel Backlund 的专访内容，核心聚焦于他们推出的 VendingBench 评估框架——一个从零打造、专为测试前沿模型性能而设计的新型评测工具。对话不仅探讨了如何为从 Claude Haiku 到 Mythos 的全系列模型构建持久且领先的评估体系，更强调了“真实场景”作为衡量 AI 模型能力的终极标尺。以下是对其中关键信息与行业启示的拆解。
核心要点
- 前沿评估体系构建：Andon Labs 创始人分享了如何从零搭建一套能够经得起时间考验的 AI 评估基准，而非依赖那些可能已过时的现有测试集。
- VendingBench 框架：这套专门用于测试前沿模型性能的新工具，旨在解决当前评估中普遍存在的“基准泄漏”问题。
- Claude 全系列覆盖：评估对象涵盖 Anthropic 的 Claude 系列，从轻量级的 Haiku 到高性能的 Mythos，横跨不同参数规模与优化目标。
- 现实标准的重要性：一句话总结——无论实验室数据多么亮眼，模型最终必须在真实复杂环境中证明自己，“现实”才是终极裁判。
详细分析
VendingBench：重塑 AI 评估的基石
当前大语言模型的迭代速度极为迅猛，传统评估基准往往刚发布不久便已过时，甚至可能已被模型“偷偷”接触过（这就是所谓的基准泄漏问题）。Andon Labs 的 Lukas 与 Axel 提出了 VendingBench，这不仅仅是一个工具，更是一套关于如何衡量“前沿能力”的方法论。他们坚持从零构建测试内容，确保每道题目都是全新的、从未进入过任何模型训练集。虽然听起来耗时费力，但唯有如此，才能真实反映模型在面对从未见过的复杂任务时的表现。换句话说，它不是用来刷分的，而是用来考验真功夫的。
从 Haiku 到 Mythos：Claude 模型的深度剖析
访谈中专门讨论了针对 Anthropic 旗下 Claude 系列模型的评估结果。范围相当广泛：从注重效率与速度的 Claude Haiku，到代表更高性能水平的 Mythos，每个版本都被放入 VendingBench 中进行了测试。通过测评，研究团队能够清晰看到不同参数规模和优化目标在逻辑推理、指令遵循以及特定领域知识应用上的差异。例如，Haiku 可能更擅长快速响应与低成本部署，而 Mythos 则在复杂推理任务上表现更优。这种全谱系的评估不仅帮助开发者和企业根据实际场景选择最合适的模型，还揭示了模型从轻量级到全功能演进过程中的能力边界——有些能力并不会随着参数增多而自动提升。
现实场景：评估的终极边界
Andon Labs 提出的一个核心观点特别值得关注：现实才是最终的评估标准。这意味着，无论你在实验室里设计的测试题多么巧妙，模型最终必须在真实的商业场景、用户交互、多模态任务中证明自身的价值。Lukas 与 Axel 探讨了如何将现实世界的复杂性——例如上下文干扰、指令模糊、数据噪声——引入评估框架，让评估结果更能预测模型在实际生产环境中的表现。这实际上是在推动 AI 评估从学术化的“刷榜”游戏，转向更具实际意义的效能衡量。对行业而言，这无异于树立了一个新的标杆：光会做测试题不算本事，能解决真问题才算强。
行业影响
这篇访谈背后折射出整个 AI 行业对“高质量评估”的迫切需求。模型能力在爆炸式增长，但如何客观、持续地判断谁更强？传统的通用基准（如 MMLU、HellaSwag）已经很难拉出差距，而像 VendingBench 这样能够紧跟技术前沿、且具备抗衰减性的评估标准，正是市场急需的。Andon Labs 的工作不仅为 Anthropic 的 Claude 系列提供了来自第三方的客观视角，也为其他模型开发者提供了一套可复用的评估范式。更深层的信号是：AI 竞争正在从单纯的“参数竞赛”转向“真实效能竞赛”。谁能在真实场景中表现得更稳定、更智能，谁才是真正的赢家。这种转变大概率会倒逼整个行业更加重视评估体系的建设，而不是一味堆砌参数。
常见问题
什么是 VendingBench？
简单来说，VendingBench 就是 Andon Labs 开发的一套前沿 AI 评估框架。它的核心特点是：测试内容全部从零构建，不依赖任何公开数据集，从而有效避免模型在训练过程中已经“见过”题目。其目标是为大语言模型提供更具挑战性、更持久、更贴近现实能力的评估标准。
此次评估涉及哪些具体的 Claude 模型？
根据 Andon Labs 创始人的介绍，评估覆盖了 Claude 系列的多个版本，明确提到的包括轻量级的 Haiku 和高性能版本的 Mythos。虽然官方命名可能不止这些，但访谈中着重讨论了这两端，以及它们之间的能力差异。
为什么需要从零开始构建评估体系？
主要原因在于“基准泄漏”问题。如果模型在训练过程中已经见过测试题目，评估结果就会失真——模型可能只是靠记忆答题，而非真正的推理能力。从零构建原创评估内容，可以确保测试任务对模型来说是完全陌生的，从而更真实地衡量它处理新颖、复杂任务的能力。虽然成本高、周期长，但为了保证评估的信度与效度，这笔投入是值得的。