One-Eval - 北大开源的自动化大模型评测框架

首页

业界动态

热心网友

转载

2026-04-29

One-Eval是什么

想快速、准确地评估一个大模型的能力，但又被繁琐的数据准备、脚本编写和结果分析搞得头疼？或许，你可以了解一下One-Eval。这个由北京大学OpenDCAI团队开源的项目，本质上是一个自动化、Agent驱动的评测框架。它的核心卖点，用一个词概括就是“NL2Eval”——你只需用最自然的语言描述评测目标，剩下的，交给它就好。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

从基准推荐、数据下载，到模型推理、答案评分，再到最终的多维度报告生成，整个链条一气呵成。它基于DataFlow与LangGraph构建，目标就是实现从需求到报告的全链路自动化，把开发者从重复劳动中解放出来。

One-Eval的主要功能

NL2Eval 智能解析：这可以说是它的“大脑”。你输入一句“帮我测测这个模型的数学推理能力”，背后的Agent就能理解你的意图，并自动规划出完整的评测路径。
Bench Gallery 基准库：框架内置了一个丰富的基准库，像GSM8K、MATH、MMLU、C-Eval、IFEval、HumanEval这些主流评测集，其元信息都已管理妥当，随时待命。
端到端自动执行：这是承诺的落地。一句话触发后，系统会自动串联起数据下载、模型调用、答案评分、统计分析所有环节，最终呈上一份完整的报告。
人机协同干预：自动化不等于黑盒。你可以在关键节点中断流程，审查中间结果，甚至编辑调整后再重跑，实现了自动化与可控性的平衡。
异构数据统一接口：不同数据集格式千差万别怎么办？其底层的DataFlow引擎负责将它们标准化，提供统一的接入和转换接口。

One-Eval的技术原理

Agent 图编排架构：整个评测流程被抽象成一个状态机工作流，基于LangGraph构建。简单来说，它把复杂任务拆解为“自然语言转基准推荐”、“基准解析与准备”、“指标匹配与报告生成”三大清晰阶段。
DataFlow 算子系统：所有脏活累活由它承包。这个底层引擎负责处理数据准备和流式计算，正是它实现了对不同格式数据集的统一接入与高效转换。
Local-first + HuggingFace 双源解析：系统很聪明，会优先加载本地预置的配置。如果本地没有，它会自动调用HuggingFace的工具去搜索、下载，并把数据集信息结构化，补充进自己的知识库。
可追踪状态管理：评测过程步步留痕。每一步的执行状态都会被持久化，这意味着支持断点恢复、回溯重跑，甚至对失败案例进行专门分析。

如何使用One-Eval

环境准备：首先，用Conda或uv创建一个干净的Python虚拟环境，然后通过pip install -e .安装所有项目依赖。
启动后端：运行uvicorn one_eval.server.app:app --host 0.0.0.0 --port 8000命令，启动核心的FastAPI服务。
启动前端：进入one-eval-web目录，依次执行npm install && npm run dev。完成后，在浏览器访问localhost:5173即可看到操作界面。
配置参数：在Web界面中，需要配置几个关键参数：调用模型所需的API Key、目标模型信息以及用于下载数据的HuggingFace Token。保存后，就可以开始交互式评测了。
发起评测：在输入框里，直接用自然语言写下你的需求，比如“评测一下这个模型在数学推理任务上的表现”。点击执行，Agent便会自动工作并生成报告。
开发者模式：如果你更喜欢命令行，可以直接运行python -m one_eval.graph.workflow_all "评测目标"来触发完整的工作流。

One-Eval的关键信息和使用要求

开发团队：来自北京大学OpenDCAI实验室，背景扎实。
开源协议：项目完全开源，代码托管于GitHub，可以直接获取、研究和复用。
技术栈：后端基于Python 3.11和FastAPI，前端采用React + Vite构建。核心工作流依赖LangGraph进行图编排，底层数据处理则由DataFlow算子系统驱动。
支持模型：兼容性很广，只要模型服务提供OpenAI标准格式的接口即可接入。这意味着无论是OpenRouter、硅基流动、火山引擎这样的服务商，还是自己用vLLM部署的模型，都能支持。
硬件要求：运行One-Eval框架本身对本地机器配置要求不高，常规开发机即可。真正的计算和Token消耗发生在推理阶段，而这完全取决于你选择调用的外部模型API。
使用门槛：需要提前准备两样东西：一是有效的模型API Key，用于实际调用大模型；二是HuggingFace Token，用于下载和加载部分评测数据集。

One-Eval的核心优势

零脚本评测：最大的亮点。告别手动下载数据集、编写配置文件的时代，用一句话就能发起全链路评测，效率提升显著。
可扩展架构：基于DataFlow算子和LangGraph状态管理的设计，让框架具备了良好的扩展性。你想接入私有数据集或自定义评价指标？流程会清晰很多。
人机闭环：不是一味追求全自动，而是在关键节点保留了人工审查和干预的入口，兼顾了自动化效率与结果可控性。
多维度报告：生成的报告不止一个总分。它会提供详细的分数统计、模型排名对比、典型失败案例分析，甚至给出可操作的建议，洞察力更强。
全链路追踪：整个过程透明、可审计。每个节点的输入、输出和状态变更都有记录，方便回溯问题或复现实验。

One-Eval的项目地址

GitHub仓库：https://github.com/OpenDCAI/One-Eval
arXiv技术论文：https://arxiv.org/pdf/2603.09821

One-Eval的同类竞品对比

为了更清晰地定位One-Eval，我们将其与业界两个知名的评测框架进行对比：

对比维度	One-Eval	OpenCompass	EleutherAI LM Harness
开发团队	北京大学 OpenDCAI 实验室	上海人工智能实验室	EleutherAI 社区
核心定位	Agent 驱动、NL2Eval 自动化评测	中文社区主流、配置驱动评测	海外老牌、脚本化评测工具
使用方式	自然语言描述 + Web UI 交互 + 代码调用	YAML 配置文件 + 命令行脚本	Python 脚本 + CLI 命令行
上手门槛	低，一句话即可发起评测	中，需编写配置文件	中，需编写代码与脚本
人机协同	支持，关键节点可中断、审查与干预	不支持，纯自动化执行	不支持，纯自动化执行
前端界面	内置 React + Vite 可视化工作流	有结果展示页面，无交互式前端	无前端界面
中文生态	原生支持 C-Eval、CMMLU 等	极强，中文基准覆盖完善	较弱，需自行配置中文数据集
异构数据支持	DataFlow 算子系统统一接入	较完善	较完善，但配置复杂度较高
Agent/Sandbox 评测	规划中（未来支持 SWE-bench 等）	部分支持	不支持
适用场景	快速选型、工程验收、学术实验	深度定制、大规模批量评测	英文基准研究、代码级灵活定制