UltraEval：开源模型测评框架，集成模型部署、测试数据集、数据指标统计

模型测评 评估是提升大型语言模型性能的关键一环，只有准确摸清模型的能力底细，才能有的放矢地进行优化。随着LLM的遍地开花，一个轻便、好上手的评估框架成了刚需。但说起来容易做起来难，要打造一个面面俱到的评估平台，细节和坑都不少。市面上现有的评估平台，要么过于笨重，要么模块化程度低，很难无缝嵌入研究流程。UltraEval正是冲着解决这些问题来的。它是一个用户友好的评估框架，主打轻量、全面、模块化和高效。核心思路是重新拆解并构建模型评估的三个基本要素——模型、数据和评价指标。这种灵活的组合方式，让你可以在同一个评估流程中，自由搭配不同的模型、任务、提示和评价指标。而且，UltraEval得益于统一的HTTP服务，能支持多种模型，并提供强大的推理加速能力。目前，这个框架已经开源。

缘起

过去一年多，大语言模型的发展速度确实惊人，AGI仿佛也不再遥不可及。但模型进化的速度越快，对能力评估的需求就越迫切——我们需要持续、细致地审视这些模型到底行不行。 传统的测试方式，问题不少。首先，它常常只盯着某个特定领域，缺乏系统性；其次，每测一个新任务就从头搭建一套评估流程，效率低下不说，还充满了大量重复劳动。 正是基于这些痛点，人们开始琢磨：能不能搞一个综合性的评估框架出来？ 目前市面上从模型部署到评估全链条的框架，大致分成两类。一类是以ChatBot Arena为代表的交互式网站，它强在评估模型的对话能力，但任务覆盖面和评估透明度上还有提升空间。另一类是各种开源框架，但它们往往任务覆盖不够广，代码结构复杂，使用起来流程繁琐，操作门槛不低。 所以，UltraEval的出现，可以说是对症下药，目标是打造一个真正轻量级的测试评估框架。

什么是UltraEval？

聊到模型评估，核心组成部分其实就三个：模型（或系统）、任务数据，还有指标（也就是评估方法）。UltraEval就是基于这个“铁三角”，构建的一套轻量级、操作友好的开源框架。 上图展示的就是UltraEval的三个核心环节：数据准备、模型部署、模型评估。

数据准备

数据准备，说白了是把原始数据搞成模型能“吃”的输入格式。这里面包含两个核心工作：数据预处理和设计Prompt模板。 在数据预处理上，团队收集了一系列用于评估LLM的标准测试集，比如MMLU、GSM8K、Hellaswag等等，覆盖了模型能力的方方面面。目前已经汇集了59种不同的基准测试，而且这个列表还在一直扩充。 为了保证数据质量，数据直接从Hugging Face、GitHub这些信得过的平台获取，尽量避开第三方修改过的版本。不同基准测试的数据格式五花八门，为此设计了一系列模板，统一转换成JSON格式，为后续评估打好基础。 Prompt模板设计方面，UltraEval支持提示工程，比如少样本学习（Few-shot）和思维链推理（CoT），用来增强模型的逻辑推理能力。大语言模型对提示非常敏感，不同任务提示方式也不一样，研究人员经常难以复现论文中的结果。UltraEval的解决办法是，为每个任务提供定制化、稳定的提示模板，让研究人员能得到一致的评估结果。

模型部署

UltraEval用上了vLLM和Gunicorn技术，实现了模型的多GPU部署加速，并对外提供HTTP服务。 HTTP服务优势很明显。首先，模型和评估实现了解耦，通过统一接口接收任务数据和超参数，模型独立完成推理并返回结果，超参数调整非常方便。其次，它支持全面加载Huggingface Transformers库中的模型，理论上所有模型都兼容，包括个人在各种框架下实验的模型，研发灵活性大大提升。vLLM作为基础加速框架，会优先支持它所涵盖的模型。最后，扩展能力很强，用户可以轻松把模型从文本应用扩展到多模态应用。 在多GPU加速方面，UltraEval通过Gunicorn Web服务器配合Flask进行部署，实现了模型的灵活解耦和动态GPU加速。Gunicorn根据环境配置，管理多个工作进程，每个进程负责一部分GPU资源，同步执行推理任务，计算效率和处理能力大幅提升。 用4个A800 GPU，UltraEval可以在1.5小时内完成41K测试数据集的测试。

评估技巧

后处理环节

模型的输出，受任务性质、提示模板、模型性能等多种因素影响，往往会包含很多超出答案本身的多余信息。比如，ChatGPT对HumanEval问题的回答，可能既包含代码，也夹带了一大串文字描述。这就给自动评估带来了困难。为了精准评估，我们需要对模型输出做后处理，提取最关键的部分。 后处理分两个层面：模型层面和任务层面。模型训练方法不同，会产生聊天版和基础版等不同版本，每种版本需要不同处理方法。任务也有各自的评估方法。比如，从ChatGPT的回答里先提取代码段，然后根据HumanEval的评估标准，从代码中提取函数主体，同时忽略函数名，以便得到更清晰、精确的答案。UltraEval针对当前任务和模型，开发了多种定制化的后处理方法。

指标计算

评估方法按能否自动计算，可以分成自动评估和人工评估两大类。在自动评估中，UltraEval实现了常用的指标，比如文本生成任务的精确匹配、二元分类任务的F1分数、翻译任务的ROUGE-L、编码任务的pass@k等。在精确匹配方面，还开发了in match和prefix match等扩展，以更好地适应各种场景。 由于UltraEval是一个自动化的评估框架，对于需要人工评估的部分，集成了GPT-4作为鉴别器来替代。所有数据结果都可以按用户偏好保存，用户也可以自己决定是否需要人工评估，为更客观的评估提供了很大的灵活性。

局限性

- UltraEval目前主要集中在文本领域。未来计划通过融合多模态和长文本上下文的评估数据集来拓宽应用范围，实现更全面、更多样化的评估效果。 - 结果展示方面也还有提升空间。后续工作会支持多维度的数据可视化，让评估结果更容易解读、更深入。