前言：为什么需要 C-Eval？

随着 ChatGPT 的出现，中文社区深刻意识到与国际领先水平的差距。尽管中文大模型研发如火如荼，但专门针对中文的评价基准却非常稀缺。在 OpenAI GPT 系列、Google PaLM 系列、DeepMind Chinchilla 系列以及 Anthropic Claude 系列的研发过程中，MMLU、MATH、BBH 这三个数据集发挥了至关重要的作用——它们全面覆盖了模型在各个维度的能力。尤其是 MMLU，它包含了 57 个学科，涵盖人文、社科、理工等多个大类，用于评估模型的综合知识。DeepMind 的 Gopher 和 Chinchilla 甚至仅凭 MMLU 分数来评价模型。因此，我们决定构建一个中文的、具有足够区分度的多学科评测基准，以辅助开发者研发中文大模型。

经过约三个月的工作，我们创建了覆盖人文、社科、理工、其他专业四大方向，共 52 个学科（如微积分、线性代数等），从中学到大学研究生及职业考试，总计 13948 道题目的中文知识和推理型测试集——C-Eval。本文详细记录了 C-Eval 的构建过程，分享我们的思考以及模型研发的重点。

C-Eval 的核心目标

C-Eval 的终极目标是辅助模型开发，而非打榜。一味追求榜单排名会带来诸多不利后果，而科学地使用 C-Eval 帮助模型迭代，才能最大化其价值。因此，我们强烈推荐从模型研发的视角来使用 C-Eval 数据集和榜单。

区分模型强弱的核心：知识与推理

要将模型调教为有用的对话机器人并不难（如 Alpaca、Vicuna、RWKV 等），但真正成为生产力工具需要更强的能力。我们确定了两个核心指标：知识和推理。

为什么知识是核心能力？

• 通用模型需要在不同领域贡献生产力，必须掌握各领域知识。
• 模型应避免胡说八道，扩大知识面可使其在不确定时主动“不知为不知”。
• 斯坦福 HELM 评测显示，模型大小与知识密集型任务的效果显著正相关——参数量可用于存储知识。
• DeepMind 的 Gopher/Chinchilla 几乎只看 MMLU 分数，而 MMLU 的核心就是知识覆盖面。
• GPT-4 发布博客首先列出模型在各学科考试上的效果，作为能力衡量标准。

因此，知识型能力能很好衡量底座模型的潜力。

为什么推理是进阶能力？

• GPT-4 博客明确指出：“区别在于任务复杂度达到足够阈值后才显现”——推理能力是强模型与弱模型的分水岭。
• PaLM-2 技术报告中，BBH 和 MATH 两个推理数据集被重点讨论。
• 希望模型成为新一代计算平台，需要具备完成复杂任务的能力。

知识与推理的关系

• 知识是基础，推理是升华——推理必须基于现有知识。
• 知识型任务中，模型分数随大小连续变化，区分度好；推理型任务则在模型达到一定规模（约 50B 以上）时出现相变。
• 对于知识型任务，Chain-of-Thought（CoT）与 Answer-Only（AO）效果相近；对于推理型任务，CoT 显著优于 AO。C-Eval 数据集中也观察到此现象。

C-Eval 的数据集设计

基于上述理解，我们决定从知识型任务出发，构建对标 MMLU 的中文数据集。同时，我们将需要强推理的学科（微积分、线性代数、概率等）专门抽取为 C-Eval Hard 子集，对标 MATH 数据集。C-Eval Hard 要求模型先具备数学知识，再通过逐步解题思路，并能调用 Wolfram Alpha/Mathematica/Matlab 进行数值与符号计算，最终用 LaTeX 格式呈现结果——这部分题目难度极高。

C-Eval 整体对标 MMLU（用于 GPT-3.5/4、PaLM、PaLM-2、Gopher、Chinchilla），Hard 部分对标 MATH（用于 GPT-4、PaLM-2、Minerva、Galactica）。

如何保证数据集质量？

我们参考 MMLU 和 MATH 的质量标准，采取了两项关键措施：手工制作和防止混入训练集。

手工制作

受 GPT 开发启示——“有多少人工就有多少智能”，C-Eval 的题目大多来源于 PDF 和 Word 文件，需要额外处理和人工清洗。因为网上已存在的网页文本很可能已被用于预训练。处理流程如下：

• 收集题目后，先对 PDF 做 OCR 电子化，统一格式为 Markdown，数理部分用 LaTeX 表示。
• 公式处理尤其繁琐：OCR 可能识别错，且不能直接转 LaTeX。我们尽量自动转换，无法自动的则由同学手动录入。
• 最终，13000 多道题中所有符号（数学公式、化学式 H₂O 等）都经同学一一验证，十多位同学花了近两周完成。

此外，官方 Chain-of-Thought prompt 的构造也是一大难点。我们最初让 GPT-4 生成 CoT，但发现生成结果太长（超过 2048 token）且错误率高。最终同学们基于 GPT-4 生成的 CoT，亲自做了微积分、线代、概率、离散等科目的 prompt 题目（每科 5 道作为 in-context examples），确保正确性。

小提示： 如果你也想创建自己的评测数据集，请务必对公式进行人工校验，并确保 CoT prompt 的质量——模型推理能力很大程度上依赖 prompt 的准确性。

防止混入训练集

• 测试集只公开题目，不公开答案。用户可在本地运行模型后提交结果到网站获取分数。
• C-Eval 所有题目均为模拟题，从中学到考研到职业考试，均未使用任何真题（真题易被爬取到训练集中）。
• 尽管已尽力，仍可能有个别题目出现在网上，但从现有结果看，C-Eval 尤其是 Hard 部分具备足够区分度。

科学使用 C-Eval：辅助模型开发，而非打榜

目标：辅助模型开发

在研发中，C-Eval 可用于以下经典场景：

• 辅助超参数搜索：对比多种预训练数据混合方案在 C-Eval 上的表现，确定最优方案。
• 比较训练阶段：将预训练 checkpoint 与 instruction-tuned checkpoint 在 C-Eval 上对比，衡量 instruction-tuning 的效果。

为什么不建议打榜？

• 为了高分容易过拟合榜单，反而丢失通用性——这是 GPT-3.5 之前 NLP 学术界在 finetune Bert 上的教训。
• 榜单只测模型潜力，不反映真实用户感受，需要大量人工评价才能衡量实际满意度。
• 追求排名容易走捷径，损害踏实科研的精神。

将 C-Eval 当作辅助开发工具，能充分发挥其积极作用；若仅视为排名榜单，则存在极大误用风险。

从开发者反馈中持续迭代

我们邀请字节跳动、商汤、深言等企业将 C-Eval 接入工作流测试，从反馈中学到很多：

• 需要同时支持 in-context learning 和 zero-shot prompting，因为很多团队无法获取模型内部信息（黑盒测试）。
• 小模型无 logits 时，需制定特定答案判定方案。
• 需区分 pretrained checkpoint 和 instruction-finetuned checkpoint 之间的差异。
• 模型对 prompt 敏感，需考虑 prompt engineering 是否影响公平性。
• 学习 GPT-3.5/4、Claude、PaLM 的 prompt engineering 经验。

这些问题在 C-Eval 公开文档和 GitHub 代码中均有解决方案。

常见问题 1： 为什么 C-Eval 要同时支持 zero-shot 和 in-context learning？
答： 许多团队进行黑盒测试，无法获取模型 logits 或使用复杂 prompt。提供两种模式可满足不同场景，确保评测的通用性。

常见问题 2： C-Eval 与 MMLU 有何区别？
答： MMLU 是英文多学科评测，C-Eval 是中文版本，覆盖 52 个学科、13948 道题，并额外抽取 Hard 子集测试推理能力。两者设计理念一致，但 C-Eval 更贴合中文模型研发需求。

提升排名的方法：捷径 vs 正确之路

捷径（及其代价）

• 使用 LLaMA 作为基座模型：LLaMA 65B 稍弱于 GPT-3.5，潜力大，但上限被锁定，且不可商用。
• 使用 GPT-4 生成数据：直接让 GPT-4 解题后喂给模型，但违反 OpenAI 使用条例，且从 GPT-4 蒸馏会加剧胡说八道（模型学了 GPT-4 的知识，自身却未必掌握）。

看似捷径，实则暗中标好了价格。

困难但正确的路

自立自强，从头研发——虽难，但最快。需重点关注以下机构的论文：OpenAI、Anthropic、Google DeepMind。经验不足的读者应先培养判断力，再读其他文章。研发中建议关注：

• 预训练数据组合（如 DoReMi）
• 预训练稳定性（如 BLOOM）
• 指令微调数据（如 The Flan Collection）
• 指令微调方法（如 Self-instruct）
• 强化学习（如 Constitutional AI）
• 推理能力增强（如我们的博客）
• 编程能力（如 StarCoder）
• 工具使用能力（C-Eval Hard 需要，如 Toolformer）

不着急

大模型是对工业能力的全方位大考，需要耐心：

• GPT 系列从 2019 到 2023 共四年。
• Claude 原班人马从 OpenAI 剥离后也花了一年。
• LLaMA 团队有 OPT/BLOOM 教训后仍花六个月。
• GLM-130B 从立项到发布两年。
• MOSS 的 alignment 部分（不含 RL）近半年。

不用着急打榜，不用明天看结果——困难但正确的路，往往是最快的路。

常见问题 3： 如果商业化使用 LLaMA 会怎样？
答： LLaMA 许可禁止商用，违反可能导致法律风险。建议使用开源可商用模型或自研基座。

常见问题 4： C-Eval Hard 部分如何测试？
答： 模型需要能调用科学计算工具（如 Wolfram Alpha）进行符号/数值计算，并输出 LaTeX 格式的解题步骤。这是对推理与工具能力的综合考验。

结语

C-Eval 的初衷是帮助开发者更科学地迭代中文大模型，促进学术与产业生态。我们深知大模型研发不易，捷径虽诱人，但踏实前行才是正道。欢迎所有开发者向我们的 GitHub 仓库提交 issue 和 pull request，共同完善 C-Eval，让更多人早日体验到这项技术带来的便利。

附录 1：C-Eval 包含的科目

附录 2：项目成员的贡献