# 探索 LLM 评估新视角：LLM 裁判的优势、局限与实战指南 本教程将带你全面了解 **“用 LLM 当裁判”**（LLM as a Judge）这一前沿评估方法。我们将从基本概念入手，剖析其优势与替代方案的不足，深入探讨 LLM 裁判的局限及改进技巧，并通过 **DeepEval** 框架演示如何将 LLM 裁判应用到实际 LLM 评估指标中。无论你是刚接触 LLM 评估的新手，还是希望优化评估流程的资深开发者，都能从中获得清晰的指引。 ---

到底什么是“用 LLM 当裁判”？

“用 LLM 当裁判”，简单来说，就是 让一个 LLM 根据你设定的特定标准，评估另一个 LLM 给出的回复。这种方式最早在《Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena》论文（_{论文地址：https://arxiv.org/abs/2306.05685}）中被提出，作为人工评估的替代方案——因为人工评估既费钱又耗时。

LLM 裁判主要有以下三种类型：

• 单输出评分（无参考）：给裁判 LLM 一套评分标准，让它根据各种因素（如 LLM 系统的输入、检索增强生成流程中的检索上下文等）为 LLM 的回复打分。
• 单输出评分（有参考）：和上面类似，但额外提供一个参考的、理想的或预期的输出，帮助裁判 LLM 给出更一致的分数。
• 成对比较：给裁判 LLM 两个由 LLM 生成的输出，让它根据输入判断哪个更好。你需要定义一套自定义标准来说明什么是“更好”。

这个概念理解起来并不复杂：给 LLM 一个评估标准，让它帮你打分。但具体如何操作？在哪些场景使用？接下来我们深入展开。