本次查询：LiveCodeBench
中文解释：实时代码基准评测
常见场景：大模型代码生成能力评估与产品选型
一句话解释
LiveCodeBench是一个用于测试大模型在实时交互场景中生成、调试和运行代码能力的标准化基准，它要求模型根据用户输入动态输出可执行代码，并验证运行结果是否正确。
为什么会被关注
以往代码生成基准（如HumanEval）只评估单次静态输出，无法反映模型在真实编程场景中的迭代调试能力。LiveCodeBench填补了这一空白，它模拟开发者与助手的多轮对话，关注模型能否从错误反馈中学习并修正代码。
该基准的出现让研究者能更客观地对比不同大模型在“实时编程”维度的实际表现，从而推动模型在代码助手、低代码平台等产品中的落地优化。
核心逻辑
LiveCodeBench的工作流程分为三道关卡：问题理解、代码生成与动态执行。首先，向模型提供自然语言描述的任务；模型输出代码后，测试框架会在隔离环境中运行该代码并捕获结果。
如果运行出错，框架会将错误信息反馈给模型，允许其修改代码再次提交。经过若干轮后，最终以是否能通过所有预设测试用例来评分，从而综合评估模型的推理、调试和交互能力。
常见场景
大模型厂商在发布新版本代码模型时，常用LiveCodeBench来展示其“实时修复”能力。例如，对比Claude、GPT-4o和Gemini在编写Python函数时的第一次通过率与最终通过率。
在开发工具领域，如AI编程助手（GitHub Copilot、Cursor等）的团队会参考该基准来优化提示策略，确保模型能根据编译错误自动调整代码，减少人工介入次数。
容易混淆的点
有人误以为LiveCodeBench仅仅是HumanEval的“多轮版本”。实际上，HumanEval只测一次生成，而LiveCodeBench强制模型在收到错误反馈后自我修正，更接近真实开发流程。
也有人将它与SWE-bench混淆。SWE-bench侧重让模型根据GitHub issue修改现有代码仓库，而LiveCodeBench聚焦从零开始生成并调试新代码，两者考核维度不同。