本次查询：Offline Eval
中文解释：离线评估
常见场景：模型开发与优化
一句话解释
离线评估就是用历史数据先给模型打个分，看看它的表现好不好，再决定要不要把它放到线上真实环境中去用。
为什么会被关注
直接上线一个未经验证的模型风险极高，可能导致用户流失或业务损失。离线评估能够在低成本、低风险的环境下快速发现模型缺陷，避免浪费运维资源。
随着 AI 产品迭代加速，团队需要频繁验证模型效果。离线评估提供了一套标准化的流程和量化指标，让不同版本之间的对比变得清晰、可复现，从而支持快速决策。
核心逻辑
离线评估的核心在于使用与线上分布尽可能一致的历史数据作为测试集。模型在测试集上运行后，通过预设指标（如准确率、召回率、F1 分数、AUC 等）计算其表现。
为保证评估结果的可靠性，通常会将数据划分为训练集与测试集，并采用交叉验证等方法避免过拟合。评估指标的选择需根据具体业务场景调整，例如排序类任务更关注 NDCG 或 MAP。
常见场景
推荐系统中的离线评估：用用户历史行为数据测试算法召回和排序效果，对比不同候选模型在相同数据集上的命中率、覆盖率等指标。
搜索相关性评估：使用人工标注的查询-文档对，离线计算模型的排序准确度，确认其优于基线后才上线。
自然语言处理任务（如情感分析）：借助标注好的语料库，离线测试模型的准确率与泛化能力，为调参提供依据。
容易混淆的点
离线评估与在线评估（A/B 测试）常被混为一谈。离线评估用静态历史数据，衡量模型在已见样本上的能力；在线评估则直接面向真实用户流量，反应动态环境中的实际效果，二者是前后衔接而非替代关系。
有人认为离线指标高就一定代表线上效果好，但实际上离线数据可能存在分布偏移（如用户行为随时间变化），导致离线结果与线上表现不一致。因此离线评估只能作为初步验证，不能完全取代线上实验。