本次查询：Online Eval
中文解释：在线评估
常见场景：模型部署与运维
一句话解释
Online Eval（在线评估）指在AI模型部署上线后，通过真实用户请求实时计算模型输出质量指标，如准确率、响应时间等，以持续监控模型表现。
为什么会被关注
传统离线评估仅能验证开发阶段的数据，无法覆盖线上流量中的新分布。随着MLOps实践普及，团队需要及时发现模型退化、数据漂移等问题，Online Eval为模型健康提供第一道防线。
在大模型时代，模型输出可能存在幻觉或偏差，在线评估能通过反馈信号自动触发重训或回滚，避免业务受损，因此成为AI工程化落地关键环节。
核心逻辑
Online Eval将评估逻辑嵌入服务请求链路，通常采用影子模式或旁路模式：真实用户请求同时发往模型和评估模块，评估模块对比模型输出与预期结果（如人工标注、规则校验或后验信号），计算并上报指标。
评估指标需与业务目标对齐，例如推荐系统的NDCG、客服系统的解决率。系统会设置阈值告警，当指标滑落时自动通知或触发重训流水线。
常见场景
搜索排序：实时监控点击率和相关性，当用户行为模式变化时及时调整模型。
内容审核：在线评估模型对违规内容的拦截率，确保误伤率在可控范围。
对话系统：持续跟踪用户满意度评分、意图识别准确率，发现冷门场景下的失败案例。
容易混淆的点
Online Eval不同于A/B测试：A/B测试通常在流量分配后对比两个版本的整体效果，而Online Eval聚焦单一模型在全部流量下的逐次评估，不要求分流。
也区别于离线评估：离线评估使用固定测试集，无法反映线上实时变化；Online Eval则利用真实用户反馈，但可能面临标注延迟或噪声问题，需要权衡实时性与准确性。