本次查询:Energy-Based Model
中文解释:能量模型
常见场景:生成式AI / 无监督学习 / 异常检测
一句话解释
能量模型是一种利用能量函数衡量数据好坏的机器学习框架——模型给合理的样本分配低能量,给不合理样本分配高能量,从而学习数据分布的内在结构。
为什么会被关注
能量模型灵活且可组合,能自然处理多模态数据和缺失值。它避免了生成对抗网络训练不稳定的问题,也弥补了自回归模型生成速度慢的缺陷。近年来,基于能量的框架在扩散模型、对比学习中复兴,成为生成式AI的重要基础之一。
核心逻辑
能量模型不直接输出概率,而是通过一个能量函数E(x)将输入x映射到标量。然后用玻尔兹曼分布将能量转换为概率:p(x) ∝ exp(-E(x))。训练时,目标是让真实样本的能量低于虚假或扰动样本,常用对比散度或噪声对比估计来高效逼近归一化常数。
常见场景
1)生成图像和文本:如基于能量的扩散模型(Denoising Diffusion Probabilistic Models本质就是一种能量模型)。2)异常检测:正常样本能量低,异常样本能量高,阈值可快速识别。3)组合建模:多个能量函数可叠加,灵活约束生成结果(如手写数字同时符合“是数字”和“笔画细”两个条件)。
容易混淆的点
能量模型与对比学习都使用“拉近正样本、推远负样本”的思想,但对比学习更侧重表征,能量模型侧重密度估计。它也与玻尔兹曼机同源,但后者特指带有隐变量的能量模型。很多人误以为能量模型只能做无监督,实际它可以条件化处理分类和回归任务。
